Теорія про́стору масшта́бів () — це основа для багатомасштабного подання сигналів, розроблена спільнотами комп'ютерного бачення, обробки зображень та обробки сигналів з доповняльними мотивами з фізики та біологічного бачення. Це формальна теорія для роботи зі структурами зображень на різних шляхом подавання зображення як однопараметрового сімейства згладжених зображень, масштабопросторо́вого подання́ (), параметрованого розміром ядра , яке використовують для пригнічування дрібномасштабних структур.Ijima, T. "Basic theory on normalization of pattern (in case of typical one-dimensional pattern)". Bull. Electrotech. Lab. 26, 368– 388, 1962. Параметр у цьому сімействі називають параметром масштабу () з інтерпретацією, що у просторі масштабів структури зображення просторового розміру менше за приблизно було значною мірою згладжено на масштабі .

Основним типом простору масштабів є лінійний (гауссів) простір масштабів, який має широку застосовність, а також привабливу властивість можливості виведення з невеликого набору масштабопросторових аксіом. Відповідна масштабопросторова система охоплює теорію операторів гауссових похідних, які можливо використовувати як основу для вираження великого класу зорових операцій для комп'ютеризованих систем обробки зорової інформації. Ця система також дозволяє робити зорові операції масштабоінваріантними, що необхідно для роботи з варіаціями розміру, які можуть траплятися в даних зображень, оскільки реальні об'єкти можуть мати різні розміри, та й відстань між об'єктом і камерою може бути невідомою й може змінюватися залежно від обставин.

Визначення

Поняття простору масштабів застосовують до сигналів довільної кількості змінних. Найпоширеніший випадок у літературі стосується двовимірних зображень, що й подано тут. Для заданого зображення його лінійне (гауссове) масштабопросторове подання — це сімейство похідних сигналів , визначене згорткою таким двовимірним гауссовим ядром

що

де крапка з комою в аргументі означає, що згортка виконується лише над змінними , тоді як параметр масштабу після крапки з комою просто вказує, який рівень масштабу визначають. Це визначення працює для континууму масштабів , але зазвичай розглядають лише скінченний дискретний набір рівнів у масштабопросторовому поданні.

Параметр масштабу  — це дисперсія гауссового фільтра, і в граничному випадку для фільтр стає імпульсною функцією, так що тобто масштабопросторове подання на рівні масштабу це саме зображення . Зі збільшенням , стає результатом згладжування все більшим і більшим фільтром, таким чином видаляючи все більше деталей, які містить зображення. Оскільки стандартним відхиленням фільтра є , значно менші за це значення деталі значною мірою видаляються із зображення за параметра масштабу , див. графічні ілюстрації в наступному рисунку та в .

Чому саме гауссів фільтр?

При стиканні із завданням створення багатомасштабного подання можна запитати: чи можливо використовувати для створення простору масштабів будь-який фільтр g на кшталт фільтру низьких частот із параметром t, який визначає його ширину? Відповідь — ні, оскільки дуже важливо, щоби згладжувальний фільтр не вносив нових паразитних структур на грубих масштабах, які не відповідають спрощенням відповідних структур у тонших масштабах. У літературі з простору масштабів було висловлено низку різних способів сформулювати цей критерій точними математичними термінами.

Висновок з кількох різних поданих аксіоматичних виведень полягає в тому, що гауссів простір масштабів становить канонічний спосіб породження лінійного простору масштабів, заснований на істотній вимозі, що при переході від тонкого до будь-якого грубішого масштабу не повинні створюватися нові структури. До умов, званих масштабопросторовими аксіомами, які використовували для виведення унікальності гауссового ядра, належать , , напівгрупова структура, непосилення локальних екстремумів, масштабова та . У працях M. Felsberg and G.Sommer "The Monogenic Scale-Space: A Unifying Approach to Phase-Based Image Processing in Scale Space", Journal of Mathematical Imaging and Vision, 21(1): 5–28, 2004. R. Duits, L. Florack, J. de Graaf and B. ter Haar Romeny "On the Axioms of Scale Space Theory", Journal of Mathematical Imaging and Vision, 20(3): 267–298, 2004. цю унікальність, заявлену в аргументах на основі інваріантності щодо масштабу, піддають критиці, й пропонують альтернативні самоподібні масштабопросторові ядра. Гауссове ядро, проте, є унікальним вибором відповідно до масштабопросторової аксіоматики на основі причинності або непосилення локальних екстремумів.

Альтернативне визначення

Еквівалентно, масштабопросторове сімейство можливо визначити як розв'язок рівняння дифузії (наприклад, у термінах рівняння теплопровідності),

з початковою умовою . Це формулювання масштабопросторового подання L означає, що можливо інтерпретувати значення яскравості зображення f як «розподіл температури» в площині зображення, і що процес, який породжує масштабопросторове подання як функцію від t, відповідає дифузії тепла в площині зображення за час t (за припущення, що теплопровідність матеріалу дорівнює довільно обраній сталій ½). Хоча цей зв'язок може здатися поверховим читачеві, не знайомому з диференціальними рівняннями, насправді дійсно основне масштабопросторове формулювання в термінах непосилення локальних екстремумів виражається через умову знаку на частинні похідні в 2+1-вимірному об'ємі, породженому простором масштабів, відтак у рамках диференціальних рівнянь з частинними похідними. Крім того, детальний аналіз дискретного випадку показує, що рівняння дифузії забезпечує об'єднувальний зв'язок між безперервним і дискретним просторами масштабів, що також узагальнюється на нелінійні простори масштабів, наприклад, із застосуванням анізотропної дифузії. Отже, можна сказати, що основним способом породження простору масштабів є рівняння дифузії, і що гауссове ядро виникає як функція Гріна цього конкретного диференціального рівняння в частинних похідних.

З цього співвідношення також випливає зв'язок масштабного простору з вейвлетом Рікера. Оскільки гауссове ядро задовольняє

його лапласіан, а отже багатовимірний вейвлет Рікера, з точністю до сталого множника є похідною гауссового ядра за параметром масштабу. Тому відгук такого вейвлета можна інтерпретувати як швидкість зміни гауссового масштабопросторового подання зі зміною масштабу.

Мотивації Мотивація для породження масштабопросторового подання заданого набору даних походить від базового спостереження, що об'єкти реального світу складаються з різних структур на різних . Це означає, що об'єкти реального світу, на противагу до ідеалізованих математичних об'єктів, таких як точки або прямі, можуть виглядати по-різному залежно від масштабу спостереження. Наприклад, поняття «дерево» доречне в масштабі метрів, тоді як такі поняття, як листя та молекули, доречніші в тонших масштабах. Для системи комп'ютерного бачення, яка аналізує невідому сцену, немає способу знати апріорі, які підходять для опису цікавих структур у даних зображення. Отже, єдиним розумним підходом є розглядати описи в кількох масштабах, щоб мати можливість вловлювати невідомі варіації масштабу, які можуть мати місце. У граничному випадку масштабопросторове подання розглядає подання на всіх масштабах.

Інша мотивація концепції простору масштабів походить від процесу виконання фізичних вимірювань на реальних даних. Щоби виділяти будь-яку інформацію з процесу вимірювання, до даних необхідно застосовувати оператори нескінченно малого розміру. В багатьох галузях інформатики та прикладної математики розмір оператора вимірювання при теоретичному моделюванні задачі не враховується. З іншого боку, масштабопросторова теорія явним чином включає потребу в не нескінченно малому розмірі операторів зображення як невід'ємній частини будь-якого вимірювання, а також будь-якої іншої операції, яка залежить від вимірювання в реальному світі.

Існує тісний зв'язок між масштабопросторовою теорією та біологічним баченням. Багато масштабопросторових операцій демонструють високий ступінь подібності з профілями рецептивних полів, записаними на сітківці й перших етапах зорової кори ссавців. У цьому відношенні систему простору масштабів можливо розглядати як теоретично обґрунтовану парадигму для попередньої обробки зорової інформації, яку до того ж було ретельно перевірено алгоритмами та експериментами.

Гауссові похідні

На будь-якому масштабі в просторі масштабів ми можемо застосовувати до масштабопросторового подання оператори локальних похідних:

Через комутативну властивість між оператором похідної та оператором гауссового згладжування такі масштабопросторові похідні () можливо еквівалентно обчислювати шляхом згортання первинного зображення з операторами похідних гауссіанів. З цієї причини їх часто також називають гауссовими похідними ():

Унікальність операторів гауссових похідних як локальних операцій, виведених із масштабопросторового подання, можливо отримати аналогічними аксіоматичними виведеннями, які використовують для виведення унікальності гауссового ядра для масштабопросторового згладжування.

Зорова попередня обробка

Ці оператори гауссових похідних, своєю чергою, можливо об'єднувати за допомогою лінійних або нелінійних операторів у великий спектр різних типів виявлячів ознак, які в багатьох випадках можливо добре моделювати за допомогою диференціальної геометрії. Зокрема, інваріантність (або, точніше, коваріантність) до локальних геометричних перетворень, таких як обертання або локальні афінні перетворення, можливо отримати шляхом розгляду диференціальних інваріантів за відповідного класу перетворень або, як варіант, шляхом унормовування операторів гауссових похідних на локально визначену систему координат, визначену, наприклад, з бажаного спрямування в області зображення, або шляхом застосування бажаного локального афінного перетворення до локального фрагмента зображення (докладніше див. у статті про афінне пристосовування форми).

Коли оператори гауссових похідних та диференціальні інваріанти використовують таким чином як виявлячі базових ознак у кількох масштабах, ці незавершені перші етапи зорової обробки часто називають зоровою попередньою обробкою (). Цю загальну систему застосовували до широкого спектра задач комп'ютерного бачення, включно з виявлянням та класифікуванням ознак, сегментуванням та зіставлянням зображень, оцінюванням руху, обчисленням сигналів про форму, та . Набір операторів гауссових похідних до певного порядку часто називають N-струменем, він становить базовий тип ознак масштабопросторової системи.

Приклади виявлячів

Дотримуючись ідеї вираження зорових операцій у термінах диференціальних інваріантів, обчислюваних на кількох масштабах із застосуванням операторів гауссових похідних, ми можемо виразити виявляч контурів із набору точок, який задовольняє вимогу, щоби величина градієнта

набувала локального максимуму в напрямку градієнта

Шляхом диференціальногеометричних розробок можливо показати, що цей диференціальний виявляч контурів можливо еквівалентно виразити з перетинів нуля диференціальним інваріантом другого порядку

які задовольняють таку умові знаку на диференціальному інваріанті третього порядку:

Аналогічно, багатомасштабні виявлячі плям на будь-якому заданому фіксованому масштабі можливо отримати з локальних максимумів та мінімумів або оператора Лапласа (що також називають лапласіаном гауссіана)

або визначника матриці Гессе

Аналогічним чином виявлячі кутів та виявлячі хребтів і долин можливо виразити як локальні максимуми, мінімуми або перетини нуля багатомасштабних диференціальних інваріантів, визначених із гауссових похідних. Алгебричні вирази для операторів виявляння кутів і хребтів, проте, є дещо складнішими, й читача відсилають по додаткові відомості до статей про виявляння кутів і хребтів.

Масштабопросторові операції також часто використовують для вираження грубо—точних методів (), зокрема для таких завдань, як зіставляння та багатомасштабне сегментування зображень.

Обирання масштабу