Фотометричне стерео - це техніка комп’ютерного зору для визначення нормалей поверхні об’єктів шляхом порівняння зображень цих об’єктів, отриманих за різних умов освітлення. Метод ґрунтується на тому, що кількість світла, відбитого поверхнею, залежить від орієнтації поверхні щодо джерела світла та спостерігача. Зіставляючи яскравість одних і тих самих точок об’єктів за різних положень джерела світла, простір можливих орієнтацій поверхні в цих точках обмежується. При достатній кількості зображень напрямок вектора нормалі може бути визначений досить точно.

Вперше цю техніку було запропоновано Вудхемом у 1980 р.Woodham, R.J. 1980. Photometric method for determining surface orientation from multiple images. Optical Engineering 19, I, 139-144. Частинний випадок, коли наявне лише одне зображення, називається формою із затінення.

Базовий підхід

За припущеннями Вудхема відбиття вважається ламбертівським, положення точкових віддалених джерел світла відоме, а альбедо поверхні вважається рівномірним. Умова віддаленості точкових джерел дозволяє вважати, що вектор напрямку світла для кожного джерела однаковий для всіх точок поверхні. За цих умов задачу можна вирішити шляхом обернення лінійного рівняння , де є (відомим) вектором спостережуваних інтенсивностей, - вектор нормалі (невідомий) поверхні, і є (відомою) матрицею нормованих напрямків світла.

Цю модель можна легко поширити на поверхні з нерівномірним альбедо, зберігаючи задачу лінійною.S. Barsky and Maria Petrou, 2003. The 4-source photometric stereo technique for 3-dimensional surfaces in the presence of highlights and shadows. In IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, issue 10, pages 1239-1252. IEEE. Враховуючи нерівномірне альбедо , формула інтенсивності відбитого світла має вигляд

Якщо є квадратною (є рівно 3 джерела світла) і неодиничною, її можна обернути:

Оскільки вектор нормалі, як відомо, має довжину 1, є довжиною вектора , а - нормований напрямок цього вектора. Якщо не є квадратною (більше 3-х джерел), для узагальнення обернення можна використати псевдообернення Мура-Пенроуза , помноживши обидві частини рівняння на :

Тепер вектор нормалі і альбедо можуть бути визначені.

Класичне фотометричне стерео враховує лише ламбертівські поверхні з ідеально розсіяним відбиттям. Це неправильно для багатьох типів матеріалів, особливо металів, скла та полірованих пластмас, і призведе до помилок у визначенні результуючих напрямків нормалей.

Для вирішення цієї проблеми розроблено багато методів. У цьому розділі перелічено декілька з них.

Дзеркальні відбиття В комп'ютерній графіці найпершою та найпростішою моделлю для затінення поверхонь була модель ламбертівського відбиття, надалі її було узагальнено шляхом урахування дзеркального відбиття. Еволюція методів фотометричного стерео йшла схожим шляхом. Урахування дзеркальних відбиттів було одним з перших узагальнень моделі ламбертівського освітлення. Зазвичай ці методи покладаються на моделювання функції відбиття поверхні, тобто, залежності інтенсивності відбитого світла від напрямку.Hemant D. Tagare and Rui J.P. de Figueiredo, 1991. A Theory of Photometric Stereo for a Class of Diffuse Non-Lambertian Surfaces. In IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, no. 2. IEEE. Ця функція відбиття повинна бути оборотною. Вимірюється інтенсивність відбитого світла у напрямку камери, а обернена функція відбиття підлаштовується під виміряні інтенсивності, що призводить до унікального розв'язку для вектора нормалі.

Узагальнені ДФВЗ та не тільки Згідно з функцією двопроменевого розподілу відбивної здатності (ДФВЗ), поверхня може відбивати певну частину падаючого світла у будь-якому напрямку. Це найбільш загальна відома модель для непрозорих поверхонь. На практиці використання узагальнених моделей вимагає багатьох джерел світла для надійного визначення параметрів моделі відбиття. Деякі підходи що використовують узагальнену ДФВЗ:

Визначення ДФВЗ функції.Katsushi Ikeuchi, 1981. Determining Surface Orientations of Specular Surfaces by Using the Photometric Stereo Method . In IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-3, issue 6, pages 661-669. IEEE. Для цього використовується інша поверхня геометрія якої відома і яка має однакову або дуже подібну ДФВЗ.Aaron Hertzmann and Steven M. Seitz, 2005. Example-Based Photometric Stereo: Shape Reconstruction with General, Verying BRDFs . In IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, no. 8. IEEE. За різних напрямків падаючого світла визначається інтенсивність світла відбитого у напрямку камери. Використовуючи цю інформацію, можна створити пошукову таблицю, яка співставляє інтенсивності відбитого світла до переліку можливих векторів нормалі. Це накладає обмеження на орієнтації які може мати поверхня. Типовими відомими поверхнями, за допомогою яких можна відкалібрувати цю таблицю є сфери. Урахування симетрії.Michael Holroyd, Jason Lawrence, Greg Humphreys and Todd Zickler, 2008. A Photometric Approach for Estimating Normals and Tangents . In ACM SIGGRAPH Asia 2008 Papers, pages 133:1-133:9. ACM. Якщо ДФВЗ є симетричною, напрямок світла може бути обмежений конусом щодо напрямку до камери. Який це конус, залежить від самої ДФВЗ, вектора нормалі поверхні та виміряної інтенсивності. Враховуючи достатню кількість вимірів інтенсивності та відомих напрямків світла, ці конуси можна апроксимувати і, отже, знайти вектори нормалі.

Багатовидове фотометричне стерео В найпростішому випадку положення камери та об’єктів вважаються незмінними для всіх зображень, змінюється лише положення та напрямок джерела світла. Частини геометрії об’єктів, що не потрапляють в поле зору камери не можуть бути відновлені. Для відновлення повної геометрії слід використовувати зображення об’єктів отримані за різних положень камери поєднуючи інформацію про орієнтацію поверхонь отриману за допомогою фотометричного підходу із інформацією про положення точок у просторі отриманих за допомогою тріангуляції.

Примітки

Див. також Фотометрія Стерео бачення 3D-сканер