Аналіз відеоконтенту (), також відомий як аналіз відео або відеоаналітика (VA) ― це можливість автоматичного аналізу відео для виявлення та визначення часових і просторових подій.

Ця технічна можливість використовується в широкому діапазоні областей, включаючи розвагиKINECT , add-on peripheral for the Xbox 360 console, та відео,Dimitrova, Nevenka, et al. «Applications of video-content analysis and retrieval .» IEEE multimedia 9.3 (2002): 42-55. охорону здоров'я, роздрібну торгівлю, автомобільну промисловість, транспорт, розумний дім, виявлення полум'я та диму, безпеку.VCA usage increase in British Security , BSIA report Алгоритми можуть бути реалізовані як програмне забезпечення на машинах загального призначення, або як апаратні засоби в спеціалізованих блоках обробки відео.

У відеоаналітиці можна реалізувати багато різних функцій. Video Motion Detection ― це одна з найпростіших форм, де виявляється рух відносно фіксованої фонової сцени. Більш розширені функції включають відстеження відеоCavaliere, Danilo, Vincenzo Loia, and Sabrina Senatore. «Towards an ontology design pattern for UAV video content analysis.» IEEE Access 7 (2019): 105342-105353. та оцінку егоемоцій.

На основі внутрішнього уявлення, яке VCA генерує при обробці відео, можна створити інші функції, такі як підсумовування відео,Ma, Yu-Fei, et al. «A user attention model for video summarization.» Proceedings of the tenth ACM international conference on Multimedia. 2002. , аналіз поведінки або інші форми усвідомлення ситуації.

Відеоаналітика покладається на якісне вхідне відео, тому його часто поєднують з технологіями покращення відео, такими як , стабілізація зображення, та .

Однизи з актуальних завданнь, які вирішує відеоаналітика є: детектування подій; розпізнавання номерів автотранспорту; розпізнавання облич.

Функціональні можливості Кілька статей надають огляд модулів, які беруть участь у розробці відеоаналітичних додатків.Nik Gagvani , Introduction to Video AnalyticsCheng Peng , Video Analytics Це список відомих функцій та їх короткий опис. +ФункціяОписДінамічне маскуванняБлокування частини відеосигналу на основі самого сигналу, наприклад, через проблеми конфіденційності.Виявлення полум'я та димуIP-камери з інтелектуальною технологією відеоспостереження можуть використовуватися для виявлення полум'я та диму за 15 — 20 секунд або навіть менше завдяки вбудованому чіпу DSP. Чіп обробляє алгоритми, які виконують зняті відеозаписи на предмет характеристик полум'я та диму, таких як колірна гамма, коефіцієнт мерехтіння, форма, малюнок та напрямок руху.Оцінка егоемоційОцінка егоемоцій використовується для визначення розташування камери шляхом аналізу її вихідного сигналу.Виявлення рухуВиявлення руху використовується для визначення наявності відповідного руху в спостережувальній сцені.Розпізнавання формиРозпізнавання форми використовується для розпізнавання форм у вхідному відео, наприклад кола або квадратів. Ця функція зазвичай використовується в більш розширених функціях, таких як виявлення об'єктів.Виявлення об'єктівВиявлення об'єктів використовується для визначення наявності типу об'єкта чи сутності, наприклад людини чи автомобіля. Інші приклади включають виявлення вогню та диму.РозпізнаванняРозпізнавання облич і використовується для розпізнавання, а отже, можливої ідентифікації людей або автомобілів.Виявлення стилюВизначення стилю використовується в налаштуваннях, де створено відеосигнал, наприклад для кіновиробництва. Виявлення стилю визначає стиль виробничого процесу.Style detection , Cees G.M. Snoek et al., Detection of TV news monologues by style analysis, ICME'04Виявлення несанкціонованого доступуВиявлення несанкціонованого доступу використовується для визначення того, чи була підроблена камера або вхідний сигнал.Відстеження відеоВідстеження відео використовується для визначення місцеперебування людей або об'єктів у відеосигналі, можливо, з урахуванням зовнішньої опорної сітки.Аналіз фальсифікації вмісту відеосцени з використанням безкоштовного програмного забезпечення.Спільне виявлення об'єктів, класифікація та сегментація цілей в одній або декількох пов'язаних відеорядах.

Комерційні програми VCA — відносно нова технологія, у середині 2000-х років багато компаній випустили продукти, покращені за допомогою VCA. Попри те, що існує багато застосувань, репутація різних рішень VCA сильно відрізняється. Такі функціональні можливості, як виявлення руху, та виявлення зброї, доступні у вигляді готових та, як вважають, мають пристойний послужний список (наприклад, навіть таке безкоштовне програмне забезпечення, як Dsprobotics Flowstone, може обробляти аналіз руху та кольору). У відповідь на пандемію COVID-19 багато виробників програмного забезпечення запровадили нові методи аналізу громадського здоров'я, такі як розпізнавання масок або відстеження соціальної дистанції.

У багатьох областях VCA реалізується в системах відеоспостереження, або розподілених по камерах (на кордоні), або централізованих у спеціальних системах обробки. Відеоаналітика та Smart CCTV — комерційні терміни для VCA у сфері безпеки. У Великій Британії BSIA розробили керівництво по впровадженню VCA у сфери безпеки.British Industry VCA Guide , 262 An Introduction to Video Content Analysis Industry Guide На додаток до відеоаналітики та як доповнення до неї також може використовуватися аудіоаналітика.UK based startup that provides audio analytics into the CCTV industry

Виробники програмного забезпечення для керування відео постійно розширюють асортимент доступних модулів відеоаналітики. За допомогою нової технології відстеження підозрюваних можна легко відстежувати всі переміщення цього суб'єкта: звідки вони прийшли, коли, куди і як рухалися. У певній системі спостереження технологія індексування здатна визначати місцеперебування людей зі схожими характеристиками, які перебували в полі зору камер протягом певного проміжку часу. Зазвичай система знаходить безліч різних людей зі схожими характеристиками та представляє їх у вигляді знімків. Оператору потрібно лише натиснути ті зображення та об'єкти, які потрібно відстежити. Протягом хвилини або близько того можна відстежити всі рухи конкретної людини та навіть створити покрокове відео цих рухів.

Kinect — це додатковий периферійний пристрій для ігрової консолі Xbox 360, який використовує VCA для часткового введення користувача.

У роздрібній торгівлі VCA використовується для відстеження покупців всередині магазину. Таким чином можна отримати теплову карту магазину, що корисно для оптимізації дизайну магазину та маркетингу. Інші програми включають в себе час очікування під час перегляду продуктів і виявлення вилучених/залишених товарів.

Якість VCA в комерційних умовах важко визначити. Це залежить від багатьох змінних, таких як сценарій використання, імплементація, конфігурація системи та обчислювальна платформа. Типові методи для отримання об'єктивного уявлення про якість у комерційних умовах включають незалежний порівняльний аналізi-Lids , Benchmarking initiative by the UK Home Office та певні місця для проведення випробувань.

VCA використовувався для , зокрема на The O2 Arena в Лондоні та Лондонське Око.

Правоохоронні органи Дивіться також: і Масове спостереження

Поліція та криміналісти аналізують відеозаписи з камер відеоспостереження під час розслідування злочинів. Поліція використовує програмне забезпечення, наприклад , яке виконує аналіз відеоконтенту для пошуку ключових подій у відео та пошуку підозрюваних. Опитування показали, що до 75 % випадків пов'язані з відеоспостереженням. Поліція використовує програмне забезпечення для аналізу відеоконтенту, а також пошуку важливих подій у довгих відео.

Академічні дослідження Аналіз відеоконтенту — це частина комп'ютерного зору і, відповідно, штучного інтелекту. Дві основні академічні ініціативи — це TRECVID,TRECVID , Academic benchmark initiative by NIST який використовує невелику частину відеоматеріалів i-LIDS, та тестові дані PETS.PETS Benchmark Data , Performance Evaluation of Tracking and Surveillance (PETS) by University of Reading Вони зосереджені на таких функціях, як відстеження, виявлення залишеного багажу та віртуальне огородження. Порівняльні набори відеоданих, такі як UCF101 , дозволяють проводити дослідження , включаючи тимчасову та увагу за допомогою згорткової нейронної мережі та довготривалої короткочасної пам'яті. Програмне забезпечення для аналізу відео також поєднується із відеозаписами з нагрудних камер та камер на приладовій панелі, щоб легше редагувати відзнятий матеріал для публічного оприлюднення та ідентифікувати події і людей на відео.

ЄС фінансує проєкт РП7 під назвою P-REACT для інтеграції аналітики відеоконтенту у вбудованих системах із базами даних поліції та транспортної безпеки.

Штучний інтелект

Штучний інтелект для відеоспостереження використовує програмне забезпечення, яке аналізує аудіо та зображення з камер відеоспостереження, щоб розпізнавати людей, транспортні засоби, об'єкти та події. Програма для підрядників безпеки — це програмне забезпечення для визначення зон обмеженого доступу в межах огляду камери (наприклад, огороджена територія, автостоянка, але не тротуар або громадська вулиця за межами ділянки) і програма для часу доби (наприклад, після закриття бізнесу) для майна, що охороняється камерою спостереження. Штучний інтелект надсилає сповіщення, якщо виявляє порушника набору «правил», згідно з яким нікому не дозволяється перебувати в цій зоні в цей час доби.

Див. також

Структура із руху

Примітки

Література та джерела