Змага́льне маши́нне навча́ння (, іноді також супе́рницьке маши́нне навча́ння) — це галузь досліджень атак на алгоритми машинного навчання та методів захисту від таких атак.
Методи машинного навчання здебільшого розробляють для роботи з конкретними наборами задач за припущення, що тренувальні та випробувальні дані породжуються з одного й того самого статистичного розподілу (НОР). Проте це припущення часто небезпечно порушується в практичних високоризикових застосуваннях, де користувачі можуть навмисно надавати сфабриковані дані, що не відповідають цим статистичним припущенням.
До найпоширеніших атак у змагальному машинному навчанні належать атаки ухиляння, отруювання даними, візантійські атаки та виділяння моделі.
Історія На Конференції зі спаму МТІ у січні 2004 року показав, що фільтр спаму на основі машинного навчання можливо використати для подолання іншого фільтра спаму на основі машинного навчання шляхом автоматичного навчання того, які слова слід додавати до спамового листа, щоби його було класифіковано як не спам.
2004 року Нілеш Далві та інші зазначили, що лінійні класифікатори, які використовують у фільтрах спаму, можливо долати простими «атаками », коли спамери вставляють «хороші слова» у свої спамові листи. (Близько 2007 року деякі спамери додавали випадковий шум для спотворення слів у «спамі зображеннями», щоби долати фільтри на основі ОРС.) 2006 року Марко Баррено та інші опублікували працю «Чи може машинне навчання бути безпечним?» (), у якій окреслили широку таксономію атак. Ще 2013 року багато дослідників продовжували сподіватися, що нелінійні класифікатори (як-от опорновекторні машини й нейронні мережі) можуть бути стійкими до змагання, аж доки Баттіста Біггіо та інші не продемонстрували перші градієнтні атаки на такі моделі машинного навчання (2012—2013). 2012 року в задачах комп'ютерного бачення почали домінувати глибокі нейронні мережі; починаючи з 2014 року Крістіан Сегеді та інші продемонстрували, що глибокі нейронні мережі можливо ввести в оману змаганням, знову ж таки з використанням градієнтної атаки для майстрування змагальних збурень.
Останнім часом було виявлено, що змагальні атаки в реальному світі складніше реалізувати через різні обмеження середовища, які нівелюють ефект шуму. Наприклад, будь-яке невелике обертання або незначна зміна освітлення змагального зображення може зруйнувати його змагальні властивості. Крім того, дослідники, зокрема працівник Google Brain , зазначають, що змусити самокеровані автомобілі «не помітити» знак «STOP» значно простіше шляхом фізичного усунення самого знака, ніж шляхом створення змагальних прикладів. Фрост також вважає, що спільнота змагального машинного навчання помилково припускає, ніби моделі, навчені на певному розподілі даних, також добре працюватимуть на цілком відмінному розподілі. Він пропонує досліджувати новий підхід до машинного навчання і наразі працює над унікальною нейронною мережею, що має характеристики, подібніші до людського сприйняття, ніж сучасні підходи.
Хоч змагальне машинне навчання й надалі значною мірою залишається академічною галуззю, великі технологічні компанії, як-от Google, Microsoft та IBM, почали впорядковувати документацію й відкриті кодові бази, щоби дати змогу іншим конкретно оцінювати робастність моделей машинного навчання та мінімізувати ризик від змагальних атак.
Приклади До прикладів належать атаки у фільтруванні спаму, де спамові повідомлення маскують шляхом навмисного спотворення написання «поганих» слів або вставляння «хороших» слів; атаки у комп'ютерній безпеці, зокрема маскування коду шкідливого програмного забезпечення всередині мережевих пакетів або модифікування характеристик з метою введення в оману систем виявляння вторгнень; атаки в біометричному розпізнаванні, де фальшиві біометричні ознаки можуть використовувати для видавання себе за легітимного користувача; або для компрометування галерей шаблонів користувачів, які з часом пристосовуються до уточнених ознак.
Дослідники показували, що ввести в оману алгоритми глибокого навчання вдавалося зміною лише одного пікселя. Інші надрукували тривимірну іграшкову черепаху з текстурою, спеціально розробленою так, щоби система виявляння об'єктів Google на основі ШІ класифікувала її як гвинтівку незалежно від кута огляду цієї черепахи. Створення такої черепахи вимагало лише недорогої комерційно доступної технології тривимірного друку.
Було показано, що змінене машиною зображення собаки може виглядати як кіт як для комп'ютерів, так і для людей. Дослідження 2019 року повідомило, що люди здатні вгадувати, як машини класифікуватимуть змагальні зображення. Дослідники також виявили методи спотворення вигляду дорожнього знака «STOP» так, що автономний транспортний засіб класифікував його як знак злиття смуг або обмеження швидкості.
2023 року дослідники з Чиказького університету випустили фільтр отруєння даними під назвою Nightshade. Його створили для використання художниками з метою накладання на свої роботи, щоби псувати набори даних моделей зображення за текстом, які зазвичай збирають дані з інтернету без згоди авторів зображень.
Компанія McAfee здійснила атаку на колишню систему компанії Tesla, змусивши її рухатися на 50 миль/год швидше за дозволену швидкість шляхом простого додавання дводюймової смужки чорної стрічки на знак обмеження швидкості.
Змагальні візерунки на окулярах або одязі, розроблені для обману систем розпізнавання облич або зчитувачів номерних знаків, призвели до появи нішевої індустрії так званого «вуличного одягу для невидимості» ().
Змагальна атака на нейронну мережу може давати змогу зловмисникові впроваджувати алгоритми до цільової системи. Дослідники також можуть створювати змагальні вхідні аудіо для маскування команд інтелектуальним помічникам у зовні безпечному аудіо; паралельна література досліджує сприйняття таких людиною.
У безпекових застосунках використовують алгоритми кластерування. Аналіз шкідливого програмного забезпечення та комп'ютерних вірусів спрямований на встановлення сімейств шкідливого ПЗ та породження специфічних сигнатур виявлення.
У контексті виявляння шкідливого програмного забезпечення дослідники запропонували методи змагального породжування шкідливого ПЗ, які автоматично майструють двійкові файли для обходу виявлячів на основі навчання, зберігаючи при цьому шкідливу функціональність. Атаки на основі оптимізації, як-от GAMMA, використовують генетичні алгоритми для впровадження нешкідливого вмісту (наприклад, доповнення в кінці або нових розділів PE) у виконувані файли Windows, формулюючи ухиляння як задачу оптимізації з обмеженнями, що врівноважує успіх помилкового класифікування з розміром упровадженого корисного навантаження, а також демонструють переносність щодо комерційних антивірусних продуктів. Додаткові роботи використовують породжувальні змагальні мережі () для навчання збурень у просторі ознак, які призводять до класифікації шкідливого ПЗ як нешкідливого; Mal-LSGAN, наприклад, замінює стандартну функцію втрат GAN на ціль найменших квадратів і видозмінені передавальні функції для підвищення стабільності тренування та створення змагальних прикладів шкідливого ПЗ, що суттєво знижують рівні істинно позитивних спрацьовувань у кількох виявлячах.
Виклики у застосуванні машинного навчання до безпеки Дослідники зауважили, що обмеження, у межах яких методи машинного навчання функціонують у галузі безпеки, відрізняються від обмежень, характерних для типових еталонних галузей. Безпекові дані можуть змінюватися з часом, містити помилково мічені зразки або відображати змагальну поведінку, що ускладнює оцінювання та відтворюваність результатів.
Проблеми збирання даних Безпекові набори даних різняться за форматами, зокрема охоплюють двійкові файли, мережеві трасування та журнальні файли. У дослідженнях повідомляли, що процес перетворення цих джерел на ознаки може привносити та неузгодженості. Крім того, може виникати часовий витік, коли пов'язані зразки шкідливого ПЗ не відокремлюють належним чином між тренувальною та випробувальною частками, що може призводити до занадто оптимістичних результатів.
Виклики у міченні та встановленні фундаментальної істини Мітки шкідливого ПЗ часто нестабільні, оскільки різні антивірусні рушії можуть класифікувати один і той же зразок по-різному. Ческін зі співавт. зазначають, що сімейства можуть із часом перейменовуватися або реорганізовуватися, що спричиняє додаткові розбіжності у фундаментальній істині та знижує надійність еталонів.
Дрейф понять Оскільки розробники шкідливого ПЗ постійно підлаштовують свої методики, статистичні властивості шкідливих зразків також змінюються. Цей вид широко задокументований і може знижувати ефективність моделей, якщо системи не уточнюють регулярно або якщо вони не містять механізмів покрокового навчання.
Робастність ознак Дослідники розрізняють ознаки, якими легко маніпулювати, та стійкіші до змін. Наприклад, прості статичні атрибути, як-от поля заголовків, можуть бути змінені зловмисниками, тоді як структурні ознаки, як-от графи потоку керування, загалом стабільніші, але обчислювально витратніші для виділяння.
Незбалансованість класів У реалістичних середовищах розгортання частка шкідливих зразків може бути вкрай низькою — від 0,01 % до 2 % від загального обсягу даних. Такий незбалансований розподіл змушує моделі формувати упередження на користь класу більшості, досягаючи високої загальної точності, але не виявляючи шкідливих зразків.
До попередніх підходів до розв'язання цієї проблеми належали як рішення на рівні даних, так і послідовнісно-орієнтовані моделі. Такі методи як n-грами та мережі довгої короткочасної пам'яті (ДКЧП) здатні моделювати послідовні дані, проте було показано, що їхня ефективність істотно знижується, коли зразки шкідливого ПЗ подано у тренувальному наборі в реалістичних пропорціях, що демонструє їхні обмеження в практичних безпекових контекстах.
Один із підходів до подолання цієї проблеми полягає в пристосовуванні моделей з обробки природної мови, як-от BERT. Цей метод передбачає розгляд послідовностей активності застосунків як своєрідної «мови» та тонкого настроювання попередньо натренованої моделі BERT під конкретне завдання. Дослідження, у якому цю методику застосували до послідовностей активності Android, повідомило про значення міри F1 0,919 на наборі даних із часткою шкідливого ПЗ лише 0,5 %. Цей результат суттєво перевершив моделі ДКЧП та n-грами, продемонструвавши потенціал попередньо натренованих моделей для подолання незбалансованості класів у виявлянні шкідливого ПЗ.
Проєктування та навчання системи Конструювання ознак і тренування можуть спричиняти проблеми. Просіювання даних () є поширеною пасткою, коли модель тренують на інформації, яка не була би доступною в реальних умовах експлуатації. Хибні кореляції () виникають тоді, коли модель навчається пов'язувати мітку з побічними артефактами, а не з основним шаблоном, який має стосунок до безпеки. Наприклад, класифікатор шкідливого програмного забезпечення може навчитися розпізнавати специфічний артефакт компілятора замість власне зловмисної поведінки. Зміщений добір параметрів () — це такий вид просіювання даних, у якому гіперпараметри моделі настроюють із використанням випробувального набору даних.
Оцінювання ефективності Вибір оцінювальної метрики може істотно впливати на коректність отриманих результатів. Невідповідний базовий рівень () полягає в тому, що нову модель не порівнюють із простішими, добре усталеними базовими підходами. Невідповідні міри ефективності () означають використання метрик, які не узгоджуються з практичними цілями системи. Зокрема, звітування лише про «точність» () часто вважають недостатнім для систем виявлення вторгнень, у яких критично важливими є рівні хибнопозитивних спрацьовувань. Омана базового рівня () полягає в некоректному тлумаченні ефективності в умовах значної незбалансованості класів.
Розгортання та експлуатація Цей завершальний етап стосується ефективності та безпеки системи в реальному середовищі.