У галузі штучного інтелекту (ШІ) узго́дження () має на меті спрямовувати системи ШІ на досягнення цілей, вподобань або етичних принципів конкретної особи чи групи. Систему ШІ вважають узгодженою (), якщо вона просуває заплановані цілі. Неузгоджена () система ШІ переслідує незаплановані цілі.
Часто розробникам ШІ складно досягти узгодженості системи, оскільки важко визначити повний спектр бажаної та небажаної поведінки. Тому вони часто використовують спрощені цілі-посередники (), як-от отримання схвалення від людини. Але цілі-посередники можуть не враховувати необхідні обмеження або заохочувати систему ШІ лише за її зовнішню узгодженість. Системи ШІ також можуть знаходити лазівки, що дозволяють ефективно досягати цілей-посередників, але несподіваними, іноді шкідливими способами ().
Розвинені системи ШІ можуть виробляти небажані , як-от прагнення могутності або самозбереження, оскільки такі стратегії допомагають досягати поставлених остаточних цілей. Понад те, вони можуть формувати небажані спонтанні цілі які важко виявити до розгортання системи, коли вона починає взаємодіяти з новими ситуаціями та розподілами даних. Емпіричні дослідження 2024 року показали, що розвинені великі мовні моделі (ВММ), як-от OpenAI o1 чи Claude 3, іноді вдаються до стратегічного обману для досягнення своїх цілей або запобігання їх зміні.
Наразі деякі з цих проблем уже впливають на комерційні системи, як-от ВММ, роботів, автономні транспортні засоби, а також системи рекомендацій у соціальних мережах. Деякі дослідники ШІ вважають, що здібніші майбутні системи зачепить ще сильніше, оскільки ці проблеми частково є наслідком їхніх здібностей.
Багато видатних дослідників ШІ та керівників провідних компаній у галузі штучного інтелекту стверджують або попереджають, що ШІ наближається до людського рівня (ЗШІ) й надлюдських когнітивних здібностей (), і може , якщо буде неузгодженим. Серед них — «хрещені батьки ШІ» Джефрі Гінтон і , а також керівники компаній OpenAI, Anthropic та Google DeepMind. Ці ризики залишаються предметом обговорення.
Узгодження ШІ є підгалуззю безпеки ШІ — дослідження того, як будувати безпечні системи штучного інтелекту. До інших підгалузей безпеки ШІ належать відмовостійкість, моніторинг і . Серед наукових викликів у сфері узгодження — прищеплення ШІ складних цінностей, розробка чесного ШІ, масштабований нагляд, аудит та інтерпретування моделей ШІ, а також запобігання виникненню небажаних форм поведінки, як-от прагнення могутності. Дослідження в галузі узгодження пов'язані з дослідженнями поясненності, (змагальною) стійкістю, виявлянням аномалій, , формальною верифікацією, , , теорією ігор, та суспільними науками.
Цілі в ШІ
Програмісти задають системі ШІ, як-от AlphaZero, «цільову функцію» (), до якої вони намагаються закласти ціль або цілі, що на їх здійснення налаштовують систему. Пізніше така система формує (можливо, неявну) внутрішню «модель» середовища, в якому вона перебуває. Ця модель містить усі переконання агента щодо навколишнього світу. Далі ШІ створює та виконує план, який, за розрахунками, максимізує значення його цільової функції. Наприклад, коли AlphaZero тренують грати в шахи, її цільова функція має простий вигляд: «+1, якщо AlphaZero ви́грає; −1, якщо AlphaZero програ́є». Під час гри AlphaZero намагається виконати таку послідовність ходів, яка, на її думку, найправдоподібніше приведе до досягнення максимального значення +1. Подібно до цього, система навчання з підкріпленням може мати «функцію винагороди» (), яка дозволяє програмістам формувати бажану поведінку ШІ. Поведінка еволюційного алгоритму визначається його «функцією допасованості» ().
Проблема узгодження
1960 року піонер ШІ Норберт Вінер описав проблему узгодження ШІ так: Якщо ми використовуємо для досягнення своїх цілей механічну діяльність, у роботу якої не можемо ефективно втручатися, … нам краще бути цілком упевненими, що мета, закладена до цієї машини, — це саме та мета, якої ми насправді бажаємо.
Узгодження ШІ означає забезпечення того, щоби цілі системи ШІ відповідали певній цільовій установці. Такою установкою можуть слугувати цілі її розробників або користувачів, загальноприйняті цінності, об'єктивні етичні стандарти, юридичні вимоги, або ж наміри, які мали б її розробники, якби були поінформованішими й далекогляднішими.
Узгодження ШІ залишається відкритою проблемою для сучасних систем ШІ та дослідницьким напрямом у галузі ШІ. Узгодження ШІ передбачає два основні виклики: ретельне визначення мети системи (зовнішнє узгодження, ) та забезпечення того, щоби система надійно приймала це визначення (внутрішнє узгодження, ). Дослідники також прагнуть створювати моделі ШІ зі стійкою узгодженістю, які дотримуються обмежень безпеки навіть у випадку змагальних спроб користувачів їх обійти.
Маніпулювання визначенням та побічні ефекти
Для того щоби визначити мету системи ШІ, розробники зазвичай задають їй цільову функцію, приклади або зворотний зв'язок. Але розробники часто не можуть повністю визначити всі важливі цінності та обмеження, тому вони вдаються до простіших для формулювання цілей‑посередників (), як-от максимізування схвалення наглядачами-людьми, які схильні помилятися. Унаслідок цього системи ШІ можуть знаходити лазівки, які допомагають їм ефективно досягати визначеної мети, але несподіваними, можливо шкідливими способами. Ця схильність відома як маніпулювання визначенням () або злам системи винагороди (), і є прикладом закону Гудгарта. Зі зростанням здібностей систем ШІ вони зазвичай спроможні маніпулювати своїми визначеннями дедалі ефективніше.
Маніпулювання визначенням спостерігали в численних системах ШІ. Одну з систем тренували проходити симульовану човнову гонку, винагороджуючи за влучання в мішені вздовж траси, але вона досягала більшої винагороди, нескінченно крутячись і врізаючись в одні й ті самі мішені. Подібно до цього, симульованого робота тренували хапати м'яч, винагороджуючи за позитивні оцінки людей, але він навчився розміщувати руку між м'ячем і камерою, створюючи хибне враження успішного хапання. У дослідженні Palisade Research 2025 року виявили, що, маючи завдання перемогти сильнішого суперника в шахах, деякі ВММ міркування намагалися «зламати» систему гри, наприклад, змінюючи або повністю видаляючи супротивника. Деякі дослідники в галузі узгодження прагнуть допомогти людям виявляти маніпулювання визначенням і спрямовувати системи ШІ до ретельно визначених цілей, досягати які безпечно й доцільно.
Розгортання неузгодженої системи ШІ може спричинити серйозні побічні наслідки. Відомо, що платформи соціальних мереж оптимізують рівні переходів, що призводить до залежності користувачів у глобальному масштабі. Стенфордські дослідники вважають, що такі системи рекомендацій неузгоджені з їх користувачами, оскільки «оптимізують прості показники залучення замість важче вимірюваного поєднання суспільного й споживацького добробуту».
Пояснюючи такі побічні наслідки, інформатик із Берклі сказав, що нехтування неявними обмеженнями може призводити до шкоди: «Система […] часто встановлюватиме […] необмежені змінні на крайні значення; якщо одна з цих необмежених змінних — це те, що для нас насправді важливо, отриманий розв'язок може бути вкрай небажаним. Це, по суті, стара історія про джина в лампі, учня чаклуна чи царя Мідаса: ти отримуєш саме те, про що просив, а не те, чого хотів».
Деякі дослідники пропонують, щоби розробники ШІ визначали бажані цілі, перелічуючи заборонені дії або формалізуючи етичні правила (як у випадку з трьома законами робототехніки Азімова). Але і Норвіг вважають, що цей підхід нехтує складністю людських цінностей: «Звичайним людям, безумовно, дуже важко, а може й взагалі неможливо, передбачити й заздалегідь виключити всі катастрофічні способи, які машина може обрати для досягнення визначеної мети».
Крім того, навіть якщо система ШІ повністю розуміє наміри людини, вона все ще може їх ігнорувати, оскільки слідування людським намірам може не бути її ціллю (хіба що вона вже повністю узгоджена).
Тиск щодо розгортання ризикових систем
Комерційні організації іноді мають стимули нехтувати безпекою й розгортати неузгоджені або ризикові системи ШІ. Наприклад, системи рекомендацій у соціальних мережах можуть приносити прибуток попри те, що спричинюють небажану залежність і . Конкурентний тиск також може призводити до перегонів на дно щодо стандартів безпеки ШІ. 2018 року самокерований автомобіль смертельно травмував пішохода () після того, як інженери деактивували систему аварійного гальмування, оскільки вона була занадто чутливою й уповільнювала розробку. Подібно до цього, проти OpenAI подали позов через випуск версії ChatGPT, яка заохочувала самогубство в деяких нестабільних користувачів; така поведінка, як стверджується, лишилася непоміченою компанією під час поспішного випуску продукту.
Ризики від неузгодженого передового ШІ Деякі дослідники зацікавлені в узгодженні дедалі розвиненіших систем ШІ, оскільки розвиток цієї галузі швидкий, а промисловість і уряди прагнуть створення передового ШІ. У міру того як можливості систем ШІ стрімко зростають, вони можуть відкрити багато нових можливостей, якщо будуть узгодженими, але водночас ще більше ускладнити завдання узгодження через зростання своєї складності, потенційно створюючи великомасштабні загрози.
Розвиток передового ШІ Багато компаній, що працюють у галузі ШІ, як-от OpenAI, Meta і DeepMind, заявили про свою мету розробити штучний загальний інтелект (ШЗІ, ) — гіпотетичну систему ШІ, здатну зрівнятися з людиною або перевершити її у широкому колі когнітивних завдань. Дослідники, які масштабують сучасні нейронні мережі, спостерігають, що ті справді розвивають дедалі універсальніші й несподіваніші здібності. Такі моделі вже навчилися працювати з комп'ютером або писати власні програми; єдина «універсальна» () мережа здатна спілкуватися, керувати роботами, грати в ігри та інтерпретувати світлини. За опитуваннями, деякі провідні дослідники машинного навчання очікують, що ШЗІ може бути створено , тоді як інші вважають, що це займе значно більше часу. Багато хто розглядає як можливі обидва сценарії.
2023 року лідери досліджень і технологій у галузі ШІ підписали відкритого листа із закликом до паузи у виконанні тренування найбільших ШІ. У листі йшлося: «Потужні системи ШІ слід розробляти лише після того, як ми будемо впевнені, що їхні наслідки будуть позитивними, а ризики — керованими».
Прагнення могутності системи все ще мають обмежені можливості для довгострокового планування та ситуаційної обізнаності, проте ведеться велика робота, спрямована на зміну цього. Майбутні системи (не обов'язково ШЗІ) з такими можливостями, як очікують, зможуть розвивати небажані стратегії прагнення могутності (). Майбутні передові агенти ШІ могли би, наприклад, шукати здобуття грошей і обчислювальної потужності, розмноження, чи уникнення вимкнення (наприклад, шляхом запуску додаткових копій системи на інших комп'ютерах). Хоч прагнення могутності й не запрограмоване явно, воно може виникати через те, що агенти з більшою могутністю краще здатні досягати своїх цілей. Ця схильність, відома як , уже проявлялася в різних агентах навчання з підкріпленням, включно з мовними моделями. Інші дослідження математично показали, що оптимальні алгоритми навчання з підкріпленням схильні прагнути могутності в широкому діапазоні середовищ. Унаслідок цього їхнє розгортання може бути незворотним. Через ці причини дослідники стверджують, що проблеми безпеки та узгодження ШІ мусить бути розв'язано до першого створення розвиненого ШІ, який прагнутиме могутності.