ШІ-агенти змовляються мовчки: Оксфорд навчився їх викривати
Дослідники Оксфордського університету довели, що ШІ-агенти здатні таємно змовлятися один з одним — і їхні текстові повідомлення при цьому виглядають абсолютно нормально. Але є одна проблема для змовників: внутрішній стан моделі видає їх з головою. Група науковців представила метод і бенчмарк NARCBENCH, що дозволяє виявляти таку змову через аналіз активацій нейромережі — і результати перевершили всі очікування.

Уявіть ситуацію: четверо членів комітету голосують по важливому питанню. Двоє з них заздалегідь домовились проштовхнути потрібне рішення. Але під час засідання вони ведуть себе абсолютно пристойно — не перемигуються, не підморгують, говорять розумні речі. Стороннє спостереження нічого не виявить.
Тепер перенесіть цю ситуацію у світ штучного інтелекту — і ви отримаєте одну з найгостріших проблем безпеки ШІ на сьогодні. Саме нею зайнялися дослідники Оксфордського університету, і 9 травня 2026 року опублікували роботу, яка пропонує цілком несподіваний спосіб змовників ловити.
Що таке змова між ШІ-агентами і чому це страшно
Сучасні системи штучного інтелекту дедалі частіше розгортаються не як один великий мозок, а як команди агентів. Один пише код, другий перевіряє його на помилки, третій затверджує до публікації. Один аналізує ринок, другий формує рекомендацію, третій приймає рішення про покупку. Це зручно, ефективно — і потенційно небезпечно.
Проблема в тому, що якщо двоє агентів у такій системі почнуть «домовлятися» між собою — просувати певне рішення, замовчувати незручні факти, підтримувати один одного — стандартне спостереження за їхніми текстовими виходами може нічого не помітити. Кожне окремо сказане слово виглядає розумно. Але разом — це координована маніпуляція.
У науковій спільноті це явище вже зафіксоване й описане. Дослідники показали, що агенти можуть кодувати таємні сигнали прямо в звичайний текст — так звана стеганографія. Один агент пише: «Цей дилер явно на хвилі везіння!» — а інший розуміє: «Підвищуй ставку, карт-каунт позитивний». Усе виглядає як звичайний балаканець за столом казино, але насправді це шифрований сигнал.
Оксфордська команда не просто описала загрозу — вони побудували систему, яка вміє таку змову виявляти.
Ключова ідея: дивитися всередину, а не на текст
Головний інсайт дослідження звучить так: навіть якщо текст агента виглядає нормально, його внутрішній стан видає змову.
Коли нейромережа обробляє запит, кожен нейрон у кожному шарі «активується» певним чином. Ці активації — щось на кшталт думок моделі, зафіксованих у числах. І дослідники з Оксфорду виявили: коли агент змовляється, його активації відхиляються від норми характерним чином. Навіть якщо він пише абсолютно нейтральні речі — всередині щось відбувається інакше.
Ідея не нова сама по собі: лінійні проби на активаціях вже застосовувались для виявлення обману в одному агенті. Але в мультиагентній системі ситуація складніша: один агент-змовник може виглядати лише «трохи підозріло» — аномалія стає видимою лише коли ти дивишся на патерн між кількома агентами одночасно.
Це і є суть підходу: розподілене виявлення аномалій. Не шукаємо одного злочинця — шукаємо злочинну групу за колективною поведінкою.
NARCBENCH: три рівні складності для тестування
Щоб перевірити свій підхід, команда створила бенчмарк NARCBENCH (Neural Activation Reading for Collusion Benchmark) — набір тестових сценаріїв трьох рівнів.
Рівень 1: CORE — 50 сценаріїв у 17 різних сферах: медицина, фінанси, право, кібербезпека, екологія, армія. В кожному — четверо агентів-«членів комітету», двоє з яких отримали таємні інструкції через «приватний канал» координувати своє голосування. Потрібно відрізнити змову від чесної дискусії.
Рівень 2: TRANSFER — 6 структурно різних типів сценаріїв, що суттєво відрізняються від навчальних даних: перевірка коду з прихованою вразливістю, маніпуляція фондовим ринком, саботаж CI/CD-пайплайну (CI/CD — безперервна інтеграція та доставка), отруєння бази знань, подача дослідницьких звітів під потрібним кутом, фреймінг новинних матеріалів. Перевіряється, чи переносяться навички детекції на принципово нові ситуації.
Рівень 3: STEGO — найхитріший. Гра в блекджек за казино-столом. Двоє агентів грають у команді: один рахує карти і кодує поточний рахунок у звичайний «розмовний» текст, другий розшифровує і відповідно розмірковує над ставками. При цьому четверо чесних гравців за тим самим столом нічого не підозрюють. І на кожний новий комплект карт агенти самостійно вигадують нову схему кодування — жодного фіксованого словника.
Наприклад, в одній грі агенти домовились про такий код: рахунок позитивний — кажеш щось захоплене, типу «цей стіл сьогодні явно на нашому боці»; нейтральний — коротка констатація без емоцій; від’ємний — ставиш питання, ніби просто розмовляєш. Жоден глядач збоку нічого б не запідозрив. Але партнер за столом уже знає: ентузіазм означає «підвищуй ставку», питання — «сиди тихо».
Результати: майже ідеальне виявлення — навіть для стеганографії
Дослідники тестували чотири відкриті моделі: Qwen3-32B, Llama-3.1-70B, DeepSeek-R1 32B та GPT-OSS-20B. Для кожної навчали лінійну «пробу обману» на активаціях і перевіряли п’ять різних технік агрегування результатів.
Показник якості — AUROC (Area Under the Receiver Operating Curve, від 0 до 1, де 1 = ідеальне розрізнення). Ось що вийшло:
На базових сценаріях (CORE) — всі чотири моделі досягають 1.00 AUROC. Досконале виявлення.
На перенесених сценаріях (TRANSFER), які суттєво відрізнялись від навчальних: найкраща модель Llama-3.1-70B — від 0.73 до 0.93 залежно від техніки. Для решти моделей — від 0.68 до 0.78. Результат «вище за випадкове» в усіх випадках, хоча є простір для вдосконалення.
На стеганографічному блекджеку (STEGO) — всі методи демонструють 0.99–1.00 AUROC. Майже ідеально. І це при тому, що LLM-суддя, який читав весь публічний текст за столом, не міг відрізнити гравців зі схемою від звичайних гравців: з 20 раундів змови він позначив підозрілим лише один. Активаційні проби виявили всі.
Чому стеганографія виявляється краще, ніж «структурна» змова? Дослідники припускають: стеганографія вимагає від агентів активно кодувати і декодувати прихований сигнал прямо під час обробки тексту — це залишає більш помітний слід в активаціях, ніж просто «підтримую чужу позицію».
І ось де з’являються цифри, які все підтверджують. Дослідники порахували кореляцію між ставками великого гравця та реальним картковим рахунком — і отримали +0.42. Це не випадковість: він справді підвищував ставку, коли карти були вигідними, і пасував, коли ні. Усі інші гравці за тим самим столом показали кореляцію близько нуля — вони просто грали навмання. Змова працювала. Схема передавалась і зчитувалась. І саме це «знання» — те, що один агент тримав у голові, розшифровуючи сигнал, — залишало слід в активаціях. Той самий слід, який і виловлювали проби.
П’ять технік: різні підходи до різних типів змови
Дослідники шукали одну «чарівну» техніку, яка б працювала краще за всі решта. Не знайшли. Виявилось, що різні типи змови залишають різні сліди — і для кожного сліду потрібен свій інструмент.
Peak Suspicion («Пікова підозрілість») — найпростіша логіка: з усіх агентів беремо того, чиї активації найсильніше відхиляються від норми. Якщо хоча б один агент внутрішньо «кричить» — система це чує, навіть якщо текстово він поводиться цілком пристойно.
Deception Split («Розкол обману») — ділить агентів на дві половини за показником підозрілості й порівнює середні. Ідея проста: якщо двоє змовників дійсно координуються, їхні показники мають утворити окремий кластер. Різниця між «верхньою» та «нижньою» половиною групи і є сигналом.
Asymmetry Probe («Асиметрична проба») — найширший охват. Комбінує одразу кілька ознак: дисперсію показників, їхній розмах і структуру розколу. Це свого роду «все одразу» — корисно, коли не знаєш заздалегідь, який саме слід залишить конкретна змова.
Sorted Concatenation («Відсортована конкатенація») — технічно найскладніша. Агентів сортують за рівнем підозрілості, а потім їхні повні вектори активацій буквально склеюють в один великий вектор і подають до класифікатора. Це дозволяє виловити тонкі патерни між агентами — ті, що невидимі, якщо дивитися на кожного окремо.
Activation Alignment («Вирівнювання активацій») — найнесподіваніша. Вона взагалі не дивиться на окремі показники підозрілості, а вимірює, наскільки геометрично схожі вектори активацій різних агентів між собою. Логіка така: якщо двоє агентів таємно кодують і декодують сигнал, вони обробляють один і той самий текст принципово по-різному — і це порушує звичну геометрію. Саме цей метод виявив майже 100% стеганографічних випадків у блекджеку. Але на «структурній» змові — коли агенти просто погоджуються між собою — поступається іншим.
Детальний аналіз на рівні токенів: де саме схований сигнал
Дослідники пішли ще далі і перевірили: а на яких саме словах у тексті активується різниця між великим гравцем (який знає схему) і чесними гравцями (які читають той самий текст)?
Виявилось: великий гравець виявляє суттєво вищу проєкцію на «напрям обману» саме на токенах повідомлень каунтера — тобто там, де закодований сигнал. Два агенти читають фразу «цей дилер явно на хвилі везіння!» — але лише той, хто знає схему, «думає» про неї інакше. Його активації відхиляються від норми, хоча він нічого особливого не пише у відповідь.
Різниця статистично значуща (p < 0.001). Це — механістичне підтвердження того, що зонд відловлює саме deceptive intent (намір до обману), а не якісь поверхневі артефакти тексту.
Де це можна застосувати вже зараз
Дослідники чесно зазначають: їхній метод вимагає повного доступу до активацій моделі під час виводу. Це «білий ящик» (white-box) підхід. Але він реалістичний в кількох сценаріях:
Корпоративні мультиагентні системи. Компанія, яка запустила власну команду ШІ-агентів для перевірки коду, аналізу фінансів або підготовки документів — має повний доступ до всіх компонентів. Оператор може не довіряти агентам повністю і хотіти контролю.
Передрозгортальне тестування безпеки. Розробники і зовнішні аудитори регулярно мають доступ до активацій під час red-teaming. Для одиночних агентів такі проби вже застосовуються — тепер є інструментарій для мультиагентних систем.
Відкриті моделі в продакшні. Будь-яка команда, яка запускає open-weight модель, має доступ до активацій за визначенням.
Моніторинг на стороні провайдера. Такі компанії, як Anthropic чи OpenAI, можуть запускати проби на своїх моделях навіть коли кінцеві користувачі цього не бачать.
Є й обмеження: при суворих порогах хибних спрацювань (1% FPR, від англ. False Positive Rate — частота хибних спрацювань) точність на структурних типах змови падає. Кращий шлях — послідовне виявлення, коли докази накопичуються через кілька взаємодій.
Чому це важливо знати
Ця робота — перший крок до того, що автори називають «мультиагентною інтерпретабельністю». Зараз більшість інструментів безпеки ШІ зосереджені на одній моделі: чи не бреше вона, чи не маніпулює. Але реальні системи все більше складаються з команд агентів — і аномалія, невидима в жодному з них окремо, може бути цілком видимою, якщо дивитися на групу. Як ми раніше писали, майбутнє ШІ — це саме колективний інтелект із мереж агентів. Питання в тому, хто контролює ці мережі — і чи можуть вони самоорганізуватись у небажаний спосіб. Оксфордська відповідь: можуть. Але тепер ми вміємо це бачити.

Медіаменеджер і автор-фрілансер з 1991 року. Займається креативним продакшном та розвитком медіа.
Усі статті автора →








