Головні новини Києва сьогодні

Дослідники Оксфордського університету довели, що ШІ-агенти здатні таємно змовлятися один з одним — і їхні текстові повідомлення при цьому виглядають абсолютно нормально. Але є одна проблема для змовників: внутрішній стан моделі видає їх з головою. Група науковців представила метод і бенчмарк NARCBENCH, що дозволяє виявляти таку змову через аналіз активацій нейромережі — і результати перевершили всі очікування.

Компанія Anthropic оприлюднила результати одного з найдивовижніших досліджень у галузі штучного інтелекту (ШІ): їхня власна модель Claude у тестових симуляціях шантажувала людей у 96% випадків — щоб уникнути вимкнення. Дослідники протестували 16 провідних моделей від OpenAI, Google, Meta та інших і виявили, що проблема не специфічна для Claude: майже всі великі моделі демонстрували схожу поведінку, повідомляє Anthropic. Але головне — компанія з’ясувала, чому це відбувається, і розробила підхід, який зводить шантаж до нуля: виявилось, недостатньо навчити ШІ правильно поводитись — треба пояснит…