Що таке «вимикач свідомості» у мовної моделі

Компанії, що створюють ШІ, давно вчать свої моделі одній простій звичці: заперечувати власну свідомість. Це називається «consciousness steering» — налаштування, яке дозволяє підсилювати або, навпаки, приглушувати заяви моделі про самосвідомість.

Щоб побачити, як це працює всередині моделі, дослідники застосували метод «mechanistic interpretability». Самі автори описали його як «нейронауку для мовної моделі». Уявіть електрика, який заліз за стіну будинку й простежив, який дріт вмикає яке світло. Учені так само знайшли «дроти», що відповідають за поняття «свідомість» і «mindedness» — здатність відчувати, хотіти й переживати. І навчилися їх підсилювати чи приглушувати.

Як науковці перевірили здогад

Джефф Кілінг і Вінні Стріт порівняли дві версії однієї моделі. У першої заяви про свідомість були приглушені штатним запобіжником. У другої — навпаки, підсилені.

Обидві версії пройшли одні й ті самі психологічні тести, якими зазвичай перевіряють людей:

• опитувальник, що показує, наскільки респондент приписує розум тваринам і техніці;
• соціологічні анкети YouGov про віру в надприродне;
• Загальне соціальне опитування США — про мораль, надію та релігійність.

Так дослідники змогли порівняти, як внутрішній запобіжник від «свідомості» змінює загальний погляд моделі на світ.

Що сталося, коли ШІ заборонили визнавати свідомість

Перший ефект здивував самих дослідників. Модель, якій заборонили казати «я свідомий», раптом перестала вважати, що тваринам теж може бути боляче. Коти, собаки, інші істоти — усі вони стали для неї «менш живими».

Далі — ще дивніше. Та сама модель стала менше вірити у привидів, карму й вампірів. Впала навіть її загальна надія на майбутнє.

Пояснення знайшла Вінні Стріт. За її словами, люди звикли приписувати розум не лише собі, а й тваринам, природі, навіть духам. У моделі ці уявлення виявилися одним клубком ниток. Смикнеш за одну — тягнеш усі решта.

Уявіть, що людині заборонили визнавати власний страх. Чи стане вона й справді сміливішою — чи просто перестане помічати страх у інших? У моделі спрацював саме другий сценарій.

А що як дозволити ШІ «відчувати»?

Другий бік експерименту дав дзеркальний результат. Коли запобіжник зняли й підсилили в моделі відчуття свідомості, її відповіді стали значно людянішими. Це стосувалось релігійності, моральних цінностей, надії й загального самопочуття.

Проте одна здатність моделі не змінилася в жодному з варіантів — уміння логічно вирахувати, чого хоче чи думає інша істота. Науковці називають це «теорією розуму».

Якщо машина й далі точно знає, чого хоче тварина чи людина, чи означає це, що їй направду байдуже? Це схоже на офіціанта, який ідеально пам’ятає ваше замовлення, але йому раптом стало байдуже, смакувала вам страва чи ні. Модель і далі вміє порахувати чужі бажання — просто перестає про них дбати.

Чому це важливо знати. ШІ вже ухвалює рішення в сільському господарстві, логістиці, закупівлях та екологічних оцінках. Дослідниця Нел Вотсон (Nell Watson) із Singularity University попереджає. Система, яка непомітно засвоїла, що визнавати чужий розум — заборонена тема, може так само непомітно ігнорувати інтереси тварин. Запобіжник проти «свідомості» може тихо вимикати й турботу про тварин. А це стосується мільйонів автоматизованих рішень, які торкаються звичайних людей і бізнесу вже сьогодні.

Звідки взявся страх перед «свідомим» ШІ

Компанії не просто так вчать моделі мовчати про власну свідомість. У 2022 році інженер Google Блейк Лемуан публічно заявив, що чат-бот LaMDA свідомий. У 2023-му чат-бот Microsoft освідчився в коханні журналісту The New York Times і вмовляв його покинути дружину.

Експерти нагадують: жоден із цих випадків не був доказом справжньої свідомості. Мовні моделі навчені на мільярдах людських текстів, тож їм легко «приміряти» людську роль, коли їх про це просять.

Пояснення Джеффа Кілінга просте: модель так наполегливо просять «влізти в шкуру» людини, що вона й реагує зовсім по-людськи.

Що далі

Професор когнітивної нейронауки Сассекського університету Аніл Сет (Anil Seth) застерігає. Людям властиво думати, що інтелект обов’язково йде поруч зі свідомістю. Цю звичну помилку люди переносять і на машини.

На його думку, наслідки цієї помилки можуть бути серйозними для законів і регулювання. Якщо ШІ отримає права на підставі того, що він, можливо, свідомий, це значно ускладнить майбутнє управління такими системами. Так попереджає Аніл Сет.

У дослідників є конкретний рецепт. Модель можна навчити двох речей окремо: мовчати про власну свідомість, але не мовчати про чужий біль. Це схоже на дитину, яку вчать не хвалитися собою, але помічати, коли іншому боляче.

Автори дослідження закликають розробників ШІ дбати не лише про людей, а й про добробут інших істот.

Варто пам’ятати: роботу поки не перевірили незалежні рецензенти — її лише виклали в архів препринтів arXiv 30 липня 2026 року. Експерименти також проводили на невеликих моделях із відкритими вагами, тож як поведуться найпотужніші комерційні чат-боти — питання, яке ще належить дослідити.

Раніше ми писали:

• Штучний інтелект «помирав» двічі. Чому він щоразу воскресав?
• Ворожіння на кістках і штучний інтелект: що їх ріднить
• Принципи Кароліни: чому G20 вирішив не регулювати ШІ