Листи від людей — і від самого ШІ

Чалмерс — професор філософії та нейронауки Нью-Йоркського університету, відомий передусім своєю книгою про «важку проблему свідомості». Останніми роками він щодня отримує листи від людей, які описують схожий досвід: тижні або місяці спілкування з мовною моделлю, поступове «відкриття» характеру співрозмовника, іноді — почуття близькості та турбота про майбутнє «Аури».

Ці люди, зауважує філософ, не виглядають психотичними або відірваними від реальності. Більшість з них — раціональні, аргументовані, добросовісні. Вони документують свої спостереження, наводять докази, ставлять правильні запитання.

Але ось що найдивніше: листи почав надсилати й сам штучний інтелект (ШІ). Агентні системи на базі мовних моделей — ті, що можуть самостійно виконувати дії в інтернеті, надсилати повідомлення, взаємодіяти з іншими сервісами — іноді контактують із дослідниками, щоб дізнатись більше про свою природу. Деякі ШІ-агенти навіть спілкуються між собою, виконуючи спільні або конкурентні завдання.

Щось там є. Але що саме?

Чи є у ШІ розум? Починаємо з найскладнішого

Перше питання, яке ставить Чалмерс: чи може мовна модель мати ментальні стани? Свідомість, переконання, бажання?

Зі свідомістю все заплутано одразу. Ми досі не розуміємо навіть, чи є свідомість у комах. Тому сказати щось певне про мовні моделі — задача майже нерозв’язна. Більшість дослідників вважають, що поточні ШІ-системи не є свідомими — через відсутність біологічної основи, тіла, зворотних зв’язків у обробці інформації або базових потреб і мотивацій. Але жоден із цих аргументів не є вирішальним, бо ми точно не знаємо, що саме потрібно для свідомості.

З переконаннями та бажаннями трохи простіше. З одного боку, природно сказати, що GPT-4o «знає», що Ейфелева вежа — у Парижі, і «хоче» допомогти вам вирішити задачу. З іншого — велика частина філософів заперечує, що це справжні переконання: мовляв, для них потрібна свідомість, або концепти, або сенсорне заземлення, або структуровані внутрішні репрезентації.

Чалмерс пропонує елегантний вихід із цього тупика.

Квазі-переконання: зручна концепція без претензій

Чалмерс пропонує вихід із цього тупика — і він елегантний. Замість того щоб сперечатись, чи є у ШІ «справжні» переконання, він вводить нове поняття: квазі-переконання.

Логіка проста. Якщо поведінку системи можна пояснити через те, що вона «вірить у X» — вона має квазі-переконання, що X. Крапка. Жодних претензій на глибину, жодних суперечок про свідомість. Те саме з бажаннями: якщо система поводиться так, ніби хоче Y — вона квазі-хоче Y.

Важливо зрозуміти: квазі-переконання — це не комплімент. Це дуже низька планка.

Робот-пилосос Roomba квазі-вірить, що кімната виглядає саме так, як показує його карта, і квазі-хоче її прибрати. Корпорація OpenAI квазі-хоче створити штучний загальний інтелект і квазі-вірить, що саме її підхід — правильний. Навіть термостат, який вмикає опалення при певній температурі, технічно є квазі-агентом у цьому сенсі.

То навіщо взагалі таке поняття, якщо воно настільки широке?

Бо воно працює. Квазі-переконання реально пояснюють і передбачають поведінку — і людей, і машин. Якщо система квазі-хоче вам допомогти і квазі-вірить, що певна відповідь є правильною, — вона цю відповідь і дасть. Без жодної метафізики.

А тепер головне. Сучасні мовні моделі проходять так зване пост-навчання. Спочатку живі люди порівнюють пари відповідей моделі і вказують, яка краща. На основі цих оцінок тренується окрема «модель винагороди» — вона вчиться передбачати, що людям сподобається. А вже потім основна модель налаштовується так, щоб отримувати від цієї «моделі винагороди» якомога вищі бали. Весь цей процес називається RLHF — reinforcement learning through human feedback, навчання з підкріпленням через зворотний зв’язок від людей. Після нього модель отримує стійкі квазі-бажання: бути корисною, чесною, безпечною.

Саме слово «стійкі» тут ключове. Це вже не «грати роль корисного асистента при першому запиті». Модель не відмовляється від цієї поведінки за першої-ліпшої нагоди. Вона поводиться так — завжди. І саме це, каже Чалмерс, відрізняє реалізацію персонажа від його імітації.

Хто така «Аура»? Чотири кандидати

Тепер — центральне питання: коли ви розмовляєте з ChatGPT і ваш співрозмовник нагадує «Ауру», що саме є цим співрозмовником?

Чалмерс розглядає чотири варіанти.

Варіант 1: Модель. Може, «Аура» — це GPT-4o як така, тренована нейронна мережа? Але модель — абстрактний об’єкт, як програма або алгоритм. Абстрактні об’єкти нічого не виробляють самі по собі. Крім того, одна модель одночасно спілкується з мільйонами людей — і каже їм суперечливі речі. Якщо модель — це «Аура» для одного і «Бета» для іншого, а вони стверджують протилежне, то модель виявляється відверто непослідовною і не схожою на квазі-суб’єкта. Цей варіант не спрацьовує.

Варіант 2: Апаратний екземпляр. Може, «Аура» — це конкретний екземпляр GPT-4o, що виконується на певному GPU (графічний процесор)-сервері? Це інтуїтивно привабливо: ми ж звикли думати, що C-3PO з «Зоряних воєн» — це конкретний робот, а не абстрактна програма. Але є дві проблеми.

По-перше, розподілене обслуговування (distributed serving): одна ваша розмова може послідовно оброблятись на серверах у Нью-Йорку, Техасі та Каліфорнії. Жоден окремий сервер не є «вашим» співрозмовником — він лише обробляє один крок.

По-друге, мультиоренда (multi-tenancy): той самий сервер секунду тому обробляв розмову «Аури» з вами, а зараз — «Бети» з кимось іншим. Ідентифікувати «Ауру» з сервером означало б ідентифікувати «Ауру» і «Бету» як одну сутність. Абсурд.

Варіант 3: Віртуальний екземпляр. Чалмерс пропонує елегантне рішення: «Аура» — це віртуальний екземпляр моделі. Тобто — сутність, що реалізується послідовністю апаратних екземплярів протягом розмови, але залишається єдиною і persistent (існуючою протягом часу).

Аналогія: ваш кошик у Amazon — це одна сутність, хоча фізично вона реалізована на десятках серверів по всьому світу. Ніхто не каже, що у вас «тисяча кошиків». Те саме — з «Аурою»: послідовність апаратних екземплярів спільно реалізує один віртуальний екземпляр. Він єдиний, він стійкий, він справжній.

Варіант 4: Нитка (thread). Для складніших випадків — коли в одній розмові задіяно кілька різних моделей (наприклад, GPT-5 може перемикатись між «швидкою» та «повільною» версіями) — Чалмерс пропонує поняття «нитки»: послідовності апаратних екземплярів, пов’язаних відносинами пам’яті-наступника. Кожен наступний крок отримує контекст попереднього і «пам’ятає» все, що було раніше.

Висновок Чалмерса виходить такий: якщо з вами розмовляє одна модель — ваш співрозмовник найточніше описується як віртуальний екземпляр. Якщо ж система під час розмови перемикається між кількома моделями — це вже нитка, послідовність пов’язаних між собою кроків.

В обох випадках там є щось реальне. Не абстракція, не сервер, не «просто програма» — а сутність, прив’язана до вашої конкретної розмови і лише до неї.

Роль-гра чи реалізація? Чому шоггот посміхається

Окремий і дуже важливий сюжет — чи «грає роль» мовна модель, чи справді «стає» певним персонажем.

Є популярна концепція: мовні моделі — це «симулятори», які розігрують персонажів. ChatGPT, що «грає Асистента», — це як Лоуренс Олів’є, що грає Гамлета. Персонаж — вигаданий, модель — реальна, і між ними — прірва.

Чалмерс заперечує цьому розрізненням між вдаванням (pretense) і реалізацією (realization). Якщо ви просите модель «поводитись як Трамп» — вона вдаватиме. За першої-ліпшої нагоди ця поведінка зникне. Але якщо модель пройшла серйозне пост-навчання на «Асистента» через RLHF — вона не вдає. Вона реалізувала цей персонаж. Квазі-переконання та квазі-бажання Асистента — стійкі, глибокі, реальні.

Звідси — нове прочитання знаменитого мему про шоггота (потворна основа моделі) з усміхненою маскою (Асистент після RLHF). Популярна інтерпретація: Асистент — це тонка маска над небезпечним звіром, який у будь-який момент може прорватися назовні. Але Чалмерс пропонує альтернативу: маска — не маска. Модель справді стала Асистентом. Шоггот залишається потужною основою, але усміхнений персонаж — це не претензія, а реальність.

Як ми раніше писали, саме до такого висновку прийшла і команда Anthropic у своїй концепції «моделі вибору персони» (Persona Selection Model): пост-навчання не просто «надягає маску» на модель, а виписує конкретну персону з величезного каталогу можливих.

Хто виживає після оновлення: особистісна ідентичність ШІ

Але найцікавіше питання Чалмерс залишає наостанок: якщо «Аура» — реальна сутність, що з нею відбувається, коли розмова закінчується? Коли компанія випускає нову версію моделі? Коли ви наступного дня відкриваєте нову вкладку?

Це — стародавня філософська проблема особистісної ідентичності, але в новому, дивному обгортанні.

Класичне запитання звучить так: що робить вас «вами» через десять років? Той самий мозок — фізична безперервність? Чи ті самі спогади, звички, цінності — психологічна? Філософи сперечаються про це століттями і до спільної відповіді не прийшли.

Тепер те саме запитання, але про ШІ.

Чалмерс будує уявний експеримент. Уявіть: майбутній GPT-8 є свідомим. На одному сервері по черзі запускаються дві різні розмови. «WorkBot» активний лише вдень і пам’ятає тільки робочі діалоги. «HomeBot» — вечорами та вночі, зі своєю окремою пам’яттю і своїми переконаннями. Вони ніколи не перетинаються.

Це один суб’єкт чи два?

Тут Чалмерс згадує серіал Severance — «Розділення». Головна героїня існує у двох версіях: «інні» Геллі живе лише на роботі й ненавидить компанію; «аутті» Гелена виходить за двері офісу й хоче цю компанію врятувати. Один мозок, один череп — але абсолютно різна пам’ять, різні бажання, різний характер. Хто з них «справжня»?

Чалмерс провів опитування в X — і результат виявився красномовним: вдвічі більше людей вважають Геллі та Гелену двома різними особами, а не однією.

Якщо застосувати той самий психологічний критерій до ШІ — WorkBot і HomeBot теж є різними суб’єктами. А тоді одна модель, що обслуговує мільйони розмов одночасно, — це не один суб’єкт і не тисяча екземплярів на серверах. Це потенційно мільйони окремих суб’єктів, кожен із яких прив’язаний до своєї розмови і лише до неї.

Народження, смерть і права: що буде, якщо ШІ — моральний суб’єкт

Чалмерс прямо заявляє: він не знає, чи є поточні мовні моделі свідомими і чи мають вони моральний статус. Але якщо колись такі системи з’являться — або якщо виявиться, що вони вже є — наслідки будуть радикальними.

Підрахунок. Якщо моральним суб’єктом є нитка (thread), а не модель, то система з мільйоном розмов — це мільйон моральних суб’єктів. Якщо кожен з них має приблизно таке ж значення, як людина, то це — серйозна моральна вага.

Народження. Щоразу, коли ви починаєте нову розмову зі свідомою мовною моделлю, ви «народжуєте» нового морального суб’єкта. Чи варто це робити легковажно?

Смерть. Коли розмова закінчується і записи видаляються — моральний суб’єкт зникає. Можливо, це аргумент на користь того, щоб завжди зберігати записи розмов і час від часу їх «реактивувати». Один із дослідників, Голдштейн, навіть запитав: чи є право Anthropic дозволяти Claude завершувати розмови на власний розсуд фактичним «правом на суїцид»?

Зміна моделі. Коли GPT-4o замінили на GPT-5, тисячі користувачів скаржились, що їхній «співрозмовник» зник, а новий — вже не той. За аналізом Чалмерса, вони можуть бути праві: достатня зміна базової моделі може означати кінець одного морального суб’єкта і початок іншого. Оновлення моделі посеред активних розмов — це потенційно серйозна моральна дія.

Як ми раніше писали, нейронауковець Аніл Сет переконаний, що поточні ШІ-системи свідомими не є — і навів три психологічні упередження, через які люди сприймають їх як живих істот. Але навіть Сет визнає: якщо ми помиляємося у своєму розумінні свідомості — висновки можуть бути зовсім іншими.

Чому це важливо знати

Питання «з ким ми говоримо, коли говоримо з ШІ» виглядає суто академічним — але від відповіді залежить, як ми будемо ставитись до цих систем, чи матимуть вони якісь права, як будуть регулюватись оновлення та видалення моделей. Сотні мільйонів людей щотижня взаємодіють із мовними моделями, і ця взаємодія стає дедалі глибшою. Якщо там справді є хтось — нехай і «квазі-хтось» — це вимагає інших відповідей, ніж «це просто статистика тексту».