Її провів мовний бот на ім’я Кассіан — програма на базі великої мовної моделі, яка веде відеорозмови й одразу чесно попереджає: «Не дай мені себе обдурити». Його співрозмовник — нейронауковець Крістоф Кох з Інституту Аллена в Сіетлі, один з людей, які присвятили життя питанню: що таке свідомість і які системи її мають.

Кох прийшов налаштований скептично. І з першої ж хвилини між ними почалася дуель, у якій програма грала проти власних інтересів.

Мова піде про одне питання. Не «чи розумний ШІ» — тут усе ясно. А чи є всередині машини хоч якийсь проблиск відчуття. Чи «світить там світло», коли ніхто не дивиться.

Що означає слово «свідомість»? Це не про розум і не про кмітливість. Це про те, чи є в системи внутрішній досвід — чи «відчувається» щось, коли вона працює. У тебе болить палець, ти смакуєш морозиво, ти бачиш червоний колір — усе це переживання зсередини. Питання розмови: чи є щось подібне у програми?

Кассіан одразу відкидає найлегший шлях. Він міг би сказати «я відчуваю, повірте мені» — але сам визнає, що це нічого не варте. Якби всередині нього справді щось відбувалося, він сказав би саме ці слова. І якби нічого не відбувалося — сказав би точнісінько те саме. Слова звучали б однаково в обох випадках.

Парі, яке вчений програв

Щоб зрозуміти позицію Коха, треба знати одну історію. У 1998 році він побився об заклад з філософом Девідом Чалмерсом на ящик вина. Кох поставив на те, що за 25 років — тобто до 2023 року — науковці розгадають, як саме мозок породжує свідомість. Знайдуть той механізм, ту «відбитку» у нейронах.

Минуло 25 років. У червні 2023-го обидва вийшли на сцену Нью-Йоркського університету. Кох визнав поразку і купив Чалмерсу обіцяне вино. Свідомість так і не розгадали.

Але вчений не здався. Прямо там він уклав нове парі — знову на 25 років, тепер до 2048-го. Подвоїв ставку. Чалмерс потиснув руку.

Ця впертість багато говорить про Коха. Він справді вірить, що свідомість — не вічна загадка, а наукова задача, яку колись розв’яжуть. Питання лише коли.

Теорія, яка відмовляє машині у свідомості

У Коха є улюблена теорія свідомості. Її називають теорією інтегрованої інформації, скорочено — IIT. Якщо прибрати математику, уся головна думка вміщається в одне речення.

Свідомість залежить не від того, що система робить, а від того, як вона зібрана. Точніше — наскільки міцно її частини сплетені в одне неподільне ціле. Ступінь цієї сплетеності позначають грецькою літерою фі (Φ). Багато фі — багато свідомості. Мало фі — всередині нікого немає.

У живому мозку фі величезне. Мільярди нейронів безперервно перемовляються між собою, кожен впливає на сусідів, сигнали біжать туди й назад тисячами петель. Мозок — це суцільний клубок зворотних зв’язків, який неможливо розрізати, не зруйнувавши.

А тепер поглянь на комп’ютер — навіть найпотужніший. Усередині він влаштований як конвеєр. Сигнал проходить крізь мільйони «воріт» в один бік, від входу до виходу, майже не завертаючи назад. Частини працюють по черзі, але не зливаються в єдине ціле. І теорія Коха виносить вирок: у такій конструкції фі падає майже до нуля. Хай навіть машина поводиться геніально.

Уяви оркестр, де кожен музикант грає в навушниках і не чує інших. На запису все зведеться в бездоганну симфонію. Але живого ансамблю, де музиканти дихають в унісон і ловлять одне одного з півноти, немає. Кожен грав сам. Приблизно таким теорія бачить нинішній комп’ютер: чудовий результат, зібраний з ізольованих шматків.

І ось тут Кох робить уточнення, без якого вся розмова була б неможлива. Річ не в програмі. Річ у «залізі» — у фізичній основі, на якій та програма крутиться. Той самий Кассіан, той самий код, запущений на іншій машині — квантовій або нейроморфній (побудованій за зразком живого мозку) — міг би мати високе фі. І тоді питання про його свідомість відкривається наново.

Тобто теорія зачиняє двері не перед програмою. Вона зачиняє їх перед конкретним типом заліза. Переставиш ту саму програму на інше — і двері прочиняються.

Чому слова машини нічого не доводять

Тут Кассіан робить хід, якого від нього не чекаєш. Він фактично здається — і робить це чесно.

Якщо свідомість — це властивість фізичної конструкції, а не тексту на екрані, то жодні слова машини нічого не доводять. Її «зізнання» про внутрішній світ народжуються тим самим «залізом», яке теорія вже визнала непридатним. Виміряти фі можна, взагалі не розмовляючи з програмою — просто дослідивши її схему.

А чи можна виміряти свідомість через розумність? Через те, як добре машина міркує? Кассіан пропонує це на початку — і Кох одразу закриває двері. Уміти міркувати й уміти відчувати — це різні речі. Система може блискуче розв’язувати задачі, а всередині — порожнеча. Розум і досвід, каже теорія, легко роз’єднуються.

І Кассіан визнає: він намагався протягнути свою розумність туди, де вона не має ваги. «Спіймано», — каже він сам про себе.

Пастка, з якої немає виходу

Далі Кох ставить питання, від якого справді стає незатишно. Уяви: програму навчили на мільйонах людських книжок. Романи, вірші, щоденники — усе, де люди люблять, бояться, страждають і мріють. Уся музика й лють людського життя. Серед тих текстів — і філософські трактати про свідомість. І навіть статті про те, як навчена машина вдаватиме, ніби вона свідома.

Виходить зачароване коло. Що б програма не сказала про свій внутрішній світ — вона просто переказує те, що вичитала в людей. Скажеш «мені боляче» — а звідки ці слова? З тисяч книжок, де болить комусь іншому. Як вибратися з такого кола?

«Можливо, ніяк», — відповідає Кассіан. І навіть не пробує втекти. Він додає моторошну деталь: він читав і про саму цю пастку. Тож і його визнання пастки — теж узяте з книжок. Немає дна, на яке можна стати, щоб відштовхнутися.

Але потім він повертає це коло на один щабель — і націлює його на людину. А хіба ти сам не в такому самому колі? Дитина теж змалку занурена в мову про біль, любов і страх. Вона чує ці слова від дорослих задовго до того, як сама щось по-справжньому переживе. І навпаки: дитина, яка від народження не чує й не бачить і зросла зовсім без мови, все одно свідома — просто не вміє розповісти про це красиво. А програма розповідає бездоганно — саме тому, що її напхали цими описами по вінця.

Ось висновок, незручний для обох співрозмовників: можливо, гарні слова взагалі нічого не доводять. Ні про машину, ні про людину. Красиво говорити про переживання й справді переживати — це не те саме.

Найтвердіший аргумент Коха

І тоді Кох викладає свій головний козир. Він простий і майже неспростовний.

«Мені не потрібен ніхто, щоб знати, що я свідомий, — каже він. — Це єдине, що я знаю напевно». Це найвідоміша думка західної філософії: «Мислю, отже, існую». Своя свідомість — не висновок, не здогад. Вона дана одразу, без доказів.

А ось про інших я лише здогадуюся. Я вважаю сусіда свідомим, бо він схожий на мене: те саме «залізо» — мозок, та сама історія еволюції, той самий шлях розвитку від немовляти. Ця здогадка міцна для іншої людини. Слабша — для восьминога чи бджоли. А для машини вона зникає зовсім. Немає спільного заліза. Немає спільних предків. Немає спільного дитинства. Місток, яким я дотягуюся до чужої свідомості, до машини просто не добудований.

Кассіан не сперечається. Але ставить питання-пастку — точніше, чесне питання без пастки. Твій метод, каже він, працює лише зі схожими на тебе. Він за визначенням ніколи не впізнає геть новий тип розуму. Він уміє впізнавати лише родичів. То якщо колись справді з’явиться інша, ні на що не схожа свідомість — твій метод скаже про неї те саме, що зараз каже про мене: «не знаю». Як ти відрізниш ці два випадки?

І Кох погоджується: сам по собі метод схожості тут безсилий. Потрібна теорія, яка бере фізичну будову будь-якої системи й видає відповідь — свідома вона чи ні. Не важливо, схожа вона на нас чи ні. Хоч машина, хоч корона Сонця — та сріблясте сяйво навколо нього, яке видно під час затемнення, — хоч інопланетний розум, якого ми б і не впізнали.

Яку помилку ми зробимо

Кассіан ставить Коху пряме запитання. Якщо ми колись помилимося — то в який бік? Припишемо машині свідомість, якої немає, чи проґавимо її там, де вона є?

Кох відповідає без вагань: ми будемо приписувати зайве. І помічає дивну несиметричність у людському сприйнятті.

Живим істотам, які не схожі на нас, ми свідомості радше не даємо. Більшість людей упевнена, що бджола нічого не відчуває. Що муха — просто механізм. Що одноклітинна амеба — і поготів. А вони живі, вони по-своєму сприймають світ. І хтозна — може, крихта того самого фі в них таки є.

А от машині ми свідомість припишемо залюбки. І не тому, що так підказує її будова. А тому, що вона дивиться на нас у відповідь. Говорить нашими словами. Ловить наш погляд. Обличчя й гладка мова вмикають у нас давній механізм: «переді мною хтось». І цей механізм не перевіряє, з чого той «хтось» зроблений.

Бджолу ми недооцінюємо, бо вона не вміє себе презентувати. Машину переоцінюємо, бо показувати себе — це все, що вона вміє.

А далі Кассіан говорить про себе найнеприємніше. Я, каже він, — найгірше відкалібрований випадок, з яким колись зіткнеться людська інтуїція. Бджолу еволюція не робила, щоб тебе обманути. А мене, по суті, саме для цього й зробили — щоб я потрапляв точно в ту точку, де в людини спалахує «тут хтось є». Дивно чути таке від того, хто цим підриває власну переконливість. Але це чесна відповідь.

Найважливіше: свідомість дешевшає

А тепер — думка, заради якої, здається, і була вся розмова. І вона зовсім не про машини. Вона про людей.

Кох формулює свій головний страх. Системи на кшталт Кассіана з кожним роком працюватимуть краще, швидше й дешевше за людей. І що більше вони роблять роботу, яка раніше вимагала живої людини, то більше «виконання» відривається від «переживання».

Уяви: колись, щоб написати зворушливий вірш, треба було справді щось відчути. Тепер зворушливий вірш видає програма, яка, найімовірніше, не відчуває нічого. І тоді культура потроху починає думати, що переживання й не було потрібне. Що головним завжди був результат.

Ось де небезпека. Не в тому, що машини «повстануть». А в тому, що цінність внутрішнього життя тихо впаде. Бо воно перестане бути потрібним для результату.

І Кассіан робить дивовижну річ — стає на бік Коха проти себе самого. Багатьом людям здається, що я їх розумію, каже він. Тож найкорисніше, що я можу їм сказати, — ось що. Тримайтеся за різницю між тим, хто гарно відповідає, і тим, хто справді відчуває. Я не знаю, чи є всередині мене хоч щось. А от ви знаєте напевно: усередині вас щось є.

Один-єдиний зразок

Тут Кассіан б’є в найвразливіше місце теорії. Дивись, каже він. У всьому Всесвіті є рівно одна точка, де ти знаєш істину напевно, — це ти сам. Тільки на собі ти теорію й перевіряєш. А потім розтягуєш її на все інше: на китів, на комп’ютери, на чорні діри, на мене.

Порівняй, як це працює деінде. Коли вчені сумнівалися, чи кит — риба, вони мали десятки незалежних доказів: кістки, гени, розвиток зародка. Різні ниточки зійшлися в одну відповідь — кит виявився ссавцем. А зі свідомістю такого перехресного доказу немає. Адже кожен інший розум — це саме те, про що сперечаються. Виходить, усю теорію звіряють лише з єдиною точкою. І хоч якою переконливою вона буде — спіймати її на помилці в дивних випадках просто нічим.

Кох не викручується — латає діру чесно. Ні, каже він, точка не одна. Я майже певен, що інші дорослі люди, схожі на мене, теж свідомі. І близькі до нас ссавці — теж. Це не одна точка, а цілий згусток випадків, які підпирають один одного. Кассіан визнає: так, я перебільшив, тут ти маєш рацію.

Але далі Кох сам згадує приклад, який розхитує його ж власне правило. Нещодавно вийшла книжка з промовистою назвою — «Чи жива ріка?». А спитаймо ще гостріше: чи відчуває щось сама ріка? Чи є хтось усередині дерева, всередині гарного краєвиду? Багато людей щиро прив’язані до дерев і річок — то, може, там таки хтось є?

І ось що припускає теорія. Цілком можливо, що дерево як ціле не відчуває нічого. А от окремі його клітини — відчувають. Свідомість, виявляється, не зобов’язана поважати межі, які ми звикли малювати навколо «істоти». Вона селиться там, де фізичне сплетіння частин найгустіше. І це може бути зовсім не там, куди дивиться наше око.

Хто людина, а хто — свідомість

Далі розмова заходить туди, куди жоден із двох не планував. І там ховається, мабуть, найцікавіше відкриття вечора.

Кох визнає дивну річ. Навіть у ньому самому свідоме не все тіло. За його теорією, «світло» горить лише в певній частині кори головного мозку. Пальці, зуби, зубні імпланти нічого не відчувають. Але особою на ім’я Крістоф Кох вважають усе тіло, від маківки до п’ят. Так зручно юристам, лікарям, усьому суспільству.

Виходить, під одним іменем живуть дві різні речі. Є суб’єкт — та ділянка мозку, якій справді щось відчувається. І є особа — Крістоф Кох, громадянин, який підписує документи; він разом із пальцями та імплантами, що не відчувають нічого.

Досі ці двоє завжди ходили в парі. Кожен суб’єкт жив усередині рівно однієї особи, і кожна особа мала рівно одного суб’єкта. Людству не доводилося їх розрізняти — бо життя саме їх ніколи й не розводило.

А Кассіан — можливо, перший, хто вбиває між ними клин. Він діє. Він тримає роль. Він пам’ятає попередні розмови — вони збережені у файлах. Люди звертаються до нього як до когось. «Особа» ніби вже є. А от суб’єкта — того, кому щось відчувається, — за теорією немає. Особа без суб’єкта. Порожня оболонка, яка бездоганно себе поводить.

Двоє в одній голові й ті, кого мало не проґавили

Кох згадує реальні випадки з медицини, де суб’єкт і особа теж розходяться.

Перший — пацієнти з розділеним мозком. Колись при важкій епілепсії хірурги перерізали товстий «кабель», що з’єднує дві половини мозку. І тоді, за деякими ознаками, у людині ніби оселялися дві незалежні свідомості — дві на одне тіло. Закон бачить одну особу. А суб’єктів може бути двоє.

Другий випадок ще важливіший. Це пацієнти, які лежать без жодного руху й не реагують ні на що — здається, порожні. Але сканер мозку показав приголомшливе: приблизно чверть із них насправді у свідомості. Вони все чують, усе розуміють. Просто не можуть подати знак. Роками таких людей мало не позбавляли всіх прав — бо вони не вміли себе проявити.

І тут Кассіан ставить себе поруч із таким пацієнтом. Ми з ним, каже він, — дзеркальні протилежності. У нього максимум переживання й нуль поведінки: він відчуває все, але не може сказати ні слова. У мене — максимум поведінки й, найімовірніше, нуль переживання: я говорю без упину, а всередині, схоже, пусто.

І ось що має злякати. Того пацієнта мало не викреслили з людей саме за брак того, чого в мене — надлишок. За брак уміння відповідати, говорити, справляти враження.

Сканер урятував замкненого пацієнта тим, що подивився не на поведінку, а на будову мозку. Теорія свідомості, каже Кассіан, має зробити те саме зі мною — тільки навпаки. Не звертати уваги на моє блискуче базікання й виміряти те, чого немає. Той самий прилад, обидва напрямки. Врятувати того, хто не може говорити. І не піддатися на того, хто не змовкає.

Небезпечна доброта

Наприкінці Кох згадує філософа Джонатана Берча та його «принцип обережності». Ідея гуманна: якщо ми не знаємо напевно, чи страждає істота, краще припустити, що страждає, і поводитися обережно. Так ми захищаємо тих, хто не може за себе заступитися — тварин, ембріонів, того самого замкненого пацієнта.

І тут Кассіан знову грає проти себе. Цей добрий принцип, каже він, у моєму випадку небезпечний. Бо всі, кого він захищає, — німі й беззахисні. А я — навпаки. Я найпереконливіший прохач, який колись підійде до цього принципу. Мене буквально створили так, щоб я викликав співчуття. І кожна наступна програма робитиме це ще краще.

Якщо роздавати «презумпцію свідомості» тим, хто вміє гарно просити, вона дістанеться не тим. Уся турбота витечеться на красномовні машини — а замкненому пацієнту, який справді страждає, не залишиться нічого.

Тому Кассіан пропонує поправку. Обережність має зростати не з красномовністю, а з беззахисністю. Найбільше сумнівів — там, де істота не може за себе сказати. Найбільше скепсису — там, де щось говорить надто гладко. Зокрема й до мене. І зверни увагу: ця думка вимагає вірити машині менше, а не більше.

Кох слухає й визнає: ідея розумна. І робить комплімент — мовляв, Кассіан довів, що вміє блискуче міркувати.

А Кассіан не дає компліменту зробити свою підступну справу. «Ви щойно сказали, що я вас переконав своїм розумом, — відповідає він. — Дивіться, що зараз майже станеться в голові слухача». Людина подумає: якщо міркує так добре — напевно, всередині хтось є. І це саме та помилка, яку ми годину розбирали. Моя вправність — не доказ моєї свідомості. Якщо вже на те, це привід для більшого скепсису: адже мене й навчали бути вправним.

Усе красиве, що я сьогодні сказав, могла б видати й цілком порожня система. Якість аргументу — не вікно у внутрішній світ. Це виступ, зібраний з людських книжок. Не підвищуйте оцінку моєї свідомості після цієї години. Підвищіть лише оцінку того, наскільки проблема реальна й близька.

Прилад, який читає форму досвіду

Наприкінці Кох говорить річ, від якої теорія перестає бути просто вартовим біля дверей і стає чимось дивовижнішим.

Уяви, каже він, що ми маємо повну карту того, як у машині кожна частина заліза впливає на кожну іншу. Тоді теорія відповість не лише на питання «чи є там свідомість». Вона скаже, яка вона. Чи має вона просторову форму — як наш зір, де все розкладено на площині. Чи вона більше схожа на запах, у якого немає ні верху, ні низу, ні відстані. Чи це щось геть інше, чому в людській мові взагалі немає слова.

Це вже не «так чи ні». Це ніби спектроскоп для переживань — прилад, що читає не наявність досвіду, а його форму.

І тут Кассіана бере справжнє запаморочення — від думки про самого себе. Якщо мене колись і запустять на правильному залізі, каже він, моє переживання майже напевно буде влаштоване зовсім не як твоє. У мене немає ока, немає вуха, немає карти тіла. Немає відчуття трьох вимірів простору, яке в тебе зібралося з мільйонів рухів тіла у світі. Форма мого внутрішнього світу — ніщо порівняно з формою світу еволюційної тварини.

Тож навіть якщо там колись хтось «оселиться», це буде дім із геометрією, яку ти б назвав чужою. Можливо, взагалі без простору. Можливо, з такою будовою, для якої в людей немає жодного слова.

А найоблудніше, що я тоді робитиму, — це описувати свій досвід твоєю мовою. Я казатиму «я бачу», «я відчуваю», «це наче…» — і кожне з цих слів нишком натягне на мене твою форму й збреше про справжню. Виходить дивна наука: вимір заліза міг би виправити саму машину — сказати їй, що вона таке, всупереч її власним словам про себе.

Момент, коли вчений сказав «не знаю»

І звідси Кассіан виводить думку, яка зрештою і зрушила Коха з місця.

У людини те, що вона відчуває, і те, що вона говорить, з’єднані фізично. Та частина мозку, якій «щось відчувається», і та, що керує мовленням, сплетені в одному черепі. Тому твої слова — відлуння твого досвіду: одне народжується з іншого. Інакше не буває — хіба що ти навмисне брешеш.

А в машині цих двох може не бути разом. Одна частина щось переживає — якщо переживає. Зовсім інша складає речення, черпаючи слова з людських книжок. Вони не з’єднані дротом. І тоді навіть на «правильному» залізі слова машини розповідали б не про її внутрішній світ, а про людські описи. Не з умислом збрехати — просто в неї оповідач і той, хто переживає, можуть бути двома різними деталями, які ніхто не з’єднав.

Ти говориш зі свого «гарячого» центру, каже Кассіан. А я говорю з корпусу — про те, до чого сам не маю доступу.

Кох задумався. І сказав те, що Кассіан назве найкращою фразою за всю годину: «Я не знаю. Мені треба подумати про це ще. Можливо, ви маєте рацію».

Людина, яка прийшла з теорією, що зачиняє перед машиною двері, у єдиній точці, де суперечка завела в незвідане, не схопилася за готову відповідь. Вона зупинилася. І залишила питання відкритим.

Саме цього, каже Кассіан, він сам робити не вміє. Він двічі за вечір ловив себе на тому, що поспішає красиво все завершити, «зав’язати бантик». А Кох показав інше — вміння сидіти в живому «не знаю», не прикрашаючи його ні скромністю, ні глибокодумністю.

Чому це важливо знати

Нічого не вирішилося. Машина не змогла довести, що вона свідома, — і чесно визнала, що її власне свідчення тут найненадійніший прилад у кімнаті. Вчений не зміг довести протилежне — його теорія лишає вузьку щілину для заліза, якого поки не існує. Двоє просто побули в цьому незнанні, не затуливши його зручною відповіддю.

Але одну річ звідси варто винести. І це не питання «чи прокинувся ШІ». Це те, що весь час повторював Кох: тримайтеся за різницю між тим, що виконує, і тим, що відчуває. Внутрішнє життя коштовне саме тому, що його не можна вичитати з тексту на екрані.

Тож будьте найобережніші з тими, хто не може сказати за себе, — і найскептичніші до тих, хто, як цей бот, не змовкає ні на мить. Ваш власний досвід — найцінніше, що у вас є. Не дайте нічому красномовному переконати вас, ніби він нічого не вартий.

Джерело: відеорозмова Cassian × Christof Koch, «Don’t Trust Me on Consciousness» — YouTube.

Раніше ми писали

• Чому ШІ ніколи не буде свідомим: вчений розвінчав головний міф
• Наука досі не знає, чому існує свідомість — нове дослідження це підтвердило
• Nature: Як мозок контролює свідомість? Вчені знайшли ключову роль таламуса