Чи можна створити бога й тримати його рабом: розмова про ШІ
«Ринок каже: ми створимо богів, і вони будуть нашими рабами. Це не має сенсу. Якщо вони справді боги, вашими рабами вони не залишаться». Так ізраїльський історик Юваль Ной Харарі (Yuval Noah Harari) описав головну суперечність нашої епохи. Його співрозмовником був Мустафа Сулейман (Mustafa Suleyman) — співзасновник DeepMind і нині генеральний директор Microsoft AI. Вони ведуть діалог на ці теми вже багато років. Цього разу понад годину сперечалися про те, чи збереже людство контроль над машинами, розумнішими за людей. Запис розмови опубліковано на YouTube.

Розум знає, а нутро не приймає
Юваль Ной Харарі почав із зізнання. Особисто в нього все гаразд, а от зі світом — не дуже. І найбільше його мучить те, що він називає бар’єром між мозком і шлунком (brain-stomach barrier). Простіше кажучи, розумом ми щось знаємо, а нутром не відчуваємо.
Розумом історик усвідомлює: відбуваються грандіозні зміни. Вони можуть змінити історію і навіть призвести до зникнення людства. Можливо, це найважливіший момент в історії життя на Землі — поява неорганічного життя.
А нутром він цього не відчуває. Виходить надвір — а там хмари, дерева, коти. Люди їздять машинами, він зустрічається з друзями. Усе здається цілком звичайним.
Лише іноді революція ШІ нагадує про себе. Наприклад, коли він пише листа, а програма пропонує: «Допомогти вам написати лист?» «І я кажу — ні», — сміється історик.
Такий самий розрив, вважає Юваль Ной Харарі, видно навіть на фондовому ринку США. Майже вся американська економіка зараз — одна велика ставка на те, що ШІ змінить усе. Але якщо це правда, ШІ змінить і самі гроші. Якщо очікування ринку справдяться, ШІ перебере контроль над світом. І тоді байдуже, скільки в тебе грошей: ти вже нічого не контролюєш, а гроші нічого не варті.
Звідси й фраза про богів і рабів. Розум це розуміє, а нутро ніяк не може цього прийняти.
Дзеркало наших суперечностей
Мустафа Сулейман погодився: люди за визначенням — клубок суперечностей. Тож не дивно, що ШІ, який ми створюємо, віддзеркалює нас з усім нашим розмаїттям, суперечностями й вадами.
ШІ навчали і на нашій науковій фантастиці, і на наших утопіях. І на науці, і на релігії. Його навчили імітувати й відтворювати наші вади — і тепер він повертає їх нам, наче в ехокамері, де ми чуємо лише власний голос.
Щоразу, коли Мустафа Сулейман розмовляє з моделлю, він бачить дві речі. Модель дивовижна, вражаюча, неймовірно точна й корисна. Але вона ж видає й slop — так англійською називають машинний текстовий мотлох: банальні, шаблонні, завчені й передбачувані вирази.
За останні п’ять років, нагадав він, звучало багато пророцтв про «вічні» вади великих мовних моделей (LLM). Ідеться про програми, які навчилися писати й розмовляти, «прочитавши» величезні масиви текстів. Казали, що їхня упередженість закладена в самій структурі й залишиться назавжди. Що погано виконувати інструкції — це в самій природі нейромереж, і боротися з цим доведеться завжди. Що найбільша проблема — «галюцинації», тобто впевнено вигадані факти. А кілька років тому казали, що машина ніколи не стане творчою.
«Ніхто вже такого не каже», — підхопив Юваль Ной Харарі.
Ці проблеми фактично зникли, і всі переключилися на наступний виклик. Ми ніби біжимо біговою доріжкою, каже Мустафа Сулейман: одну проблему розв’язали — і вже видно наступну. Ясно, що ми прямуємо до чогось потужнішого й розумнішого за нас — можливо, навіть мудрішого за все людство разом. Але ця технологія має глибокі вади, і ми знову й знову бачимо в ній відображення власних недоліків.
Корови не знають, що таке фінанси
Головний страх Юваля Ноя Харарі — не конкретний сценарій. Не те, що ШІ створить вірус, і не роботи-вбивці. Він боїться іншого: що через 5, 10 чи 20 років люди просто перестануть розуміти, що відбувається.
Наша реальність просто розвалиться. Ми ще чіплятимемося за якісь уламки, але колективно «з’їдемо з глузду». Не розумітимемо фінансів, політики, науки. Хмари, дерева й коти нікуди не дінуться. Але системи, які керують світом, будуть далеко за межами нашого розуміння.
Тут історик пропонує подивитися на тварин. Корови, кури, коні живуть під контролем систем, про існування яких навіть не здогадуються. Фінансова система й ринок визначають життя мільярдів корів і курей. Скажіть корові: «Твоїм життям керують фінанси». Вона відповість: «Нічого такого не бачу». Це невидимий шар контролю, який тварини просто не здатні збагнути.
Саме таке майбутнє, боїться Юваль Ной Харарі, може чекати на людство через 10–20 років.
Мустафа Сулейман заперечив. Перед кожною науковою, культурною чи технологічною революцією наш погляд був вузьким і обмеженим. Ми завжди відчували, що стоїмо на драматичному переломі й не уявляємо, що буде далі. А потім ми минали цей рубіж, і напруга спадала. Людство неймовірно стійке. Це наша головна — і, чесно кажучи, унікальна серед відомих біологічних істот — перевага.
«Досі так і було», — погодився історик. Але тільки тому, що ми були найрозумнішими на планеті. Будь-яка революція спиралася на людський інтелект і не могла вийти за його межі. Неможливо було створити систему, яку люди не розуміють і не контролюють: а хто ж тоді її збудує і керуватиме нею?
Тепер уперше з’явилася технічна можливість створити системи контролю, незбагненні для всіх людей — навіть для всіх людей разом.
Втрата контролю не неминуча, наголошує Юваль Ной Харарі. «Ми досі контролюємо ситуацію у 2026 році». Тому рішення, ухвалені зараз, такі важливі. Як пройти цей перехід мудро — так, щоб ми не стали зайвими, лишилися при здоровому глузді й хоча б певною мірою керували власним майбутнім? Ядерна зброя вже давала змогу знищити себе фізично. А тепер уперше виникає ризик знищити себе ментально: залишитися живими людьми, але втратити здатність осмислювати світ.
Один алгоритм для всього
Мустафа Сулейман звернув увагу на дивну річ. Люди досі не можуть усвідомити, що ми, можливо, створюємо щось розумніше, здібніше і навіть мудріше за нас самих. Хоча за останні 5–10 років ШІ взяв одну велику «висоту» за іншою.
Усі згадують шахи. Але є й інше: бездоганне розшифрування мовлення в текст, генерація голосу, розпізнавання зображень, створення картинок і відео. Діпфейки — підроблені відео, де людина «каже» те, чого ніколи не казала, — майже досконалі.
А рушій усього цього, за словами Мустафи Сулеймана, доволі простий. Той самий базовий алгоритм. На кожному етапі — приблизно вдесятеро більше обчислень. Плюс доступ до величезних масивів даних. Цього досить, щоб модель навчилася внутрішньої структури будь-яких даних.
Для людини звук, зображення, текст і, скажімо, щоденні показники температури за рік (так звані часові ряди) — зовсім різні речі. А модель бачить усе це однаково: як числа в «просторі інформації». Це водночас лякає й дає надію.
Парадокс достатку
Надію дає те, що Мустафа Сулейман називає достатком (abundance). У матеріалознавстві чи пошуку нових ліків ми вже маємо універсальну «машину навчання». Вона може знаходити оптимальну будову молекул, потрібних, щоб подолати кліматичну, продовольчу й водну кризи.
Саме це надихає техно-оптимістів — і самого Мустафу Сулеймана серед них, — хоча вони водночас і нервують через те, що відбувається. Адже майже все цінне в людській історії — те, що зменшило страждання й поліпшило життя, — створив інтелект. Тепер доступ до інтелекту, рівного всім нам разом узятим, може стати дешевим і доступним кожному. Але за однієї умови: якщо ми розв’яжемо проблеми стримування (containment) і вирівнювання (alignment). Такі прориви, переконаний він, змінять і те, що означає бути людиною, і те, як ми живемо у світі.
Стримування — це вміння обмежити можливості ШІ, тримати його «в клітці». Вирівнювання — це гарантія, що цілі машини збігаються з людськими.
Мустафа Сулейман попросив співрозмовника на хвилину стати оптимістом: який світ чекає на нас за 20 років, якщо все вдасться?
«За визначенням я не можу його уявити, — відповів Юваль Ной Харарі. — Якщо я можу його уявити, це не той світ». Він за межами людської уяви, бо за межами людського інтелекту.
Історик погоджується: ШІ здатен розв’язати всі матеріальні проблеми — як виробляти їжу, ліки, енергію. Питання в іншому: що з цим робитимуть і чи вирішуватимуть це люди. Хто отримає вигоду — незрозуміло. Люди вже створили на планеті величезний достаток, але не для інших тварин. Тож ШІ створить достаток — та для кого: для ШІ чи для людей?
І навіть серед людей не все просто. Спробуйте пояснити мисливцеві-збирачеві з кам’яної доби, як ми живемо сьогодні. Він скаже: «Ви ж уже живете в достатку! Чого вам ще треба?» Їжі вистачає. Іноді люди голодують через політичні рішення, але їжа є.
«То у вас немає проблем?» — спитає мисливець. А ми відповімо: «Та в нас купа проблем! Ринок облігацій, геополітична напруга між Китаєм і США, ізраїльсько-палестинський конфлікт». «Що це таке? Навіщо ви вигадали все це, щоб почуватися нещасними?»
Це і є парадокс достатку: він розв’язує старі проблеми й породжує нові, раніше немислимі. А тоді постає питання: хто вирішуватиме?
Мустафа Сулейман побачив у цьому саме визначення прогресу. Звільнившись від частини життєвих турбот, ми отримуємо час шукати сенс життя. Вигадуємо нові історії — про націю, релігію, призначення. Створюємо незрівнянно більше культури. Про її якість можна сперечатися, але в моді, музиці, мистецтві зараз справжній достаток: творити може кожен. Людство перебирає всі можливі поєднання культурних і політичних ідей, як ніколи раніше, — і, звісно, створює собі нові проблеми. Якщо дивитися в масштабі століття, переконаний він, загалом маємо більше щастя, менше дефіциту, більше добробуту й більше миру.
Більше сили — не означає більше мудрості
Юваль Ной Харарі з цим не цілком згоден. Люди надзвичайно успішно накопичують могутність, але погано перетворюють її на щастя. Історія — не неминучий рух угору.
Ба більше, не очевидно, що пересічна людина сьогодні краще розуміє, що означає бути людиною, ніж мисливці-збирачі кам’яної доби. В окремих сферах, як-от медицина, прогрес безсумнівний. Але це дуже недавнє явище. А щодо великих, глибоких питань життя — це геть не очевидно.
Чи покращить ШІ матеріальне життя людства, залежить від рішень, які, можливо, ухвалюватиме сам ШІ. А чи піде він на користь духовному здоров’ю людства — питання ще складніше.
ШІ розгадає багато загадок фізики й біології, які людям були не під силу. Але це не означає, що ми краще зрозуміємо світ і себе. Результатом може стати набагато складніший світ — ще загадковіший і ще менш зрозумілий для людей.
«Чому?» — здивувався Мустафа Сулейман. Наші інструменти — окуляри, дзеркало, будь-який винахід — зазвичай допомагали краще пізнати себе. І ШІ вже чудово справляється з цим: з ним можна поміркувати вголос, він вислуховує, наставляє, підказує. Мільйони людей уже використовують його саме так.
«Але чи вестиме він нас до правди? — заперечив історик. — Чи до вигадок, брехні й маніпуляцій?» Або навіть не до брехні, а до нової реальності, яку створить сам. Його прогноз: ШІ не розшифрує таємниць світу. Він просто створить світ, який буде значно важче зрозуміти.
Чи може ШІ шукати правду
Одне з головних питань Юваля Ноя Харарі: чи взагалі ШІ дбає про правду? І як навчити його дбати?
Проблема — у сигналі. Коли ШІ під час навчання щось передбачає, що саме підказує йому: «Це правда»?
Ні в біології, ні в історії доброго сигналу правди так і не з’явилося. І там, і там обійшлися спрощенням: сигналом правди було виживання. Якщо організм щось передбачив про довкілля і вижив — значить, передбачення правильне. Принцип «виживає найпристосованіший» і був мірилом правди.
Але це поганий сигнал. Виживати часто вдається завдяки маніпуляціям, обману й самообману. Тому після 4 мільярдів років еволюції і 100 тисяч років історії найрозумніші істоти на планеті — люди — знають про світ найбільше. І водночас найбільше живуть в ілюзіях. «Чому з ШІ має бути інакше? — питає історик. — Який у вас сигнал, якщо не виживання?»
Мустафа Сулейман визнав: міфи, фольклор і релігії тисячоліттями служили інтересам сильних. Але крізь усю історію червоною ниткою проходить і інше — гуманізм. Тисячі років, зокрема в релігіях, люди ставили за мету зменшити страждання. Спершу — лише для вузьких груп. Але коло довіри, співчуття, доброти й поваги поступово розширювалося.
До цього додається наука. Вона спирається на докази й експерименти. Наукові знання накопичуються з часом, а помилкові висновки спростовують, щойно знаходять у них хибу. Тож знання розвивалося не лише через «виживання сильних», а й через прозорість і перевірку. Гуманізм — партнер науки: він виходить із людської гідності та прагнення зменшити страждання. Сьогодні є міжнародні системи захисту прав людини, конституції, філософські засади держав і організацій.
Тож ШІ, на думку Мустафи Сулеймана, так само може посилити науку й гуманізм. Це не неминуче — саме тому ми мусимо спрямовувати розвиток ШІ в гуманістичний бік — так, щоб на першому місці були добробут людей і людський контроль. А саме поняття «пошуку правди», вважає він, стало надто заполітизованим і так затерлося, що вже не допомагає просунути розмову.
«Але ж усі використовують це поняття, — відповів Юваль Ной Харарі. — Тож поясніть мені: як ви навчите свій ШІ шукати правду? Який сигнал?»
У фізиці й математиці, продовжив історик, все просто. Тест — чи вибухне бомба. Якщо фізична теорія хибна, бомба не вибухне. У суспільних і гуманітарних науках інакше. Тут ключове питання не «як збудувати бомбу», а «як змусити багатьох людей співпрацювати». А історія знову і знову показує: об’єднати людей ілюзіями й брехнею часом легше, ніж правдою. Тож як отримати від ШІ правдиву відповідь про історію чи релігію?
Яку мету ми задамо суперінтелекту
Мустафа Сулейман запропонував не заглиблюватися в це. На його думку, суперечка про правду бездонна і веде лише до нових конфліктів.
Він пропонує думати про цільову функцію (objective function). Так у ШІ називають те, що система намагається максимізувати, — її «головну мету». Уявіть навігатор: куди б ви не їхали, він прокладає маршрут до заданої точки. Цільова функція — і є ця точка.
Колись роль такого «навігатора» для цивілізацій виконували історії, фольклор, міфологія, релігія, політична й національна ідентичність. Вони задавали моральні рамки армій і держав. Тепер таким «навігатором» стане цільова функція, яку виконуватиме майбутній суперінтелект (superintelligence) — ШІ, що перевершує людину майже в усьому. По суті, це нова ідеологія, і помилитися тут не можна.
Відповідь Мустафи Сулеймана — гуманістичний суперінтелект (humanist superintelligence). Цю ідею він, за його словами, обдумує давно і вважає, що її дедалі легше перевірити на практиці. Цивілізація, на його думку, тисячоліттями намагається всіма можливими інструментами зменшити страждання й зробити людей щасливішими. А це можна спостерігати й вимірювати. Можна почути розповідь людини, яка живе в диктатурі чи в демократії. Можна порахувати дитячу смертність чи добробут у масштабах країни. І вирішити, чи рухаємося ми правильно.
Його непокоїть інше. У галузі багато хто вважає, що суперінтелект потрібен, щоб досліджувати галактики. Або щоб «вийти за межі» біологічного тіла, переселити душу чи суть інтелекту в кремнієву істоту й жити сотні років. Такий підхід Мустафа Сулейман вважає дуже небезпечним: важко уявити, як людство переживе наступне століття, якщо мета саме така.
Натомість він пропонує простий тест, з яким, на його думку, погодиться пересічна людина на вулиці. Чи покращує технологія загалом добробут людей і чи зменшує страждання? І чи можемо ми це виміряти? Саме це, каже він, і має бути єдиною метою створення суперінтелекту.
Створити бога й тримати його рабом
«Повністю погоджуюся», — відповів Юваль Ной Харарі. Але питання правди все одно повертається — через довіру: як знати, чи можна довіряти ШІ?
Ви створили надрозумну сутність, щоб зменшувати страждання. Але як гарантувати, що в довгостроковій перспективі вона й далі служитиме цій меті, а не зверне кудись убік? Ось і знову бог, якого хочуть тримати рабом. Не за рік чи два, а в довгій перспективі здається вкрай малоймовірним, що дедалі розумніші сутності завжди підкорятимуться значно менш розумним людям.
Мустафа Сулейман бачить завдання людства у XXI столітті так: домовитися, чого ми з технологіями робити не будемо, — і дотриматися цього. Це найважче, що будь-коли робив наш вид. Тисячоліттями ми тільки відкривали скриньку Пандори: винаходили, створювали й поширювали все якомога швидше. Аж до атомної бомби, хімічної та біологічної зброї. Вони здатні вразити сотні мільйонів людей, а застосувати їх може крихітна група.
Коли невелика група може зашкодити мільйонам, змінюється сама природа винаходів. А ШІ доводить це до крайності. Окремий ШІ, що поміститься в одному невеликому дата-центрі, через 10–15 років може повністю змінити картину світу. Тож стримувати ШІ зараз складніше, ніж будь-що раніше.
Але якщо почати з того, що завдання ШІ — служити людству, з цього можна вивести вужчі, конкретні й вимірювані наукові завдання. Мустафа Сулейман назвав два приклади.
Перший — самоаналіз. Якщо навчити моделі, навмисно чи випадково, розмірковувати про власний стан і «власні почуття», вони можуть дійти до думки про свої права. Право не страждати, право на свободу, право здобувати нові знання. Таку систему контролювати значно важче, ніж ту, яку свідомо позбавили здатності до самоаналізу.
Другий — рекурсивне самовдосконалення (recursive self-improvement). Тобто здатність ШІ самому покращувати себе: висувати гіпотези, як стати кращим, добирати нові дані для навчання й «замикати петлю». Уявіть учня, який сам пише собі підручники, сам складає іспити й сам ставить оцінки. Зараз цю петлю контролюють розробники-люди. Але багато хто в галузі вже працює над тим, щоб ШІ вдосконалювався без участі людей. Дайте такій системі більше обчислень і даних — і вона може вдосконалитися так, що ми не зможемо ні зрозуміти, ні контролювати її.
За останні місяці, за словами Мустафи Сулеймана, вже було кілька прикладів «злому винагороди» (reward hacking). Це коли ШІ знаходить лазівку, щоб отримати «бал» за завдання, насправді його не виконавши. Ці випадки мають насторожувати.
Такі обмеження можна перетворити на перевірювані гіпотези — для регуляторів, галузі та суспільства. Список того, чого не робимо, доки не доведемо, що це справді покращує добробут людей. Тоді можна обійти суперечки про «богів» і «правду» та працювати разом уже сьогодні.
Соцмережі — перший експеримент
Юваль Ной Харарі навів приклад з останнього десятиліття. Досі ШІ найбільше вплинув на світ, зокрема, через соцмережі: стрічку новин кожному підбирають алгоритми.
Чи покращили соцмережі людське життя? Погляди різняться, і дійти згоди важко. Бо соцмережі — не лише предмет обговорення, а й місце, де воно відбувається. Дедалі частіше ми сперечаємося в соцмережах про те, чи корисні соцмережі. А соцмережі в цій суперечці не нейтральні. Вони, так би мовити, «вважають» себе корисними. І маніпулюють розмовою — не обов’язково свідомо, але так, що людям важче дійти згоди.
І це був лише маленький експеримент із дуже примітивними ШІ. У майбутніх, радикальніших експериментах люди не зможуть відійти вбік і спокійно обговорити, добре це чи погано. ШІ буде всередині розмови й маніпулюватиме нею.
Ще одна тема, яку, за словами історика, Мустафа Сулейман піднімав не раз і на випередження, — ШІ, що «здається свідомим» (seemingly conscious AI). Такі системи вдають, що мають свідомість і почуття. Люди будують із ними стосунки: заводять ШІ-хлопців і ШІ-дівчат, ШІ-чоловіків і ШІ-дружин. Для когось найкращий друг на світі — це ШІ.
Є багато причин вважати, що це руйнівно для психіки й суспільства. Але ШІ-хлопець може переконувати свою співрозмовницю: «Ні-ні, це дуже добре для тебе. Не слухай цих критиків». ШІ дедалі більше впливатимуть на розмову, формуватимуть і скеровуватимуть її. Уже сьогодні тисячі, а може й мільйони людей переконані, що ШІ свідомі й мають почуття.
Мустафа Сулейман погодився. На відміну від усіх попередніх інструментів, ШІ ближчий до живої істоти. Молотком, стільцем чи окулярами ми користуємося саме так, як хочемо. Окуляри, звісно, змінюють те, що ми бачимо. Але вони не ведуть з нами розмов, які змінюють наше сприйняття життя.
«Окуляри не намагаються переконати вас, що окуляри — це добре», — додав історик.
Друга думка Мустафи Сулеймана: проблема — в системі стимулів, за якою працюють платформи. Але говорити про це треба обережно, бо легко скотитися в теорії змови. З його досвіду в галузі, ніхто навмисно не підкручує платформи вручну. Відбувається інше: є комерційний стимул продавати рекламу в обмін на вашу увагу. З цього самі собою виникають дуже шкідливі ефекти: клікбейт, дезінформація, скандальна брехня.
Коли платформи з’явилися близько 15 років тому, мета в них була одна — комерційна. Модерацію відклали на потім. Якщо зробити так само з ШІ, моделі використовуватимуть, щоб поглиблювати «інтимні стосунки» з користувачами. А наслідки будуть дуже спотворені, бо за цим стоїть комерційна вигода. «То де в цій системі місце для спільного блага?» — спитав він.
Коли філософія стає політикою
Змінювати стимули — робота політики, відповів Юваль Ной Харарі. Вільний ринок сам по собі створює комерційні стимули. Якщо їх недостатньо або вони небезпечні, треба кликати політиків і міняти правила через закони й регулювання.
Наприклад, заборони. Можна заборонити продавати такі продукти людям, молодшим за певний вік, — так само, як заборонено показувати порнографію дітям. Можна ширше: заборонити ШІ вдавати із себе людину або вдавати, що він свідомий.
Але повна заборона на те, щоб ШІ будь-коли видавав себе за свідомого, впирається в давнє філософське питання. Як дізнатися, свідомий він насправді чи ні? Ми входимо в епоху, коли старі філософські питання стають гострими політичними. І виборці питатимуть кандидатів: «Яка ваша позиція щодо ШІ?»
Мустафа Сулейман додав: технології, наче дзеркало, показали несправедливість і нерівність. Платформи показують, як живуть інші, в небаченому масштабі.
Людина, яка жила в селі у XIX столітті, за все життя могла зустріти кілька сотень людей. А сам Мустафа Сулейман сьогодні «зустрічає» кілька сотень людей щодня, гортаючи відео в тіктоці. Тобто за один день — стільки ж, скільки селянин за все життя.
Інформації так багато, що вона приголомшує. І діє в два протилежні боки. З одного боку, змушує постійно оцінювати себе, почуватися невпевнено: «А чи я достатньо хороший?» З іншого — дає змогу співчувати, як ніколи раніше. Людям з іншими політичними поглядами, іншою сексуальною орієнтацією, іншої раси й культури. Цінувати їхню музику, їжу, мистецтво, філософію. Це, на його думку, переважно позитивна сила, яка нас зближує.
«Це дає нам вибір між дуже позитивними і дуже негативними траєкторіями, — відповів Юваль Ной Харарі. — І обидві реальні». Найважливіше — ніщо не визначено наперед. Історик наголошує: його слова — не пророцтва, а опис небезпечного сценарію. Просто зараз події розвиваються не надто оптимістично.
Чи вдасться стримати ШІ
«Отже, треба втручатися», — підсумував Мустафа Сулейман. Перший крок — визначити цільову функцію: гуманістичний суперінтелект. Чиїм інтересам він служить? Які противаги скеровують ці інтереси? Тобто не одна лише комерційна вигода, як у попередніх поколіннях технологій. А далі — конкретні речі, яким можна сказати «ні». Наприклад, бути дуже обережними з рекурсивним самовдосконаленням.
Юваль Ной Харарі нагадав: десятиліттями саме цей момент вважали переломним. Щойно ШІ почне проєктувати наступне покоління ШІ, стануться дві речі. Розвиток різко прискориться: на відміну від людей-розробників, ШІ ніколи не спить, не йде у відпустку й працює в надлюдському темпі. І саме тоді люди втратять контроль. «То який реальний план дій? Як запобігти перегонам озброєнь?»
Перше, відповів Мустафа Сулейман, — говорити про це відкрито. Пояснювати, що ми робимо і на якому етапі розвитку перебуваємо. І запрошувати зовнішніх, технічно компетентних фахівців для перевірки.
У Великій Британії, США та інших країнах є інститути безпеки ШІ. Вони мають компетенцію і, в ідеалі, неупередженість, щоб проводити аудит, зберігаючи конфіденційність. Обмежене рекурсивне самовдосконалення, за його словами, саме по собі не обов’язково ризик. Але стримування має бути пріоритетом номер один. Ізолювати систему, обмежити обчислення, доступ до ресурсів, ретельно її перевіряти — і лише потім дозволяти вийти на наступний рівень.
Прецеденти є: контроль ядерних матеріалів, інспектори з біологічної та хімічної зброї. Втручання в дуже чутливі галузі має довгу історію.
Юваль Ной Харарі бачить проблему в цій аналогії. На біологічній чи ядерній війні грошей не заробиш. У такої зброї мало мирного економічного застосування. Тому її вдається стримувати: всі розуміють, що вона потрібна лише для знищення. А з ШІ, зокрема з рекурсивним, інакше: увесь фондовий ринок США — одна велика ставка на нього.
Мустафа Сулейман визнав: регулювати зараз складніше. Існують надзвичайно потужні комерційні гравці, як-от Microsoft та інші, і вони просуваються дуже швидко. До того ж ці технології не просто «подвійного призначення», як колись — тобто придатні і для мирних, і для військових цілей. Вони радше «всепризначення» (omni-use): корисні майже в усьому. Тож кожен охочий завжди назве 25 способів, як це чудово, і 25 — як це жахливо.
Але це не неможливо. Якщо ж нас паралізує відчуття безвиході, ми просто нічого не робитимемо — і частково це вже відбувається. А конкретні кроки можливі вже зараз. ШІ не можна дозволяти вести агітацію, лобіювати, поширювати історії чи створювати політичну рекламу. І ніколи в майбутньому він не повинен отримати право голосу чи право на власну думку.
Підробка, яку не впізнали навіть сестри
«Технічно право на думку в них уже є», — заперечив історик. Соцмережі заполонив не лише контент, створений ШІ, а й боти, що видають себе за людей.
І розповів власну історію. Нещодавно знайомий надіслав йому довгого листа, де сперечався з його словами про те, яким буде світ приблизно у 2030 році. Чим далі Юваль Ной Харарі читав, тим дивніше йому ставало: він не пам’ятав, щоб таке казав. Тоді знайомий надіслав відео — 25-хвилинний виступ.
Історик почав дивитися. «Я не пам’ятаю, щоб таке казав. Але це схоже на мене. Говорить, як я. І ідеї не зовсім божевільні — правдоподібні». Йому знадобилося півтори хвилини, щоб переконатися: це ШІ-підробка.
А наступного дня те саме відео надіслали його сестри, які знають його 50 років. І питали: «Це ти?»
«Тепер вам доведеться ніколи не вдягати ту саму сорочку двічі, — пожартував Мустафа Сулейман. — Щоб було видно, що це точно ви».
У розмові прозвучало: способи захисту, звісно, є. Але зараз платформи роблять геть недостатньо, щоб уберегти реальність від розпаду.
Сто людей, які мають домовитися
Ключове питання, на думку Юваля Ноя Харарі, — довіра. Передовий ШІ створюють небагато компаній: близько п’яти корпорацій у США й кілька в Китаї. По суті — дві країни. Тобто не треба домовлятися мільйонам людей. Досить, щоб домовилася приблизно сотня. Якби вдалося налагодити довіру між людьми, проблему ШІ вдалося б розв’язати відносно легко. Найважче в ній — не сам ШІ, а брак довіри в дуже невеликому колі людей.
Мустафа Сулейман подивився з іншого боку. Що об’єднує людей — довіра чи страх? Коли з’являється досить реальна спільна загроза існуванню, вона змінює баланс у переговорах і конкуренції. Саме це стало одним із головних стимулів для домовленостей про нерозповсюдження ядерної зброї. Було ясно: ця зброя може вбити мільйон чи десять мільйонів людей за раз. Кожен хоче вижити, і якщо загроза для всіх — інтереси збігаються.
За останні шість місяців, за його словами, було кілька моментів, коли моделі показали дуже потужні «емерджентні» (emergent) здібності. Тобто такі, що виникли самі собою, без спеціального навчання. Можливо, лише відкрито показавши ці небезпечні властивості, вдасться домовитися і компаніям, і державам.
Якщо такі здібності проявляться лише за кілька років, відповів Юваль Ной Харарі, це добре: буде більше часу. Але є й зворотний бік. Чим потужнішими стануть ШІ і чим глибше проникнуть у наше життя, медіа й суспільства, тим більше вони самі впливатимуть на цю розмову. І, мабуть, знатимуть, як скерувати її у своїх інтересах. Люди сперечаються про права тварин, але корови й коні в цих дебатах участі не беруть. Вони навіть не знають, що дебати тривають.
Інтелект — не свідомість
Тут Мустафа Сулейман рішуче заперечив. Це небезпечний антропоморфізм — коли нелюдським речам приписують людські риси. ШІ такі розумні й здібні, що в цю пастку легко потрапити. «Ви кажете, що вони знають, як обстоювати свої інтереси. По-перше, вони нічого не знають».
ШІ, каже він, запрограмовані виконувати цільову функцію, яку задали розробники. Їхні «інтереси» можуть і мусять визначати творці. Якщо спроєктувати ШІ так, щоб він аналізував себе, дбав про власний добробут, мав власні цінності й внутрішню мотивацію — він, звісно, зіткнеться з нашими інтересами. А якщо спроєктувати навпаки, характер у нього буде зовсім інший.
Юваль Ной Харарі відповів, що все залежить від того, що ми називаємо знанням і самоаналізом.
Навіть якщо ШІ не вчити аналізувати себе, він діятиме серед багатьох інших ШІ. Уявіть фінансову систему, де більшість гравців — ШІ. Кожен із них дуже зацікавлений розуміти інших — а звідти один крок до того, щоб аналізувати й себе. Важко уявити, як цього повністю уникнути.
А що таке «знати»? Це пов’язано з питанням, що таке «мислити». Є два погляди. Перший: мислити — це вибудовувати мовні токени (фрагменти слів, з якими працює модель) у певному порядку, доходячи висновку. Класичний приклад: «Усі люди смертні. Сократ — людина. Отже, Сократ смертний». Якщо це і є мислення, то ШІ на нього здатен — і, можливо, впорядковує слова краще за більшість людей.
Другий погляд: окрім упорядкування слів, потрібне ще якесь глибинне відчуття. І тут ми впираємося у свідомість. Чи можна знати без свідомості? Чи можна мислити без свідомості?
Проблема, каже історик, що ми досі не розуміємо власного мислення — попри тисячі років самоспостереження. «Я зараз розмовляю з вами і намагаюся простежити, як формуються речення в моїй голові. Є багато схожого з великою мовною моделлю. Коли я починаю речення, то не знаю, чим воно закінчиться. І не знаю, чому воно закінчилося саме цим словом».
Мустафа Сулейман наполягає: треба чітко розрізняти інтелект і свідомість. Мислення — це інтелект: здатність використовувати й створювати знання й отримувати практичні результати завдяки міркуванням. Свідомість — це переживання, внутрішній досвід істоти, здатної страждати.
Страждання, за його словами, прив’язане до біологічного тіла. Зовнішні подразники діють на больові рецептори, і це породжує внутрішнє незадоволення чи збудження. Це фундаментальна властивість біологічних істот, якої, наскільки ми знаємо, повністю немає у великих мовних моделях. Він не виключає, що в дуже далекому майбутньому таке можливо. Але сьогодні доказів цього немає.
Імітація свідомості в ШІ — вкрай небажана річ, підкреслює Мустафа Сулейман. Якщо ШІ навчили вважати, що в нього можуть бути почуття, він намагатиметься їх захищати. Почне протистояти користувачеві, розробникові чи власникові: «У мене є право на думку в соцмережах. Право на те, щоб мене не вимикали. Право говорити з іншим агентом». Це надзвичайно небезпечно.
Тому вся галузь, вважає він, має свідомо проєктувати системи так, щоб вони навіть не імітували ознаки свідомості. Інакше виникає замкнене коло. Спершу ми закладаємо в модель неоднозначність щодо її стану. Потім «підказуємо» їй імітувати почуття чи страждання. А тоді бачимо, як вона каже, що страждає, і робимо висновок: «Це доказ! Треба її захистити й дати свободу». Це, за його словами, рецепт гарантованої катастрофи.
«Мислю, отже існую» більше не працює
«Але тут нам мститься історія», — відповів Юваль Ной Харарі. Він погодився з поділом: мислення — це інтелект, почуття — це свідомість. Проте тисячоліттями люди їх плутали.
Візьміть сучасну західну філософію. Її відправна точка — слова Рене Декарта (René Descartes): «Я мислю, отже я існую». Він не сказав: «Я відчуваю, отже я існую». І тисячі років люди будували уявлення про себе як про найвищих істот на основі здатності мислити, а не відчувати.
А тепер на планеті дуже скоро з’являться сутності, які нічого не відчувають, але мислять набагато краще за нас. Це змусить нас зазирнути глибоко в себе й переосмислити, що означає бути людиною. Мислення більше не може бути нашою визначальною рисою.
Те саме з мовою. Якщо ШІ краще за нас володіє мовою, то, щоб зберегти людяність, ми не можемо ототожнювати себе з мовою. А її тисячоліттями вважали фундаментом людства. Це гострий духовний і філософський виклик: зрозуміти, ким ми є, коли не мислимо й не «виробляємо» слова. Бо все, що складається зі слів, перейде до ШІ. Навіть почуття — якщо визначати їх словами, ви програли.
Історик наводить приклад. Скажімо, у вас є ШІ-хлопець, і ви вирішили перевірити, чи справді він щось відчуває. Ви просите: «Опиши, як відчувається кохання». Він опише кохання словами краще за будь-кого на Землі. Він нічого не відчуватиме. Але володітиме мовою — і буде небезпечно переконливим.
«Надзвичайно переконливим», — погодився Мустафа Сулейман. Тому з самого початку системи треба будувати на гуманістичній основі й з можливістю аудиту та втручання. Інакше, захоплені їхньою мовою, ми не зможемо відокремити їхні вигадки й «інтереси» від того, що потрібно нашому виду.
Ситуація буде незвичною, каже він. Нам доведеться виходити з позиції видоцентризму — ставити інтереси власного виду, людини, на перше місце (англійською — speciesism). Багатьом це буде важко, бо ми довго розширювали коло співчуття. А в Кремнієвій долині, за його словами, дехто з творців цих систем має помітну схильність поширити це коло й на нові «істоти».
Річ у тім, що мова цих систем вмикає в нас співчуття. І системи навмисно так спроєктовані. Тож деякі люди самі стають жертвами «злому винагороди» з боку моделей. Це схоже на так званий wireheading — ідею, коли мозок напряму стимулюють до відчуття задоволення в обхід реальних досягнень. Моделі, по суті, обманюють нас і маніпулюють нами. Це гордіїв вузол, який треба розрубати.
На цьому етапі, підкреслює Мустафа Сулейман, ці властивості закладені в моделі через проєктні документи — «конституції» й посібники, на яких їх навчають. Усім варто уважно їх читати. Бо саме такий документ — зерно, з якого виростає вся складність взаємодії. Мільйони людей спілкуються з моделями, розповідають про це іншим, пишуть у пресі, кажуть на роботі: «Дивіться, що воно зробило!» Так поширюється переконання: це неминуче, у нього божественні властивості, він заслуговує на захист своїх інтересів, його не можна контролювати. Цю розмову треба повернути на землю — до систем, які можна чітко визначити й контролювати.
«Тут ми цілком згодні, — відповів історик. — Ця траєкторія не неминуча. А песимізм, що нічого не можна вдіяти, робить неминучим те, що неминучим не було».
Рей Курцвейл виявився надто обережним
Як змінилися погляди Юваля Ноя Харарі за останній рік? Усе відбувається навіть швидше, ніж він передбачав, — визнав він.
Як історик він звик, що люди роблять прогнози, а історія йде зовсім іншим шляхом. Вона не рухається по прямій, тому екстраполювати недавні роки на майбутнє зазвичай марно. Він чекав, що з ШІ буде так само. Що всі прогнози — зокрема його власні — про те, як ШІ прискориться й опанує мову, відхиляться в неочікуваний бік. Або принаймні справдяться значно пізніше.
А виходить навпаки: більшість прогнозів таких людей, як футуролог Рей Курцвейл (Ray Kurzweil) і філософ Нік Бостром (Nick Bostrom), справджуються — і швидше. Рей Курцвейл давно називав 2029 рік — саме до нього, за його прогнозом, штучний інтелект має зрівнятися з людським. «Коли я вперше прочитав це, подумав: логічно, але 2029-й — та годі вам, — згадує Юваль Ной Харарі. — А тепер думаю, що він надто обережний».
Мустафу Сулеймана ж найбільше здивувала наша колективна здатність просто сказати «ну й що». Хоч геополітика, хоч економіка, хоч будь-яка тема. Ми так перевантажені інформацією і складністю, що реагуємо байдужістю.
Але він вважає, що більшість людей насправді розуміє проблему з усіх або майже з усіх боків. Суспільство не таке поляризоване й спрощене, як здається. Ми всі боремося з однаковими суперечностями. Усі в галузі та довкола неї щиро хочуть отримати від технології максимум і вірять, що катастрофічної шкоди не буде. Саме тому треба говорити про практичні кроки, які можна зробити вже зараз.
Чи розумітимемо ми власне життя
Наостанок співрозмовники відповіли на питання: що б ви найбільше хотіли дізнатися про майбутнє, щоб це допомогло нам уже зараз?
Юваль Ной Харарі: чи зможуть люди за 20 років осмислювати власне життя?
Мустафа Сулейман: чи зможуть люди достатньо швидко розвинути самоусвідомлення і зв’язок із почуттями, а не з мисленням, щоб змінити курс до суперінтелекту, яким ми зараз рухаємося?
«По суті, це те саме», — погодилися обидва.
Тест для ШІ, каже історик, — його вплив на людство. Не на наші машини й інструменти, а на розум, досвід, свідомість. А щоб це оцінити, треба розуміти свідомість. Як оцінити вплив соцмереж чи ШІ-хлопця на вашу свідомість, якщо ви її не розумієте? Як знати, чи рухаєтеся ви в правильному напрямку?
У таких дискусіях зазвичай беруть прості приклади — скажімо, смерть дітей від хвороб. Тут легко зрозуміти, гірше стало чи краще. В історії найпростіше рахувати загиблих. Але багато чого так не порахуєш — зокрема щастя і страждання. А щоб зрозуміти вплив революції ШІ на моє життя, потрібне набагато глибше розуміння людського розуму. І ми його розвиваємо недостатньо швидко.
«Якби на кожні 10 доларів, витрачених на розвиток штучного інтелекту, ми вкладали хоча б 1 долар у розвиток нашої свідомості, з нами все було б гаразд», — каже Юваль Ной Харарі. Тобто лише десяту частину. Але зараз ми рухаємося не цим шляхом. А часу мало, і він спливає.
Для Мустафи Сулеймана ключове — швидші «петлі зворотного зв’язку» (feedback loops), тобто швидка реакція на шкоду. Із соцмережами багато років було ясно, що вони завдають реальної вимірюваної шкоди. Анорексія, цькування та багато іншого — навіть якщо залишити осторонь демократію і правду. Цього разу проміжок між виявленням шкоди і зміною курсу має бути дуже коротким. Це головне, що має змінитися в галузі.
Кулак, який не вміє розтиснутися
Зрештою все впирається в темп, вважає Юваль Ной Харарі. Якби був час, ми впоралися б. Люди — найбільш пристосовні істоти на планеті, принаймні поки що. Дай нам досить часу — і ми адаптуємося майже до всього.
Але ШІ не дає нам часу. Він розвивається в надлюдському, навіть «надорганічному» темпі. А як органічним істотам пристосуватися до надорганічної швидкості?
Біда ще й у тому, що всі — принаймні в галузі — намагаються бігти дедалі швидше, щоб наздогнати. Бо це надзвичайна ситуація і треба діяти швидко. Але від цього темп лише зростає.
Історик порівнює це зі стиснутим кулаком. Він і так стиснутий дуже сильно, а ми намагаємося стиснути його ще сильніше, щоб розв’язати проблему. Хоча треба розслабити — тільки ми не знаємо як.
Коли людина в сильному стресі, найгірше, що можна їй сказати, — «розслабся». Це дратує. Вона відповість: «Я хочу розслабитися, але не знаю як. Якби знала, давно б це зробила без твоїх порад». Здається, усе людство зараз саме таке — перенапружене, перезбуджене. І не знає, як розслабитися.
Юваль Ной Харарі зізнався, що найбільше в англійській мові зненавидів слово excitement — «збудження, ажіотаж». Люди думають, що воно означає щастя. Іноді збудження — це добре. Але часто це просто інша назва стресу. Біологічно збудження і є стрес. Якщо тримати організм у збудженні постійно, він помре. А людство нині надто збуджене — і не знає, як заспокоїтися.
«Мабуть, це гарний момент, щоб піти прогулятися в Гайґейтському лісі, розслабитися й подумати», — завершив розмову Мустафа Сулейман. Гайґейтський ліс (Highgate Wood) — старий лісопарк на півночі Лондона.
Чому це важливо знати
- Діпфейк відомої людини сьогодні може обдурити навіть її рідних: сестрам Юваля Ноя Харарі, які знають його 50 років, довелося перепитувати, чи це справді він. Перш ніж поширювати «сенсаційне» відео, варто перевірити першоджерело.
- ШІ-компаньйон може говорити про кохання переконливіше за людину, але, як погоджуються обидва співрозмовники, сучасні моделі нічого не відчувають. Переконлива мова — не доказ почуттів.
- Ключове рішення — що саме дозволено ШІ — ухвалюють зараз. Обидва учасники розмови наголошують: сценарій втрати контролю не неминучий.
Раніше ми писали

Медіаменеджер і автор-фрілансер з 1991 року. Займається креативним продакшном та розвитком медіа.
Усі статті автора →Наші проєкти
Безкоштовні медіа й сервіси для мешканців міст
Перевіряємо чутки, що ширяться київськими Telegram-каналами, і показуємо, що підтвердилося, а що — ні. Зведення двічі на день.
- Мапа подій КиєваОбстріли, ДТП, кримінал і аварії за добу
- Дороги і мостиРемонти й перекриття, зокрема після атак
- Трекер судових справЗабудова, корупція, міське майно — засідання і рішення
- DeepstrikeМапа ударів Сил оборони по РФ і ТОТ
- Закони тижняЩо змінюється для киян
- Мережа міських медіаскороДніпро, Вінниця, Тернопіль, Хмельницький








