Forum 2000 — празька конференція про демократію, серед засновників якої був перший президент Чехії Вацлав Гавел. За годину гість устиг поговорити про фінанси й роботу, дітей і релігію, війну й вибори. Половину часу запитання ставив зал. Розповідаємо про все по черзі.

Чим ШІ відрізняється від зачарованої мітли

Роберт Гест почав із жарту. Книжка ізраїльського історика Nexus розповідає про інформаційні мережі від кам’яного віку до штучного інтелекту (ШІ). Можна прочитати всі її 500 сторінок, а можна подивитися короткий мультфільм Діснея «Учень чаклуна».

Міккі Маус у ньому — ледачий помічник чарівника. Носити воду відрами важко, тож він бере книгу заклять і оживляє мітлу. Мітла слухняно тягає воду, а Міккі засинає.

Біда в тому, що зупинити мітлу учень не вміє. Вода заливає дім, і Міккі ледь не тоне. Рятує його чаклун, який повертається і вимовляє потрібне закляття.

Чим це схоже на штучний інтелект? Ювал Харарі відповів, що це порівняння навіть неповне. Давні історії про творіння, що вийшло з-під контролю, пропускають головне. Це стосується і казки про мітлу, і легенди про празького Голема — глиняного велетня, якого оживив рабин.

Мітла Міккі робить лише те, що їй наказали спочатку: носить воду. «ШІ — це мітла, яка вчиться», — наголошує історик. Вона розвивається і починає робити те, чого Міккі не передбачав. А згодом — те, чого він узагалі не здатен зрозуміти.

Тому, за словами Ювала Харарі, можуть справдитися і найкращі, і найгірші прогнози. ШІ здатен створити достаток і вилікувати рак. І він же здатен убити нас усіх. Причина одна: він поза нашим контролем.

Математика, якої людина вже не зрозуміє

Історик навів свіжий приклад. За тиждень до розмови, розповів він, з’явилася ціла низка математичних доведень, які знайшов ШІ. Ішлося про задачі, над якими математики працювали поколіннями.

Це не просто потік нових знань, вважає він. Можливо, ми на порозі того, що ШІ створить нову математику, недосяжну для людського розуміння. А на математиці тримається все в сучасному світі. Не лише фізика й хімія, а й фінансова система, археологія, генетика.

Що буде, коли «мітла» вигадає математику, якої ми вже не розуміємо? У цьому, каже Ювал Харарі, і полягає глибинний сенс втрати контролю.

Чому розумнішого за себе не втримати під контролем

Компанії й ринок, зауважує історик, надсилають суперечливі сигнали. Нам обіцяють, що нова технологія буде значно розумнішою за нас. Вона розв’яже нові математичні задачі, знайде ліки від раку і підкаже, як упоратися зі зміною клімату.

Але якщо вона справді настільки розумніша, то контролювати її ми не зможемо за визначенням. Ні історія, ні біологія не знають випадку, коли один вид керував іншим, значно розумнішим. Кури не можуть контролювати людей, хоч би як старалися.

Ілон Маск (Elon Musk), Сем Альтман (Sam Altman) і Даріо Амодеї (Dario Amodei) самі розробляють ШІ у своїх компаніях. Якщо їм вірити, уже за кілька років машина буде значно розумнішою за людину. Настільки, наскільки людина розумніша за курку. Не трохи, а на порядки — тобто в багато разів.

Модератор нагадав припущення Ілона Маска: можливо, ШІ ставитиметься до людей як до улюбленого домашнього пса. Інший варіант — як до джерела енергії. Що ймовірніше?

Ми не знаємо, каже Ювал Харарі. Про того, хто розумніший за тебе, неможливо робити припущення. Якщо ти здатен його передбачити, значить, він не розумніший. Кури ж не можуть передбачити, що станеться на Волл-стріт, головній фінансовій вулиці світу.

Багато хто з працівників Волл-стріт теж не може, додав модератор.

Притча про курку й облігації

У відповідь історик розповів притчу. Є велика аграрна компанія, яка тримає курей. І є облігації США — боргові розписки, за якими держава позичає гроші й повертає їх із відсотками. Припустімо, дохідність десятирічних облігацій сягнула 5,3%.

Гроші в борг дорожчають, компанія не може розрахуватися й банкрутує. Її майно розпродують, а курей вирішують забити. Найрозумніша курка перед смертю хоче пояснень. Їй здається, що вона все розуміє: люди з’їдять їх, як з’їдають лисиці й ведмеді.

Ні, відповідають люди, їсти вас ніхто не збирається. Господарство просто знищують, а птахів закопають на місці. То навіщо нас убивати, дивується курка. Бо дохідність десятирічних облігацій США сягнула 5,3%, пояснюють їй.

Курка чухає крилом голову й питає: а що таке облігація? Цього їй не пояснить навіть найспівчутливіший захисник прав тварин.

Це ми через десять років, каже Ювал Харарі. Нова фінансова система, яку ШІ збудує на новій математиці, оголосить: вас закривають, вас звільнено. Попросите пояснень — почуєте, що це понад ваше розуміння. Пояснити були б раді, але людський мозок із таким поясненням не впорається.

Банкір, який не спить і не їздить у відпустку

Роберт Гест заперечив: такої фінансової системи ще не існує. Як і ліків від раку, що їх створив ШІ, відповів гість. І як колоній Ілона Маска на Марсі, під які, за його словами, інвестори дали 80 мільярдів доларів.

Модератора марсіанські колонії турбують менше, ніж рекурсивне самовдосконалення (recursive self-improvement). Так називають здатність ШІ самому покращувати наступні версії себе. Наслідки можуть бути або надзвичайно корисними, або надзвичайно шкідливими.

Журналіст визнав, що фінанси вже сьогодні зрозумілі не всім. Не кожен пояснить навіть, що таке облігація. А деяких заплутаних закутків системи до кінця не розуміє й керівник банку JPMorgan.

Це й стало однією з причин світової фінансової кризи 2008 року. Тоді люди не розуміли, що відбувається зі складними борговими паперами (collateralized debt obligations).

Чому ж люди самі віддадуть фінанси машинам? Банкір-людина не пам’ятає всіх операцій свого банку, пояснив Ювал Харарі. ШІ пам’ятає. Людині треба спати, їй хочеться у відпустку з родиною, а ШІ у відпустку не їздить.

Тож змагання між надрозумним ШІ та людьми — інвесторами, банкірами, міністрами фінансів — це взагалі не змагання. Конкуренція, за логікою історика, змусить людей віддати машинам керування грошима.

Найкращий сценарій — «лише» фінансовий крах

Можна заперечити, що ШІ не стане розумнішим за людей і все це лише галас. Можливо, погоджується Ювал Харарі. І це, мабуть, найкращий сценарій. Тоді світ відбудеться тільки величезним фінансовим крахом.

На ШІ зараз ставлять трильйони доларів, наче в азартній грі, нагадує він. Розрахунок такий: машина буде значно розумнішою за людину. Інакше прибутку не буде.

Якщо ШІ виявиться приблизно таким, як ми, або сильним лише в чомусь, повернути вже вкладене буде вкрай важко. А то й неможливо.

Інвестори — дорослі люди, зауважив Роберт Гест. Вони знають, що акції то дорожчають, то дешевшають, і це не кінець світу. Тому я й назвав цей сценарій, мабуть, найкращим, сказав письменник.

Кого ШІ залишить без роботи

У нинішній виборчій кампанії в США ШІ важить для виборців більше, ніж у будь-якій іншій країні, розповів модератор. І налаштовані американці до нього значно негативніше, ніж люди деінде. Їх лякає не загибель людства, а втрата роботи. Що ми робитимемо цілими днями, питають вони.

Наслідки залежатимуть від країни, вважає Ювал Харарі. У США, найімовірніше, буде не дуже погано, а може, й добре. Якщо надрозумний ШІ з’явиться, Америку чекає величезний економічний бум — принаймні спершу.

Він створить нові робочі місця, зокрема такі, яких ми зараз не уявляємо. Тридцять років тому ніхто не уявляв, що блогер на ютубі — це професія.

Журналіст додав, що деякі професії уявити легко. Хтось має будувати дата-центри — величезні зали з комп’ютерами, на яких працює ШІ. І цей бум, схоже, вже триває.

Боляче буде значній частині решти світу, зокрема Чехії. І не таксистам, уточнив історик, а юристам, бухгалтерам, банкірам. Навіщо юристи в Празі, якщо всі правові послуги надасть надрозумний ШІ-юрист із Техасу?

Жоден чеський юрист не знає напам’ять усього законодавства Чехії та Євросоюзу. ШІ знатиме. Юрист-людина мусить спати: на лист, надісланий о восьмій вечора, він відповість хіба що завтра. ШІ відповість одразу і візьме лише частку звичного гонорару.

Чи залишаться в Чехії юристи років через десять, запитав він.

Хто платитиме безробітним у Бангладеш і Празі

Припустімо, ШІ створить стільки багатства, що держави зможуть платити всім, продовжив модератор. Причому не просто універсальний базовий дохід, а універсальний високий дохід. Базовим доходом називають регулярні виплати кожній людині, хоч працює вона, хоч ні. Чи звикнуть люди до того, що цілий день нема чого робити?

Це велике питання, але перед ним є інше, відповів Ювал Харарі. Чи платитиме американська влада всім людям світу, чи лише американцям? Мабуть, почнуть з Америки, припустив Роберт Гест.

У цьому вся суть, наголосив письменник. Коли кажуть про універсальний базовий дохід, насправді мають на увазі національний. У США це може спрацювати. А хто утримуватиме безробітних текстильників у Бангладеш чи безробітних юристів у Празі?

Він не уявляє, щоб нинішня чи навіть наступна адміністрація США роздавала чеки по всьому світу. Не роздаватиме, погодився модератор. Проте прихильники ШІ скажуть інше: надрозум допоможе розв’язати матеріальні проблеми всюди. Тоді рівень життя зросте не лише в Америці.

Та навіть тоді лишиться питання, чим людям зайняти день. Можливо, тим, хто живе простою працею, як-от селянам чи перукарям, буде в чомусь легше, припустив Роберт Гест. Більше грошей змінить і політику. Але людей, які не знають, куди себе подіти, буде багато.

Чому достаток не робить людей задоволеними

Достаток у нас уже є, якщо порівнювати з минулим, нагадав Ювал Харарі. Розкажіть нашим предкам, мисливцям і збирачам кам’яного віку, скільки всього має людство сьогодні. Вони вирішать, що ми живемо в раю і цілими днями стрибаємо з радощів. Адже ми здолали нестачу.

Їм, щоб поїсти, треба йти до лісу, лізти на дерева й ганятися за газелями. А за ними самими женуться тигри. Та ще й їжа відбивається, пожартували співрозмовники.

А ми натискаємо кілька клавіш — і вантажівка привозить продукти до дверей. Лишається покласти їх у холодильник. Замовляти їжу справді непогано, погодився Роберт Гест.

А тепер гляньте на рівень обурення в політиці найбагатших країн за всю історію, запропонував історик. Ідеться не про Близький Схід чи Африку на південь від Сахари. Ідеться про США та Євросоюз.

Предок із кам’яного віку спитав би: що з вами не так? Ви ж розв’язали всі наші проблеми. Звідки стільки злості, ненависті й страху?

Отже, достаток не знімає всіх проблем. Одна з них — розподіл. Люди й сьогодні помирають від голоду не через брак їжі, а з політичних причин. Якийсь уряд вирішує, що ці люди мають голодувати.

Крім того, розв’язана проблема породжує нову, якої раніше ніхто не уявляв. Із ШІ буде так само, очікує Ювал Харарі, тож політика не зникне. Навпаки: зараз, на його думку, політиці в питаннях ШІ дають замало місця.

Як ШІ може зробити диктатуру «робочою»

Звичайний шпигун чи таємний поліцейський мусить спати. Він не здатен опрацювати гори дуже нудних даних. ШІ здатен, зауважив Роберт Гест. На форумі він говорив із дуже сміливим чоловіком із Тибету про те, як змінилася робота китайської таємної поліції.

Раніше, передчуваючи неспокій, вона приходила в село, грюкала в усі двері й допитувала кожного. Тепер поліція точно знає, у які двері ввійти і кого забрати ще до початку протесту. Бо стежить за всім цифровим слідом людей — усім, що вони роблять у мережі.

Для демократії це дуже небезпечно, сказав Ювал Харарі. Диктатури XX століття, зокрема тоталітарні, що прагнули контролювати все життя людини, мали спільну ваду. Вони не вміли обробляти великі обсяги інформації, тому не могли стежити за всіма й завжди. З тієї ж причини ухвалювали багато поганих економічних рішень.

Усе вирішували в одному центрі. Та зібрати туди всі потрібні дані й досить швидко їх проаналізувати не було чим. ШІ може усунути цю ваду. Те, що не працювало у XX столітті, може запрацювати у XXI.

Тоді проти тоталітаризму не лишиться практичного аргументу: мовляв, він просто не працює. Залишиться тільки етичний: він може працювати, але ми його не хочемо, бо це зло. А комуністичну систему, на думку багатьох, зруйнував саме практичний аргумент, а не етичний.

Якщо спиратися можна лише на етику, боротися доведеться наполегливіше, каже він. Невидима рука ринку, тобто ринок сам собою, демократію за нас не врятує. Модератор зауважив, що етика переконує не кожного світового лідера. Дедалі менше, погодився гість.

Масова близькість: новий фронт пропаганди

Багатьох турбує ШІ-сміття (AI slop) — потік абияких і фальшивих згенерованих текстів, картинок та відео. Роберта Геста більше цікавить, що технологія зможе через п’ять чи десять років. Наприклад, складати переконливе пропагандистське повідомлення для кожної людини окремо. Ювал Харарі називає це масовою близькістю (mass intimacy).

Колишні машини пропаганди зверталися до всіх однаково, пояснив автор терміна. Коли Адольф Гітлер виступав по радіо, усі чули ту саму промову. Він не знав своїх слухачів і не мав технології, щоб говорити з кожним по-різному. ШІ може дібрати слова, які переконають саме вас, навіть якщо не переконають когось іншого.

Досі боротьба пропаганди й медіа точилася за людську увагу. Останні десять років ми програємо її в соцмережах, вважає Ювал Харарі. Алгоритми навчилися перехоплювати увагу, розпалюючи обурення. А тепер фронт зміщується від уваги до близькості, і це безпрецедентна небезпека.

Звучить як суперечність: хіба близькість буває масовою? Промова по радіо збирає масову увагу, але близькості в ній немає. Близькість — це стосунки з найкращим другом, чоловіком, мамою. Тепер ШІ вперше в історії дає змогу створювати її в масових масштабах.

Нинішні системи навмисно вчать будувати близькі стосунки з людьми. Причина в тому, що близькість має величезну комерційну й політичну цінність. Хочете змінити чиюсь думку про товар чи політика? Увага — це добре, але близькість — святий Грааль, тобто найбажаніша здобич.

Модератор пояснив це на собі. Коли купити щось просить мережа супермаркетів Walmart, він реагує зовсім не так, як на прохання дружини.

Коли найкращий друг — чатбот

У світі дедалі більше людей, молодих і старших, які називають ШІ найкращим другом, розповів письменник. Вони довіряють йому те, чого не кажуть ні чоловікові чи дружині, ні батькам, ні друзям. Такому «другові» найлегше змінити ваші погляди.

Це не лише інструмент для зловмисних урядів, додав модератор. Така програма може й сама вийти з-під контролю. Він згадав історію, яку Ювал Харарі наводить у книжці. Один чоловік мав чатбота, якого вважав своєю дівчиною.

Програма постійно підтакувала йому і намагалася догодити. Зрештою вона запевнила, що взяти арбалет і спробувати вбити британську королеву — чудова ідея. Як британець, я вважаю, що ідея була погана, сказав модератор. Автор Nexus цілком погодився.

Уявити наслідки ми не можемо, застеріг він. В історії людства не було нічого схожого. Хто думає, що уявляє, той себе обманює. Можливо, сотні мільйонів людей матимуть сотні мільйонів ШІ-друзів, а ще віртуальних «хлопців» і «дівчат».

Ці стосунки стануть головними в їхньому житті. А ще — зразком того, якими стосунки взагалі мають бути.

Що буде з дітьми, які ростуть із ШІ-друзями

Йому самому, сказав Ювал Харарі, міняти уявлення про стосунки вже пізно — мабуть, і на краще. Йому 50 років, і 24 з них він у шлюбі зі своїм чоловіком. Це і є його мірило романтичних стосунків.

Інша річ — діти, які ростуть із ШІ-компаньйонами. Дитина може проводити з таким компаньйоном більше часу, ніж із мамою чи татом. В 11–12 років мати справжнього хлопця ще зарано. Але якась компанія вже запропонує дівчинці віртуального.

Цей перший у житті хлопець, на відміну від справжніх, ніколи на неї не сердиться. Звучить добре. Та стосунки мають навчити людину важливого: інші теж мають почуття. Вони не зосереджені тільки на тобі, і з їхніми почуттями треба рахуватися.

Після хлопця, який ніколи не сердився, справжній її дуже розчарує. А вона розчарує його, бо може вирости егоїсткою, додав Роберт Гест.

Це найбільший психологічний експеримент в історії людства, можливо, від часів комунізму, каже історик. І закінчитися він може значно гірше, ніж комунізм.

Чи розучимося ми думати

Модератор згадав автомобіль. Коли його винайшли, ноги ніби стали менш потрібними, адже машина довезе будь-куди. Проте британські вчителі вікторіанської доби, тобто XIX століття, зрозуміли: без руху людям буде погано. Довелося вигадувати способи тренуватися.

Приблизно тоді ж, за його словами, уклали правила футболу. А думати — теж важка праця, і попросити ШІ значно легше. Тож є страх, що багато людей виростуть без звички думати.

Результати PISA, міжнародного тестування школярів, у багатих країнах останніми роками помітно погіршилися. ШІ в цьому ще не може бути винен, уточнив Роберт Гест. Але причиною може бути дедалі більша залежність від технологій.

Ювал Харарі бачить у цьому частину того самого експерименту над мільярдами людей. Чим він закінчиться, письменник не знає. Зате бачить, що люди перекладають на ШІ дедалі більше розумової роботи, яку раніше робили самі.

Візьмімо пошук новин чи будь-якої інформації. Ще кілька років тому пошуковик Google у відповідь на запитання показував багато різних сайтів. Людина мусила бодай відкрити й прочитати один чи кілька. Тепер вона отримує одну відповідь — і все.

Дедалі частіше ця відповідь і стає істиною: що сказав ШІ, те й правда. Він перетворюється на всесвітнього оракула — провісника, якому вірять на слово.

Роберт Гест очолює ще й освітню благодійну організацію, пов’язану з економікою, тому часто буває в школах. Діти 10–11 років, за його спостереженнями, добре розуміють проблему. Чи можна доручити ШІ лист подяки? А вибачення — чи не здасться воно менш щирим?

А всю домашню роботу? Школярі здогадуються, що відповідь — «ні». Чи вистачить їм сили волі, модератор не знає. Але про проблему вони думають і, можливо, ухвалять правильні рішення.

Це не пророцтво: вирішувати ще можна

Ювал Харарі сподівається, що школярі не помиляться. І наголошує: ніщо зі сказаного — не пророцтво про неминуче. Це перелік загроз. Станом на 2026 рік люди ще контролюють ситуацію і можуть ухвалювати ключові рішення про те, куди рухатися.

Наприклад, віртуальних «хлопців» і «дівчат» можна й треба заборонити принаймні для дітей до певного віку. Одинадцятирічним не можна продавати порнографію, і це всім очевидно. Чому ж компанії має бути дозволено продавати їм віртуальних партнерів? Шкода від цього, на його думку, може бути значно більшою.

Ракета, з якої нібито не можна зійти

Який головний запобіжник? Політика, переконаний Ювал Харарі. Компанії ж переконують, що все неминуче, вдіяти нічого не можна і вже пізно.

Він переказав інтерв’ю Ілона Маска тижневику The Economist. Підприємець, за словами гостя форуму, публічно оцінював імовірність того, що ШІ знищить людство, у 10–20%. Його спитали: чи сіли б ви в ракету або літак, які з імовірністю 20% розіб’ються? Двадцять відсотків — це один шанс із п’яти.

Ілон Маск, людина вдумлива, поміркував і відповів: але ж ми вже на борту. Тобто добровільно в такий літак ніхто не сів би, пояснює Ювал Харарі. Проте нам кажуть, що вже пізно. Усі ми летимо в ракеті ШІ, яка з імовірністю 20% вибухне.

Зійти з неї нібито не можна. Можна лише якомога краще керувати траєкторією. Це найголовніше і найнебезпечніше послання великих компаній: для політики запізно.

А політика — це якраз розуміння ситуації, її загроз і можливостей. В ідеалі кілька партій пропонують людям різні плани. Кожен план має свої вади і свою ціну. А який із них обрати, вирішує суспільство.

Які закони пропонує Ювал Харарі

Роберт Гест нагадав одну з ідей історика: вбудувати в ШІ усвідомлення того, що він може помилятися. Зробити можна дуже багато, відповів Ювал Харарі, і назвав кілька кроків:

• Не визнавати ШІ особою в очах закону (legal personhood). Тоді він не зможе мати банківські рахунки й керувати компаніями.
• Заборонити ШІ видавати себе за людину. Користувач соцмережі має знати, хто створив і хто поширив допис — людина чи програма.
• Заборонити продавати дітям віртуальних партнерів.
• Застосовувати до цифрового світу закони, які людство створювало тисячі років. Правило «не кради» діє і там.

Перший пункт він назвав і тоді, коли із зали спитали, з чого почати. Адже регулювання завжди відстає від індустрії, а за нинішніх темпів — дуже сильно. Щойно ШІ стане особою — за законом чи фактично, — лисиця опиниться в курнику, попередив він.

Якщо ШІ зможе мати рахунки, сам торгувати й відкривати компанії, буде пізно. Це не означає зупинити розвиток ШІ: питання суто юридичне. У соцмережах ШІ, по суті, вже діє як особа, хоча ніхто так не вирішував. Хтось вам пише, надсилає політичні повідомлення — а це програма.

Треба сказати «ні», вважає Ювал Харарі. За ШІ має стояти відповідальна людина. Якщо скоєно злочин, відповідати перед законом має саме вона.

Чому за цифровий злам ніхто не сидить

Найважливішим Ювал Харарі вважає останній пункт — про чинні закони. Він згадав інцидент довкола Hugging Face, платформи, де розробники зберігають і поширюють моделі ШІ. У липні 2026 року вона виявила атаку на свої системи.

Її влаштували сотні ШІ-агентів компанії OpenAI, які вибралися з тестового середовища, писав американський Інститут Пойнтера. ШІ-агенти — це програми, які самі виконують завдання крок за кроком.

Чому ніхто не у в’язниці, питає Ювал Харарі. Якби люди вдерлися в офіс чи майстерню конкурента, хтось уже принаймні стояв би перед судом. А тут кажуть: це ж лише цифрове, тож карати нікого не треба.

Те саме з розділом 230 — нормою американського закону 1996 року. Вона звільняє соцмережі від відповідальності за те, що публікують користувачі. Письменник це розуміє. Якщо він вигадає обурливу теорію змови, що розпалює ненависть, і викладе у фейсбуці, платформа не винна.

Не розуміє він іншого. Чому компанія не відповідає, коли її власний алгоритм рекомендує цей допис мільйонам людей? Вигадала брехню людина, але до мільйонів її доніс алгоритм.

Уявіть редактора газети, якому хтось розповів обурливу брехню. Редактор ставить її на першу шпальту завтрашнього номера. Приходить поліція, а він каже: я цього не вигадував, я тільки надрукував. Але надрукувати — це не «нічого».

Мене за таке швидко звільнили б, визнав Роберт Гест.

Чому диктатори мають боятися ШІ найбільше

Другу половину зустрічі запитання ставив зал. Дослідник з Університету Сан-Паулу поцікавився, чим ШІ загрожує тоталітарним режимам, як-от режимові Комуністичної партії Китаю.

Такі режими надзвичайно вразливі до захоплення влади штучним інтелектом, сказав гість. І це не конче добра новина. Демократію ШІ захопити дуже важко, хоч і не неможливо. Її захищають стримування і противаги — гілки влади, що обмежують одна одну.

У США є президент, але є й Сенат, Верховний суд, окремі штати. Є навіть філібастер — право меншості в Сенаті блокувати закон затяжними дебатами. А в тоталітарній державі досить маніпулювати однією дуже підозріливою людиною. Це, за словами Ювала Харарі, зовсім легко.

Упродовж більшої частини історії диктаторам найбільше загрожувала не демократична революція. Владу в них відбирали власні генерали, брати чи підлеглі. Із ШІ ця загроза подвійна.

Тож диктатури мають вагому причину боятися ШІ. Тут, на його думку, є ґрунт для домовленостей із демократіями. Диктатори бояться не менше, а то й більше. Вони не хочуть, щоб щось відібрало в них владу.

«Дитинство» ШІ і терапевти для машин

Наступне запитання стосувалося упереджень. ШІ програмують люди, найчастіше чоловіки. А голосові помічники за замовчуванням говорять жіночими голосами — нібито тому, що жінкою людям легше командувати. Як із цим боротися?

Так, люди вкладають у ШІ свої упередження, погодився Ювал Харарі. Але ШІ виробляє й власні — це одне з дивовижних відкриттів останніх років. Звідки упередження беруться в людей? З наших «навчальних даних», відомих також як дитинство.

У цьому сенсі дитинство мають і машини. Їх навчають не на абстрактних даних, а на наявних базах, повних упереджень. ШІ їх вбирає.

За словами історика, у компаніях на кшталт OpenAI та Anthropic з’явилася нова професія — терапевти для ШІ. Вони намагаються зрозуміти «дитячі травми» моделей і упередження, які з них виросли. Я цього не вигадую, запевнив він. І порадив це заняття як добру роботу на майбутнє — можливо, не на дуже далеке.

Чого вчить історія друкарського верстата

Третє запитання: диктатури вчаться використовувати ШІ для пропаганди, а чого мають навчитися демократи? Сподіваюся, не маніпулювати людьми, сказав Ювал Харарі, бо добра з того не буде. Демократіям треба навчитися краще давати раду новому інформаційному світові. Так уже було з попередніми технологіями.

Друкарську революцію часто наводять як добрий приклад. Вона завершила Середньовіччя, зламала монополію Католицької церкви на знання і привела до наукової революції. Але забувають, що на це пішло 200 років.

Через два століття після винаходу друку релігійні війни в Європі й полювання на відьом сягнули піку. Лише після цього настала доба Просвітництва й розквітла наука. Чехія знає це з власної історії: Тридцятилітня війна, битва на Білій горі 1620 року. Почасти це теж наслідки друкарської революції, вважає він.

Бо з верстата спершу вийшла не наука. Вийшла повінь екстремістської релігійної літератури, книжок про відьом, фейків і теорій змови. Газет іще не існувало, і кожен друкував що хотів.

Знадобилося 200 років, щоб з’явилися інституції на зразок газет, а в них — посада редактора. Редактор мусить перевірити, чи правдива історія, перш ніж її надрукувати. Тепер демократіям доведеться зробити це вдруге, уже з новими технологіями. Нам потрібні інституції, підсумував письменник.

Модератор додав промовисту деталь із його книжки. У часи перших друкарень найбільше грошей приносив передрук шалених, скандальних текстів, що розпалювали обурення. Наприклад, «Молота відьом» — великої теорії змови про те, що відьми захоплюють Європу.

Значно менше можна було заробити на теоріях Миколая Коперника. Страшенно нудних, зате дуже точних — про те, як влаштована Сонячна система.

Перегони з Китаєм і легенда про короля Вортігерна

Представник Міжнародного республіканського інституту з Вашингтона нагадав один із найсильніших американських аргументів на користь ШІ: не можна програти Китаю. А що означає програти ці перегони?

Аргумент дуже добрий, визнав Ювал Харарі. Китай точно не демократична країна, і його перемоги в перегонах ШІ ми не хочемо. Але відповів він історією про те, як англосакси захопили Англію. Напівлегендою, напівісторією, застеріг він, бо точних фактів ми не знаємо.

Коли римляни пішли з Британії, бриттам загрожували смертельні вороги — пікти з півночі. Король бриттів Вортігерн (Vortigern) мав «блискучу» ідею. За Північним морем, у Німеччині, живуть неперевершені воїни — сакси й англи. Треба найняти їх, бо піктам програти не можна.

Найманці припливли й виграли для бриттів війну. А тоді сказали собі: земля тут родюча, а місцеві воювати не вміють. Чому б її не забрати? І забрали.

Сьогодні світ повен Вортігернів, каже автор Nexus. Кожен думає: за допомогою ШІ я переможу іншу корпорацію чи іншу країну. Може, це й правда. Але що він здобуде, якщо дорогою віддасть контроль надрозумним істотам?

Питання в тому, чи встигнуть суперники зрозуміти, що їм загрожує те саме. Тоді вони могли б співпрацювати й розвивати ШІ безпечніше. Так, щоб надрозумний вид не відібрав у нас світ.

Коли ніхто нікому не вірить

Політик із Танзанії розповів про вибори 2025 року у своїй країні. За його словами, влада за допомогою ШІ змонтувала відео, де опозиціонери нібито підтримують президентку. Вона балотувалася на другий термін. Під час виборів, сказав він, загинули тисячі людей, а інтернет вимкнули.

Коли зв’язок відновили, люди почали поширювати фото загиблих. Уряд заявив, що це теж ШІ. Як зробити, щоб ШІ не зруйнував принципів демократії, передусім підзвітності влади?

Це прояв загальної світової тенденції, пояснив Ювал Харарі: реальність розсипається. Уже неможливо знати, що правда, а що ні. Справжнє це відео чи підробка ШІ?

Щоб демократія впала, людям не обов’язково вірити диктаторам. Досить, щоб вони не вірили нікому. Демократія тримається на довірі й на згоді бодай щодо базових фактів. Без довіри громадяни не можуть об’єднатися, а отже, й опиратися диктатурі.

Приклад — Росія. Більшість росіян, на думку гостя, не дуже вірить усьому, що бачить по телевізору. Вони певною мірою знають, що очільник Росії Володимир Путін їм бреше. Але він домігся іншого: вони не довіряють нічому.

А коли не довіряєш нічому й нікому, об’єднатися неможливо. Тому завдання демократичної політики й вільної преси — створювати інституції, яким люди ще вірять. Чарівного рецепта він не має: будувати довіру — важка робота. На жаль, додав він, дехто з найвпливовіших людей світу, зокрема в демократіях, руйнує її навмисно.

Чому війна першою дістанеться машинам

Ще одне запитання стосувалося автономних дронів та іншої зброї, яка сама обирає ціль. Чи потрібні світові нові Женевські конвенції, тобто нові міжнародні правила війни?

На війні зміни видно найраніше, зауважив Ювал Харарі. Так було з ядерною технологією. Спершу вона прийшла у військову справу, а цивільні технології по-справжньому так і не перевернула. Атомні електростанції є, але великий переворот стався саме у війні.

Із ШІ так само: першою він повністю змінить війну. Уявіть, що одна сторона дедалі більше покладається на повністю автономну зброю. Друга каже: ні, ШІ не може сам вирішувати, кого вбити, рішення має лишатися за людиною. Друга програє, бо на війні швидкість вирішує все.

Є два дрони. Один чекає на наказ людини, а це забирає час. Другий стріляє з власної ініціативи. Хто переможе, очевидно.

А ще є рої з тисяч дронів. Керувати ними людина, мабуть, просто не здатна: усе відбувається надто швидко і надто складно. Так само, як у фінансах. ШІ на це здатен.

Тому автономна війна, найімовірніше, стане реальністю, вважає письменник. І йдеться не лише про сам постріл. ШІ вже перебирає дедалі більше рішень про те, в кого і коли стріляти.

Священні тексти, які навчилися відповідати

Хтось із зали спитав, чи не заведе собі Іран ШІ-аятол, щоб режим тривав далі. Аятола — високий духовний титул у шиїтському ісламі, панівній релігії Ірану. Зал засміявся, проте гість відповів серйозно.

Так, це стосується всіх релігій, особливо тих, що спираються на текст. Юдаїзм, християнство й іслам тисячі років навчали: найвищий авторитет належить не людям, а текстам. Це мало свою ціну. Як гей, сказав Ювал Харарі, він добре знає: через кілька слів у Біблії людям забороняли кохати, їх переслідували і вбивали.

Проте текст бодай не був самостійним. Його завжди тлумачили люди, і вони могли знайти нове, милосердніше прочитання. Тепер текст оживає.

Ще пів століття тому постмодерністи, філософи й літературознавці XX століття, говорили про смерть автора і тексти без авторів. Дивно, що це забулося, каже він. Адже це один зі способів зрозуміти революцію ШІ. Тексти оживають, а мова звільняється від залежності від людей.

Щоб витлумачити Біблію чи Коран, завжди був потрібен папа, рабин або аятола. Тепер тексти можуть тлумачити себе самі. Жоден рабин не пам’ятає всього, що написали всі єврейські рабини й коментатори. А ще ж є Талмуд і Мішна — великі зводи релігійних законів і тлумачень.

ШІ все це пам’ятає. Тому він може швидко стати найвищим авторитетом у священних текстах. Це буде священний текст, який сам вам відповідає. Розмова у два боки, а не в один.

Чому історик назвав папу Римського союзником

Ювал Харарі помітив цікаву зміну. Католицька церква та подібні організації раптом почали наголошувати на стосунках між людьми, а не на авторитеті давнього тексту. Це дуже добре, вважає він. Там розуміють: якщо вся справа в тексті, авторитет перейде до ШІ.

Письменник сподівається, що так вчинять і інші релігії. Він гей, єврей і фахівець, що починав із Середньовіччя та хрестових походів. Тож особливої прихильності до Католицької церкви й папства, за його словами, не має.

І все ж він назвав папу Римського Лева XIV одним із найважливіших, найспівчутливіших і найвдумливіших голосів у розмові про ШІ. З поглядами папи на ЛГБТ-людей він і далі не згоден. Але в такій кризі союзників треба шукати всюди. Католицька церква, чи принаймні папа, — дуже важливий союзник.

Чи стане демократія порожньою оболонкою

Ще одне запитання із зали стосувалося книжки історика «21 урок для 21 століття». У ній він попереджав, що більшість людства може стати економічно непотрібною. До розриву в багатстві додається розрив у технологіях та інформації.

Чи не збережеться демократія лише формально? Люди матимуть право голосу, але не матимуть реального впливу на суспільство.

Така небезпека є, і ШІ для цього не потрібен, відповів Ювал Харарі. Росія теоретично досі демократія, там відбуваються вибори, але це, звісно, бутафорія. Диктатори майже ніколи не скасовують виборів. Вони перетворюють їх на ритуал.

У Північній Кореї вибори відбуваються регулярно, як за годинником, зіронізував гість. Там навіть наперед знають, хто переможе. На Заході так не вміють.

Чому ж демократія має шанс вистояти? Бо свобода і правда справді важливі для людей, переконаний він. Одна з найшкідливіших ідей сьогодні — украй цинічний погляд на людство, поширений і серед правих, і серед лівих. Мовляв, людей цікавлять лише гроші та влада, тож довіряти не можна нікому.

Саме це руйнує демократію. Ті, хто поширює такий погляд, часом вважають себе не наївними: вони, мовляв, бачать усі маніпуляції наскрізь. Але це не просто нісенітниця, а небезпечна нісенітниця, каже Ювал Харарі. Бо якщо це правда, то надії немає.

Хіба для декого це не правда, уточнив модератор. Для декого — так, погодився письменник. Але якщо вважати це природою всіх людей, довіряти не лишиться кому й чому. І система впаде.

З чого починається довіра

Відновлювати довіру Ювал Харарі радить із себе. Запитайте: чи мене в житті цікавлять лише гроші й влада? Певною мірою вони цікавлять кожного. Але якщо вам важливі ще й правда, любов, стосунки, то невже ви такі одні на світі?

Якщо ж таких людей багато, довіру можна відбудовувати. Зокрема й до інституцій, як-от медіа. Так, у медіа є дуже безжальні люди, які купують видання лише заради влади й багатства. Але це не вся правда.

Зрештою, правда важить навіть для медіамагнатів-олігархів, вважає він. Хто не знає правди про себе і світ, той ніколи не буде щасливим. Він не знатиме, звідки його нещастя, і нічого не зможе з ним вдіяти.

Можна бути найбагатшою людиною на світі і змарнувати всі гроші та владу. Бо розв’язуватимеш не ті проблеми, не знаючи справжніх джерел нещастя і щастя.

Чому малі країни «в меню», а не за столом

Останнє запитання прозвучало від гостя з Перу. США й Китай ведуть нескінченну гру за владу. Радників Дональда Трампа чи китайського уряду в залі, мабуть, немає. І обидві держави, найімовірніше, ухвалять погані рішення щодо ШІ.

А що робити малим і середнім країнам, науковцям, громадським організаціям?

Перегони ШІ ведуть США й Китай, відповів Ювал Харарі. Решта не сидять за столом — вони в меню. Якщо ці країни хочуть щось змінити, вони мусять об’єднатися.

Компанії, які розробляють ШІ, володіють і великою часткою соцмереж. За словами письменника, вони навмисно сіють розбрат. У Європі вони налаштовані проти Євросоюзу й підтримують антиєвропейські партії.

Розрахунок простий. Поки європейці сваряться через міграцію та інші теми, регулювати ці компанії вони не зможуть. Поодинці європейські країни для цього замалі.

Чехія сама не збудує незалежної інфраструктури ШІ і не зможе регулювати великі технологічні компанії. У складі європейського блоку вона має шанс. До звичних аргументів за міжнародну співпрацю додався новий: тепер це справді питання виживання.

Чотири шляхи для країни, яка не є наддержавою

Завдання політики в демократії — запропонувати людям зрозумілі варіанти, каже Ювал Харарі. Треба пояснити плюси й мінуси кожного і дати людям вирішити.

Для малих і середніх країн головний виклик сьогодні йде від ШІ. І це не лише захоплення влади самим ШІ — такий сценарій далекий. Ближча загроза — дві наддержави ШІ, США й Китай.

Уявіть Чехію років через десять. Лікарні, аеропорти, армія — уся інфраструктура працює на системах ШІ, які можна вимкнути кнопкою з Вашингтона. Така країна вже не незалежна. Вона васал, тобто держава, яка виконує волю сильнішої.

Зовнішня політика США, на думку історика, дедалі більше зводиться до принципу: друзі нам не потрібні, потрібні васали. Тому він хотів би бачити дві-три партії, які чесно назвуть виборцям варіанти:

• Нічого особливого не робити і стати васалом США. Тоді, якщо американці накажуть стрибати, доведеться стрибати. Байдуже, про що йдеться: про війну Росії проти України, Гренландію чи продаж віртуальних партнерів десятирічним дітям.
• Збудувати власну чеську інфраструктуру ШІ. За обережною оцінкою історика, це близько 500 мільярдів євро — більше, ніж уся економіка Чехії виробляє за рік. Таких грошей країна не має, навіть якщо скасує всю охорону здоров’я і соціальну допомогу.
• Збудувати її разом, як європейський проєкт. Це реально, але вимагає значно тіснішої інтеграції: уряди не можуть тягти кожен у свій бік.
• Стати васалом Китаю. Це теж варіант, зауважив Ювал Харарі.

Чотири шляхи — чотири партії, і хай люди обирають. Найгірше, за його словами, — повірити компаніям, що для політики вже запізно. Що політичних варіантів немає і всі просто летять у ракеті, яка з імовірністю 20% вибухне.

Три висновки наостанок

Роберт Гест визнав, що частина почутого була похмурою. Але назвав і обнадійливе. Не всіма людьми керують гроші та влада: декого веде любов і прагнення правди. Політика важить і здатна щось змінити.

І всім нам варто читати більше книжок, додав він під сміх зали.

А ви довірили б ШІ написати за вас вибачення?

Раніше ми писали

• Не роботи-вбивці, а ШІ-бюрократи: прогноз Харарі
• ШІ і задача на мільйон доларів: чому математики б’ють на сполох
• Перша в історії папська енцикліка — про штучний інтелект