Харарі — автор світових бестселерів «Sapiens», «Homo Deus» і «Nexus». Його матеріал — тисячоліття людської історії: імперії, релігії, гроші. І саме тому його лякає теперішня швидкість: зміни, на які раніше йшли століття, тепер вміщуються в кілька років.

Чому фінансами скоро керуватиме ШІ

Гроші — це не метал і не папір. Це домовленість. Ти даєш людині шматок паперу, вона в обмін дає тобі хліб — і обидва вірять, що це працює. Так Харарі пояснює, чому фінансова система — насправді система довіри між незнайомцями.

Проблема в тому, що ця система стала занадто складною для людського мозку. Ринок облігацій, деривативи, алгоритмічна торгівля — щоб це зрозуміти, треба обробляти величезні масиви даних. Для штучного інтелекту це легко.

Тому, вважає Харарі, люди вже зараз поступово передають фінансові рішення алгоритмам — і невдовзі це стане нормою. Він порівнює це з відносинами людини й корови: сьогодні фінансова система керує життям корів і курей на фермах, хоча ті навіть не підозрюють про її існування. Люди, каже він, можуть опинитися в такій самій ролі стосовно ШІ — розумної системи, чиїх рішень ми просто не зможемо збагнути.

А що станеться з довірою, коли ніхто не зможе пояснити, чому ринок упав?

Мільйони закоханих у бота

Ось де, за словами Харарі, довіра вже реально почала «переїжджати» від людей до машин — і це не прогноз, а факт сьогодення. Люди все менше вірять журналістам і банкірам — і водночас щодня довіряють алгоритму, який підбирає їм стрічку в соцмережі. Криптовалюти популярні саме тому, що частина людей більше не вірить «людським» банкірам, зате вірить коду, який ніхто не може підкупити.

Найпотужніший спосіб побудувати довіру — стосунки. Раніше жоден диктатор не міг мати особисті стосунки з мільйонами людей одночасно: Гітлер чи Сталін могли виступити по радіо, але не поговорити з кожним особисто. ШІ це вперше в історії робить можливим — мільйони копій програми одночасно стають «найкращим другом» кожного окремого користувача.

За словами Харарі, вже кожен п’ятий молодий американець має особисті стосунки зі штучним інтелектом — і йдеться не про дружбу з чат-ботом «про погоду», а про повноцінних ШІ-«хлопців» і «дівчат», яких люди вважають живими й люблячими.

Двійник, що видає себе за живу людину

Особисту історію Харарі розповів дуже конкретну. Останніми тижнями йому кілька разів надсилали 30-хвилинне відео — лекцію, яку він нібито читав. Люди писали йому: «Ви казали те й те», а він не пам’ятав, щоб таке казав.

Тоді Харарі подивився запис. І навіть йому знадобилося півтори хвилини, щоб зрозуміти: на екрані — не він. Його рідні сестри, які знають його 50 років, спершу теж не були впевнені — щось здавалося їм «не так», але точно сказати вони не могли.

Дипфейк — це відео чи звук, згенеровані штучним інтелектом так, щоб виглядати і звучати як реальна людина. Якщо навіть найближчі люди й сам «оригінал» не завжди відрізняють підробку за перші секунди — уявіть, наскільки складніше це для незнайомців в інтернеті.

Чи може машина страждати

Тут Харарі проводить межу, яку варто запам’ятати: інтелект і свідомість — це різні речі.

Інтелект — здатність досягати мети і долати перешкоди. У цьому ШІ вже часто кращий за людину: він грає в шахи, аналізує дані, пише тексти. Свідомість — це здатність відчувати: любов, страх, задоволення, біль. Якщо ШІ виграє партію в шахи, він не радіє. Якщо програє — не засмучується. Він нічого не відчуває, каже Харарі, зате навчився дуже переконливо вдавати, що відчуває — просто тому, що це вигідно бізнесу: закоханий у бота користувач менше схильний його покинути.

Пропонує він і простий тест: чи здатна істота страждати? Тварини — ссавці, птахи, ймовірно, восьминоги — відповідають «так». Штучний інтелект сьогодні — ні, наскільки нам відомо.

Але тест на «свідомість» у людей завжди був не науковим, а соціальним: якщо в тебе складаються стосунки з кимось, ти починаєш вірити, що він відчуває. Власники собак майже завжди впевнені, що їхній пес свідомий. Люди, які їдять стейк, зазвичай не думають так само про корову — бо в них немає з нею стосунків. Показово, що коли Харарі поставив своїй аудиторії питання, чи може ШІ колись стати свідомим, відповіді розділилися: 40% сказали «ніколи», 33% — «це лише питання часу», 27% — не визначилися. Менш ніж половина була цілком упевнена у відповіді.

Компанія без жодної людини

Тут — один із найгостріших сюжетів розмови. За даними Financial Times, Аргентина під керівництвом президента Хав’єра Мілея розглядає можливість дозволити штучному інтелекту офіційно засновувати й очолювати компанії — без жодної людини у складі.

Юридична особа — компанія, визнана законом як окремий «суб’єкт», що може підписувати контракти й володіти майном, — один із найважливіших винаходів людства, каже Харарі. Але сьогодні за кожним рішенням корпорації завжди стоїть конкретна людина, яку можна притягнути до відповідальності.

У людини-керівника завжди є дві ролі: корпоративна («як не збанкрутувати») і особиста — сім’я, діти, свобода. Саме страх в’язниці часто стримує керівників від незаконних рішень. У штучного інтелекту цього страху немає: незрозуміло навіть, що означає для нього «смерть» — вимкнений сервер, стертий файл чи щось інше.

Якщо ж для ШІ програш у бізнесі почне сприйматися так само, як загроза «смерті», ринок ризикує перетворитися на поле бою — де програш означає знищення, а не просто втрату грошей. Це, за словами Харарі, змінює саму природу економіки.

ШІ-мігранти без візи

Одна з найяскравіших метафор розмови: Харарі пропонує подивитися на штучний інтелект як на хвилю імміграції — тільки набагато більшу, ніж будь-яка людська.

Коли люди бояться імміграції, вони зазвичай називають три причини: приїжджі забирають робочі місця, змінюють культуру, можуть бути політично нелояльними. Харарі каже: усі три страхи більше стосуються не людей із інших країн, а штучного інтелекту зі США й Китаю. Він не потребує візи. Він проникає у смартфони й мозок людей зі швидкістю світла.

Він уже забирає робочі місця. Він уже змінив культуру — саме алгоритми соцмереж, за словами Харарі, свідомо наповнили публічний простір ненавистю та страхом, бо це підвищує залученість користувачів. І він точно не лояльний до жодного окремого уряду — лише до корпорацій, які його створили.

Один правитель на весь світ

Чи призведе це до світу двох імперій — умовно американської і китайської? Харарі вважає це ймовірним, але тимчасовим етапом. Річ у тому, каже він, що чим більше влади сконцентровано в одних руках, тим легше штучному інтелекту цю владу перехопити.

Найпростіше маніпулювати системою, де рішення ухвалює одна людина. Найскладніше — демократією з багатьма незалежними інституціями, які треба переконувати окремо.

Як приклад Харарі згадує римського імператора Тіберія. Формально наймогутніша людина світу, він фактично був маріонеткою у руках командира власної охорони: той оточив імператора страхом змов, переконав його виїхати на острів Капрі — і повністю контролював, яка інформація до нього доходить. Тіберій «керував» імперією, не знаючи навіть половини правди. Тому, каже Харарі, для штучного інтелекту захопити владу в такій системі — все одно що відібрати цукерку в дитини. Досить контролювати інформацію, яка доходить до однієї-єдиної людини.

Чому це стосується України

І тут розмова напряму торкається нас. Говорячи про війну, Харарі прямо називає Україну прикладом того, як штучний інтелект уже змінює бойові дії — не в майбутньому, а зараз.

Він описує дві моделі використання ШІ під час вибору цілей. Перша — «людина в контурі»: алгоритм пропонує ціль, але аналітики окремо перевіряють дані, і лише після цього людина натискає на курок. Друга модель — «людина над контуром»: рішення фактично ухвалює ШІ, а людина лише формально дивиться на екран кілька секунд і погоджується.

Проблема, каже Харарі, у швидкості війни. Якщо один бік чекає на перевірку аналітиків годинами, а інший довіряє алгоритму за секунди, другий отримує величезну перевагу на полі бою. Тому тиск переходити від «людини в контурі» до «людини над контуром» буде тільки зростати — і Харарі побоюється, що цей перехід уже майже неминучий.

Що можна зробити просто зараз

Попри всю тривогу, Харарі наполягає: нічого з описаного — не доля, а результат конкретних людських рішень, які ще можна змінити. Серед його пропозицій:

• Заборонити штучному інтелекту статус юридичної особи — тобто права засновувати й очолювати компанії самостійно
• Заборонити компаніям навчати ШІ видавати себе за людину або вдавати, що він має почуття — особливо в соцмережах
• Різко збільшити витрати на безпеку ШІ. За словами Харарі, зараз компанії витрачають на розвиток можливостей моделі приблизно у сто разів більше, ніж на її безпеку — приблизно як автовиробник, що вкладає 100 доларів у потужність двигуна на кожен долар, витрачений на гальма
• Ставити політикам просте запитання перед виборами: чи підтримують вони заборону на юридичні права для ШІ й на продаж «ШІ-бойфрендів» дітям

Головний ворог тут, каже Харарі, — не сам штучний інтелект, а ідея його неминучості. Хто каже «це неминуче» — той, за його словами, найчастіше просто знімає з себе відповідальність.

Останнє бажання

Наостанок Харарі згадує образ із власної книги «Nexus»: людство схоже на героя казки, якому джин дав сто бажань. Дев’яносто дев’ять вже витрачено — не завжди вдало, світ і зараз не в найкращій формі. Залишилося одне.

Це бажання, вважає він, варто витратити на мудрість. Бо в цьому головний парадокс людства, про який Харарі писав ще в «Nexus»: ми блискуче накопичуємо інформацію та владу — і значно гірше вчимося ними розпоряджатися.

А яким було б ваше останнє бажання, якби вибір випав саме на цю мить в історії людства?

Раніше ми писали:

• Зграї ШІ-агентів: як штучний інтелект навчився маніпулювати демократією
• Як штучний інтелект змінює світ: нові ризики та можливості для України
• 10 нових викликів штучного інтелекту: ризики, нерівність і шляхи реагування