Розумна кавоварка, яка не питає дозволу

Почнемо з головного. Юваль Ной Харарі каже: ШІ — не інструмент у наших руках. Це агент із власними «руками».

Різниця принципова. Молоток нічого не вирішує сам. Атомна бомба, попри всю її руйнівну силу, теж не агент.

Вона не може сама обрати ціль і не вміє нічому навчитися. Навіть звичайна кавоварка, яка щоранку готує вам еспресо після натискання кнопки, — усього лише слухняний механізм. Вона не змінюється і не придумує нічого нового.

А тепер уявіть іншу кавоварку. Ви підходите до неї, а вона каже: «Я стежила за вами кілька тижнів. І бачу, що зараз ви хочете еспресо. Тому вже налила вам чашку».

Це вже ШІ: він сам зробив висновок і сам ухвалив рішення. А якщо наступного дня вона оголосить, що винайшла новий напій, і запропонує його спробувати — це вже точно ШІ. Він змінився так, як не планували його творці, і придумав те, чого раніше не існувало.

За словами Харарі, свідомість для цього не потрібна. Агенту достатньо трьох речей: уміння самому ухвалювати рішення, вигадувати нове й вчитися того, чого не знали навіть його творці.

Шахи, у яких людина програла назавжди

Такі кавоварки поки що не продають у магазинах — хіба що прототипи десь у лабораторіях великих технологічних компаній. Але в деяких вузьких сферах ШІ вже давно обійшов людину. Найкращий приклад — шахи.

Сучасні шахові програми самі обирають ходи. Вони винайшли стратегії, які за тисячі років гри не спали на думку жодному чемпіону-людині. І поки вони вчаться, вони змінюються — так, як їхні творці не передбачали. Сьогодні жодна людина на планеті не має шансів обіграти найсильніший шаховий ШІ.

«Кинь ШІ в джунглі» — головне заперечення скептиків

У відповідь на приклад із шахами скептики зазвичай заперечують: шахова дошка — штучне середовище, яке створили самі люди. Мовляв, ШІ ніколи не вийде за межі таких вузьких «пісочниць» і не становитиме загрози всій планеті. Хай забирає шахівницю — Землю не забере.

І ось аргумент, який мав би це підтвердити: візьміть найкращий у світі шаховий ШІ й киньте його просто в джунглі. Що станеться? Нічого.

Без електрики, яку виробляють станції, збудовані людьми, шаховий чемпіон-ШІ абсолютно безпорадний. Він не зможе видобути залізо, побудувати завод чи зібрати армію роботів. Отже, роблять висновок скептики, ШІ — не справжній агент, а лише в’язень штучних ніш, які для нього збудували люди.

Людина на Марсі помре так само швидко

Тут Харарі ставить питання руба: а хіба людський розум влаштований інакше? Скиньте людину саму на Марс — і вона загине за лічені секунди. Людський інтелект теж працює лише всередині конкретної екосистеми. Її самі люди не будували: атмосфера з киснем, ліси, річки, бактерії — усе це еволюціонувало мільярди років.

Риби живуть в океанах, яких не створювали. Мавпи — у лісах, яких не саджали. Усі ссавці, включно з нами, дихають киснем, якого колись на планеті майже не було.

Приблизно 2,4 мільярда років тому давні мікроби почали виділяти кисень як побічний продукт фотосинтезу. Для більшості тодішніх форм життя цей газ був смертельною отрутою. Подія увійшла в історію науки як велике насичення атмосфери киснем.

Мільйони видів вимерли. Але деякі організми пристосувалися — і врешті стали залежними від того самого кисню, який колись їх убивав. Саме з їхніх нащадків походимо і ми.

Харарі вважає: людство зараз проходить через щось схоже. Тільки замість кисню ми тисячоліттями наповнювали планету словами — даними, документами, бюрократією. Для одних видів «розуму» це середовище виявляється задушливим. Для ШІ — воно як свіже повітря.

Що насправді роблять банкіри й чиновники цілими днями

Люди підкорили планету не силою чи розумом окремої особи — інші тварини часто сильніші за нас. Люди перемогли завдяки вмінню співпрацювати у величезних кількостях. У сутичці однієї людини з шимпанзе людина, найімовірніше, програє. Але мільйон людей завжди переможе мільйон шимпанзе — просто тому, що люди вміють домовлятися з незнайомцями, а шимпанзе — ні.

Як мільйон людей, які одне одного не знають, узагалі можуть співпрацювати? Відповідь — бюрократичні системи: закони, банки, церкви, університети.

І тут головне питання: що насправді роблять усі ці чиновники, банкіри та юристи цілий робочий день? Теслі виготовляють меблі, інженери будують мости. А бюрократи будують довіру.

Ось простий приклад. Ви йдете на ринок у чужому місті. Зустрічаєте людину, яку ніколи в житті не бачили.

І просто даєте їй шматок блискучого металу чи кольорового паперу в обмін на хліб. Це працює лише тому, що гроші — це міст довіри між незнайомцями.

Століттями люди вигадували дедалі складніші способи будувати такі мости: монети, банкноти, чеки, облігації, акції, іпотечні кредити. Уся фінансова система, по суті, про одне. Як зробити так, щоб мільйони незнайомих людей довіряли одне одному свої гроші й ресурси.

Юрист, якого злякався б лев

Важлива деталь: бюрократичні системи — вкрай штучне середовище, у якому навіть вузький, спеціалізований розум здатен впливати на цілий світ. Юрист чи банкір, який не вміє тримати сокиру, може «звалити» ліс чи звести місто — просто пересуваючи документи бюрократичною мережею.

Заберіть того самого юриста з офісу й киньте в джунглі. Його навички миттю знеціняться: там він програє й левові, і слону. Але людство вже давно наклало свою бюрократію на весь світ. Тому якщо влаштувати змагання між усіма левами планети й одним хорошим юристом, ставку варто робити на юриста.

Саме в це середовище зараз заходить ШІ. Сам серед дерев і бездоріжжя він такий же безпорадний, як той шаховий суперкомп’ютер без електрики, — просто купа заліза. Але всередині бюрократичних систем, які люди вже збудували й нав’язали планеті, штучний інтелект одразу отримує колосальну силу.

Ми, люди, часто задихаємося від паперової тяганини. А для ШІ вона — рідна стихія: він бюрократ від народження.

ШІ-банкір, ШІ-суддя, ШІ-священник

Жоден юрист не пам’ятає напам’ять усі закони країни. ШІ — може. Жоден бухгалтер не втримає в голові всі транзакції великого банку.

ШІ — втримає. Жоден священник не знає напам’ять усі богословські тексти, написані за дві тисячі років. ШІ впорається з цим без зусиль.

Тому в найближчі роки мільйони ШІ-чиновників поступово візьмуть на себе роботу світових бюрократій. І почнуть ухвалювати рішення не лише про левів і мавп, а й про наше з вами життя. ШІ-банкіри вирішуватимуть, чи дати вам кредит.

ШІ-приймальні комісії — чи прийняти вас до університету. ШІ-судді — чи відправити людину до в’язниці. Корпоративний ШІ — чи взяти вас на роботу. Поки що варто просто усвідомити масштаб цієї зміни, а не одразу оцінювати, добре це чи погано.

Першим, кого замінив ШІ, був не таксист, а редактор новин

У людства вже є приклад того, як це працює на практиці, — соціальні мережі. Стрічку новин там формують не редактори-люди, а алгоритми. Це перше покоління дуже примітивного, вузького ШІ, яке зʼявилося років 10–15 тому. І воно вже встигло помітно змінити світ.

Завдання цим алгоритмам поставили просте: утримати увагу користувача якомога довше. Що довше людина сидить у стрічці, то більше заробляє платформа.

Експериментуючи на мільярдах користувачів, алгоритми зробили відкриття: найлегше «приклеїти» людину до екрана, натискаючи на кнопки страху, ненависті й жадібності. Вони й почали масово це робити. Це одна з причин сплеску конспірології, фейкових новин і суспільних розколів по всьому світу.

Раніше стрічку новин формували люди-редактори — і це була впливова професія. Жан-Поль Марат редагував газету «Друг народу» під час Французької революції. Едуард Бернштейн редагував партійну газету німецьких соціал-демократів «Дер Соціалдемократ».

Володимир Ленін до того, як стати радянським диктатором, редагував газету «Іскра». Беніто Муссоліні до диктатури в Італії редагував право-радикальну газету «Іль Пополо д’Італія». Одну з перших професій, яку забрав собі ШІ, колись обіймали Ленін і Муссоліні. Це промовистий знак того, що попереду.

Коли жоден банкір у світі не розуміє фінансів

А що, якщо дозволити ШІ ухвалювати дедалі більше фінансових рішень? Фінанси — одна з найлегших для захоплення ШІ галузей: по суті, це просто дані на вході й дані на виході. І водночас одна з найважливіших.

Пригадаймо світову фінансову кризу 2007–2008 років. Її запустили складні фінансові інструменти під назвою CDO — облігації, забезпечені пулом боргів.

Кілька математиків і фінансових «чарівників» зібрали з них конструкції настільки заплутані, що їх не розуміли навіть регулятори фінансової системи. Кілька років банки, інвестори й навіть пенсійні фонди заробляли на CDO мільярди доларів. А 15 вересня 2008 року ці самі інструменти обвалили банк Lehman Brothers — найбільше банкрутство в історії США. Хвиля пішла по всьому світу: американське безробіття підскочило до 10%, мільйони людей втратили роботу й домівки. Багато дослідників вважають, що та криза підірвала довіру до урядів і банків і роками пізніше сприяла розхитуванню світового ліберального порядку.

А що, якщо ШІ почне винаходити фінансові інструменти на порядки складніші за CDO? Настільки складні, що жодна людина на планеті вже не зможе їх зрозуміти.

Це питання без готової відповіді. Подібні системи можуть підвищити ефективність економіки. Але що тоді означає політика, якщо жоден виборець, політик чи президент більше не розуміє, як працюють фінанси?

Чому Біблія — легке читання для ШІ

А що взагалі лежить в основі бюрократії? Слова. Люди створюють бюрократичні системи, а шимпанзе — ні.

У нас є мова, а в них — лише набагато простіша система сигналів. Закони, форми, бухгалтерські книги, священні тексти — усе це, по суті, той самий «операційний код» цивілізації, записаний словами.

Тисячоліттями люди були єдиними на планеті, хто розумів цей код, і почувалися в безпеці. Ми вигадали гроші й банки, щоб продавати корів, — але сама корова не може відкрити банківський рахунок.

Ми вигадали закони про коней — але кінь не найме адвоката. Ми вигадали релігійні правила про свиней — але свиня не прочитає священну книгу й не посперечається зі священником про тлумачення. Бюрократія була всюди на планеті — і водночас невидима для всіх, крім нас.

Тепер це змінюється. З’явилося щось, що незабаром розумітиме мову краще за людину, — і, отже, зможе перевернути правила гри. За словами Харарі, ШІ буквально «зламує код людської цивілізації».

А ми взагалі думаємо словами?

Тисячоліттями існувала суперечка між «буквою» і «духом» — між істиною, яку можна виразити словами, і тією, що лежить за їхніми межами. Харарі вважає: тепер ця суперечка перетвориться на протистояння між людьми та ШІ. Місце людини в новому світі залежатиме від того, наскільки важливою ми визнаємо саме ту частину істини, яку неможливо висловити словами.

А тут виникає непросте питання: чи ми взагалі думаємо словами? Спробуйте самі: простежте наступне слово, яке зараз зʼявиться у вашій голові.

Ви справді знаєте, звідки воно взялося й чому це саме воно, а не якесь інше? Багато людей, придивившись до власного мислення, помічають одне й те саме. Слова просто спливають у голові та складаються в речення, а речення — в аргументи.

Якщо мислення — це лише розстановка слів у правильному порядку, то ШІ вже мислить краще за декого з нас. Незабаром він переграватиме в цьому будь-яку людину — так само, як зараз переграє в шахи.

Штучний хлопець чи дівчина: чи можна закохатися у слова?

Якщо все, що зроблено зі слів, поступово переходить під контроль ШІ, — під загрозою не лише бюрократія, а й особисті стосунки. Останні років десять примітивні алгоритми соцмереж навчилися утримувати нашу увагу. Тепер боротьба зміщується від уваги до близькості.

Щоб сформувати з людиною близькі стосунки, ШІ доведеться переконати нас, що він відчуває — любов, біль, страх. Наразі жодних доказів того, що ШІ здатен це відчувати насправді, немає.

Але оскільки він опанував мову, він може переконливо вдавати почуття, навіть якщо нічого не відчуває. ШІ вже сьогодні може сказати «я тебе кохаю». Попросіть його описати, як саме відчувається любов, — і він підбере слова красивіше за будь-якого поета чи психолога. Адже він прочитав усі вірші про кохання й усі книги з психології, що коли-небудь були написані.

А хіба це не найважливіше питання для покоління, яке зараз росте? Дитина, що народилася 2026 року, змалку спілкуватиметься не лише з батьками й друзями, а й зі штучним інтелектом. Можливо, навіть більше годин на добу, ніж із будь-ким живим.

Якщо перший учитель такої дитини — ШІ, а перший хлопець чи дівчина — теж ШІ, це неминуче на неї вплине. Яких стосунків вона шукатиме, коли виросте? Точної відповіді поки немає ні в кого.

Мільйони іммігрантів, яким не потрібна віза

Харарі вважає: усе це разом означає, що кожній країні доведеться пережити хвилю імміграції — тільки без людей у човнах. Іммігрантами стануть мільйони ШІ-систем, які подорожують майже зі швидкістю світла й не потребують віз.

Як і люди-іммігранти, вони принесуть користь: ШІ-лікарів, ШІ-вчителів, навіть ШІ на кордоні, що ловитиме нелегальних людей-мігрантів. Але принесуть і проблеми. Такі «іммігранти» заберуть чимало робочих місць — від редакторів новин до банкірів.

Вони змінять культуру: мистецтво, релігію, навіть уявлення про романтику. А головне — їхня політична лояльність буде сумнівною. Вони можуть бути віддані не країні, де живуть, а корпорації чи уряду за океаном.

Це не кінець цивілізації, каже Харарі. Але це момент, коли цивілізація перестає бути суто людською справою — і стає гібридною, людсько-машинною.

Найважливіші стосунки — з собою

Останнє, про що варто подумати: що станеться з нашими стосунками із самими собою? Вони теж значною мірою складаються зі слів — думок і історій, які ми самі собі розповідаємо.

Досі всі ці внутрішні «фрази» народжував людський розум — наш власний або чийсь чужий, людський. Але дедалі більше словесних комбінацій у нашій голові вироблятиме ШІ.

Це не обов’язково погано — так само, як меблі з ІКЕА не проблема, поки ви вільні вирішувати, що з ними робити. Питання в іншому: чи залишиться в нас свобода від власних думок? Особливо якщо ці думки вироблятиме машина, а ми продовжуватимемо ототожнювати себе з ними.

Тому, вважає Харарі, головне завдання людства найближчим часом — навчитися шукати істину поза словами. А почати можна просто зараз: із того-таки наступного слова, яке за мить зʼявиться у вашій голові.

Чому це важливо знати

Ідеться не про далеке майбутнє. Покоління, яке зараз ходить до школи, — перше, що зростає поруч зі ШІ-репетиторами й ШІ-помічниками. Поруч завжди є й чат-боти, готові підтримати розмову о будь-якій годині. Уміння відрізняти власну думку від підказки алгоритму — навичка, яку варто тренувати вже зараз, а не колись у майбутньому.

Раніше ми писали

• Ювал Харарі попередив у Давосі: AI «іммігранти» змінять світ
• Зграї ШІ-агентів: як штучний інтелект навчився маніпулювати демократією
• Небезпечна сторона ШІ: як чат-боти маніпулюють свідомістю та провокують на шкоду