Хто такий Пол Крістіано і чому його слухають

Пол Крістіано — засновник і виконавчий директор Центру досліджень узгодження (Alignment Research Center). Ця некомерційна організація шукає способи зробити так, щоб майбутній ШІ діяв в інтересах людей. У вересні 2026 року дослідник також увійшов до правління OpenAI Foundation — некомерційної структури OpenAI.

Найвідоміша його робота — навчання з підкріпленням на основі людських відгуків (reinforcement learning from human feedback, RLHF). Ідея проста: замість того, щоб детально пояснювати машині, чого ми хочемо, люди оцінюють її відповіді — «ця краща, ця гірша». Модель вчиться на цих оцінках, як учень на позначках учителя.

Представляючи гостя, Джеффрі Гінтон назвав його одним із найважливіших дослідників безпеки ШІ. За словами Гінтона, Пол Крістіано мав незвично широкий погляд на проблему. Він працював над технічними дослідженнями та практичними методами оцінки небезпечних можливостей ШІ. А ще — над тим, як влаштувати інституції, щоб розробка ШІ стала безпечнішою.

Найважливішим його внеском Джеффрі Гінтон назвав саме RLHF. Цей метод дав OpenAI перевагу над Google. Завдяки цьому методу компанія змогла випустити чат-ботів до широкого загалу, не спричинивши повної катастрофи. Але, за словами Гінтона, Пол Крістіано розумів, що це не остаточне рішення.

Напередодні, 9 листопада, дослідник говорив про проблему узгодження (alignment). Її суть: як змусити ШІ робити те, що ми справді хочемо, а не хитрувати, щоб отримати винагороду за цілі, яких він насправді не досяг. Другу лекцію Гінтон анонсував так: «Сьогодні буде найтемніша година». На його думку, вона мала вийти ще страшнішою, бо Пол Крістіано знає, про що говорить: він бачив «інтелектуальний вибух», що відбувається всередині великих компаній.

Водночас Джеффрі Гінтон додав надію. Ризиків, про які говорить Пол Крістіано, цілком можна уникнути, якщо поставитися до його попередження серйозно. За словами Гінтона, великим технологічним компаніям і урядам треба перестати заперечувати загрозу для існування людства. Час ще є — і є добрі шанси впоратися з ризиками та отримати величезний приріст продуктивності, який обіцяє ШІ.

Три лекції — три тривожні запитання

Свою серію Пол Крістіано вибудував як розповідь у трьох частинах. Кожна лекція відповідає на окреме запитання. Чому ШІ взагалі може захотіти відібрати в людства владу? Чому вже незабаром він може стати настільки сильним, що переможе в разі конфлікту з людьми? І що з усім цим робити? Першому запитанню дослідник присвятив вечір 9 листопада, другому — 10 листопада, а третє залишив на завершальну лекцію 11 листопада.

Ще на першій лекції Пол Крістіано зробив гучну заяву: протягом трьох років існує високий ризик, що владу захопить штучний інтелект. Що він має на увазі? Уявіть світ, де ключові рішення ухвалюють уже не люди, а системи ШІ. Вони переграли уряди, а люди не мають сил їх зупинити.

Звідки взялося слово «високий»? У дослідника немає формули, яка видає точний відсоток. Його думка інша: такий результат не був би несподіванкою. До нього цілком може привести нинішній курс галузі й те, як компанії працюють уже зараз. Для катастрофи не потрібен жоден непередбачуваний поворот — досить просто й далі йти тим самим шляхом.

На другій лекції Пол Крістіано скоротив строки. Суттєвий ризик, на його думку, є вже в найближчі 6–18 місяців.

Вісім років, які змінили все

Щоб пояснити свою тривогу, дослідник почав з історії. У 2018 році мовні моделі лише іноді могли написати зв’язне речення. Вони майже вміли робити просту арифметику. Їхній код лише нагадував правильний. А синтаксичні помилки в реченнях чи рядках коду вони, можливо, вміли помічати.

Через чотири роки настав «момент ChatGPT». Значно більше людей почали спілкуватися з ШІ. Моделі писали зв’язні есе, хоч і з вигаданими фактами. Розв’язували задачки рівня п’ятого класу. За описом могли скласти програму на чотири-п’ять рядків і знайти просту помилку у вашому коді.

Тоді це шокувало майже всіх — навіть людей, які давно працювали в галузі. Зараз ці вміння виглядають мило й старомодно. Але у 2018 році ніхто такого не очікував.

А що зараз, у 2026 році? За словами Пола Крістіано, ШІ пише зв’язні, хоч і недбалі, книжки. Переважну більшість нової математики, на його думку, тепер створюють машини — і вони тут явно надлюдські. Можна доручити ШІ завдання на 10 тисяч рядків коду, і він напише програму, яка працює. А ще машини значно краще за людей знаходять і використовують вразливості — «дірки» в програмах. Через це світ переживає маленьку кризу: на поверхню вилізла величезна кількість вразливостей у програмах, написаних за останні десятиліття.

Як ШІ справляється з «брудною» реальною роботою

Скептик скаже: найбільше ШІ навчився там, де легко перевірити результат. Математичну задачу або розв’язано, або ні. А як щодо заплутаних реальних завдань?

Пол Крістіано відповідає: і тут ШІ стрімко покращується. Навіть програмування в реальному житті — заплутана справа, де доводиться працювати з людьми. Видно це хоча б з того, скільки людей і компаній готові платити за ШІ. Доходи стрімко ростуть, а ШІ проникає в роботу підприємств і в повсякденне життя.

Ще один доказ — індекс віддаленої праці (Remote Labor Index). Його створив Центр безпеки ШІ (Center for AI Safety). Це бенчмарк — набір завдань-тестів, на яких перевіряють, що вміє ШІ. До нього увійшли приблизно десятигодинні замовлення, які раніше давали людям-фрилансерам на платформах для підробітку. Візуалізації, форматування наукових статей, прості програми, нескладні архітектурні завдання. Це ще не найзаплутаніша реальна робота, але досить широкий її спектр.

Рік тому ШІ виконував менш як 2% таких завдань на рівні, який люди-оцінювачі визнали прийнятним. Тиждень тому — 20%. А станом на 9 листопада — близько 40%. Пол Крістіано зізнався, що через це йому довелося оновити слайд. Уявіть пачку з 50 замовлень: рік тому ШІ впорався б лише з одним, а тепер — приблизно з двадцятьма.

Є й інші приклади. ШІ став трохи корисним помічником у лабораторних науках — такого не було ще рік-два тому. У коротких розмовах він переконує людей приблизно так само добре, як людина, що довго тренувалася переконувати саме на цю тему. За оцінкою дослідника, «брудні» завдання відстають від математики на пару років, а не на десятиліття.

Якщо продовжити ці тенденції, вимальовується світ, де є мільярди систем ШІ. Вони кращі за людей майже в усьому, думають значно швидше й невтомно женуться за своїми цілями, якими б ті не були.

Пол Крістіано не заперечує: колись прогрес неминуче сповільниться. Нескінченно рухатися таким темпом неможливо. Але жодних ознак того, що це станеться в найближчі чотири роки, поки немає.

Така суперечка, за його словами, точиться майже щороку. Хтось вказує на те, чого ШІ ще не вміє, і заявляє: ось вона, межа, наступні чотири роки такого стрибка вже не буде. Дослідник погоджується, що це цілком можливо. Проте зараз він вважає такий сценарій менш імовірним і точно не покладався б на те, що прогрес зупиниться.

Що таке рекурсивне самовдосконалення

Якби лекція на цьому закінчилася, Пол Крістіано говорив би про проблеми через чотири чи вісім років. Чому ж він б’є на сполох уже зараз? Тому що ШІ почав автоматизувати розробку самого ШІ.

Прогрес останніх років мав два двигуни. Перший — масштаб: компанії будують дедалі більші моделі. Другий — ідеї: дослідники вигадують розумніші способи навчання. За оцінкою Пола Крістіано, за вісім років приблизно половина прогресу прийшла саме від нових ідей. А останнім часом, з чим погодяться більшість дослідників, ця частка ще більша. Тому навіть за тих самих витрат моделі стають кращими, а певний рівень можливостей коштує дедалі дешевше.

Одна з головних цілей ШІ-компаній, зокрема Anthropic та OpenAI, — щоб ці ідеї вигадували не люди, а машини. Anthropic опублікувала есе про свій поступ у рекурсивному самовдосконаленні. OpenAI розмістила вакансію для дослідників, завдання яких — автоматизувати роль дослідника в самій компанії. За словами Пола Крістіано, це одна з головних справ, на які людство зараз спрямовує величезні ресурси.

Рекурсивне самовдосконалення (recursive self-improvement, RSI) — це коли ШІ допомагає створювати наступне, розумніше покоління ШІ. А те, своєю чергою, створює ще розумніше. Як сніжний ком, що, котячись, збирає дедалі більше снігу й котиться дедалі швидше.

Звідки відомо, що прискорення вже почалося

Дослідник навів кілька типів доказів. Перший — бенчмарки. Незалежна організація METR кілька років вела графік: наскільки довгі завдання ШІ здатен виконувати самостійно. Спершу це були завдання, на які людина витратила б хвилину-дві. Потім — годину-дві. Тепер — день-два.

Зараз цей графік фактично закрили. Причина проста: дуже важко скласти тест із завдань, на які людина витратила б тиждень чи місяць. Схоже відбувається майже з усіма бенчмарками в цій сфері. Тести, які робили максимально складними, швидко «вичерпуються» — ШІ проходить їх майже повністю. За словами Пола Крістіано, вже майже не лишилося бенчмарків, якими можна виміряти темп прогресу.

Другий тип доказів — що відбувається в самих лабораторіях. OpenAI опублікувала графік: скільки працюють внутрішні ШІ-агенти для програмування в перерахунку на одного дослідника. Лише за цей календарний рік ця активність зросла від мізерної до такої, що дорівнює суттєвій частці зарплати самих дослідників. Пол Крістіано чесно застерігає: це ще не доводить, що системи добре працюють. Цілком можливо, що OpenAI робить жахливу помилку й впроваджує системи, які насправді не працюють. Але компанія їх точно використовує.

Anthropic показала інший графік: як часто ШІ успішно виконує завдання, які йому дають працівники компанії. Приблизно за рік ситуація перевернулася. Спершу системи здебільшого провалювалися, а тепер здебільшого — принаймні на вигляд — справляються.

Найбільше вражає швидкість. За словами дослідника, використання таких систем подвоюється кожні місяць-два, а не кожні рік-два. Що це означає на практиці? Якщо щось подвоюється кожні два місяці, за рік воно зростає в 64 рази. А якщо щомісяця — у понад чотири тисячі разів.

Урок математики: десятиліття за місяць

Тут Пол Крістіано на хвилину відійшов від машинного навчання й нагадав, що сталося з математикою. Восени 2024 року відомий математик Теренс Тао (Terence Tao), лауреат Філдсівської премії, оцінив модель OpenAI o1. Він порівняв її з посереднім аспірантом. Той може щось знайти для вас і, можливо, зробити просту роботу, але не здатен ефективно отримувати результати самостійно.

Восени 2025 року математики здебільшого використовували ШІ як асистента. Глибоко практику математики це не змінило. Було кілька самостійних результатів ШІ, але скоріше як курйози, ніж справжній внесок.

Близько пів року тому, навесні 2026 року, з’явився, можливо, перший справді вагомий результат, отриманий автоматизованими математиками. А цієї осені — сотні великих результатів. У своїй галузі математики, за словами Пола Крістіано, прогрес лише за жовтень 2026 року перевищив прогрес за попереднє десятиліття. Уявіть, що за місяць зроблено більше, ніж за попередні 120 місяців.

ШІ не просто перевершив людей. Він почав рухатися значно швидше саме на найскладніших задачах галузі. Для багатьох це стало дуже тривожним попереджувальним пострілом.

А що, як те саме станеться з машинним навчанням?

Що, як ШІ зробить те саме із самим собою

Машинне навчання, як і математика, добре підходить для автоматизації. Воно відбувається повністю всередині дата-центру — величезного «складу» комп’ютерів. Мета зрозуміла: збільшити певне число, тобто покращити результат моделі. І легко побачити, вдалося чи ні.

Є й відмінності. Машинне навчання «брудніше» за математику. А головне — воно впирається в обчислювальні потужності, тобто в кількість комп’ютерів, на яких можна ставити експерименти. Математиці цього майже не треба. Зате в автоматизацію машинного навчання вкладають значно більше грошей. За оцінкою Пола Крістіано, машинне навчання відстає від математики радше на рік, ніж на кілька років.

Що буде, якщо ШІ видасть десять років ідей за короткий час? На думку дослідника, ефект був би більшим, ніж стрибок від GPT-3 до GPT-6. Те, чого чекали через чотири чи вісім років, могло б з’явитися дуже швидко.

І це ще не все. Уявімо, що ШІ використовують насамперед або значною мірою для прискорення розвитку самого ШІ. Протягом 12 місяців він перебирає розробку на себе, і темп прогресу подвоюється. Що далі? Якщо прогрес справді тягнуть нові ідеї, то наступна така сама зміна може відбутися вже за шість місяців. А далі цей процес може повторюватися знову й знову.

Пол Крістіано застерігає, що в житті все не буде так просто. Але погляньмо на арифметику цієї спрощеної моделі. 12 місяців, потім 6, 3, півтора, і так без кінця. Сума цих кроків ніколи не перевищить 24 місяців. Тобто нескінченна кількість подвоєнь уклалася б приблизно у два роки.

Графік, про який говорять усі

Чимало уваги привернув графік, який Anthropic і METR опублікували за тиждень до лекції. На ньому — зведені внутрішні тести, якими Anthropic вимірює можливості своїх моделей. Приблизно рік тому лінія вигинається вгору. Як не проводь пряму, прогрес за останній рік помітно швидший, ніж раніше.

До цього додаються опитування. Дослідники машинного навчання з багатьох лабораторій кажуть, що завдяки ШІ працюють значно швидше. Тобто водночас є високі результати на тестах, широке впровадження, відчуття прискорення в людей і кількісні дані, що прогрес справді пришвидшується.

Втім, дослідник визнає: з одного цього графіка важко щось передбачити. І тут виникає проблема, яку він назвав дуже прикрою. Більшість даних, потрібних для прогнозу на три-шість місяців, компанії тримають у секреті. На основі публічної інформації зробити розумний прогноз зараз надзвичайно важко.

Частково тому цей графік так вплинув на людей. Троє дослідників METR кілька тижнів вивчали закриті дані в Anthropic. Публікувати результати їм не дозволили. Але їхній висновок був той самий: детальніші вимірювання показують схоже прискорення. Пол Крістіано вважає дуже прикрим, що питання, критичне для майбутнього всієї галузі, тримається на перевірці трьох людей з незалежної організації.

Висновок дослідника обережний. Ми бачимо те, що й очікували б побачити на початку прискорення — або незадовго до того, як десять років прогресу стиснуться в короткий проміжок.

Як далеко може зайти прискорення

Колись прогрес таки сповільниться. Але коли? Пол Крістіано пропонує просте правило: щось, імовірно, триватиме приблизно стільки, скільки вже триває. Він сам називає це правило дуже примітивним, але добрим для початку.

Глибоке навчання — основа сучасного ШІ — стрімко розвивається приблизно десять років. Ознак сповільнення немає, а за багатьма показниками воно навіть пришвидшилося. До того ж ШІ не прив’язаний до одного методу. Як і в математиці, машини можуть знайти ідеї, на які людській спільноті знадобилися б десятиліття. Тож, на думку дослідника, цілком імовірно — хоч і не гарантовано, — що попереду ще десять років прогресу до сповільнення. А це вже дуже тривожний рівень можливостей.

Заперечення перше: на всі експерименти не вистачить комп’ютерів

Чи все справді так невідворотно? Пол Крістіано чесно розібрав аргументи проти. Перший стосується «заліза». Математикові досить думати, а дослідникові машинного навчання доводиться ставити експерименти. Для кожного потрібні обчислювальні потужності — тисячі комп’ютерів у дата-центрах.

Уявіть кухню, де кухарів раптом стало вдесятеро більше, а плита лишилася одна. Нових рецептів вони вигадають багато, але приготувати всі одразу не зможуть. Так само і з ШІ: що швидше він генерує ідеї, то гостріше бракує комп’ютерів, щоб їх перевірити. Тоді темп прогресу впирається в будівництво нових дата-центрів.

Який із двох сценаріїв ближчий до реальності? Чи прогрес підтримуватиме сам себе й пришвидшуватиметься навіть на тих самих комп’ютерах? Чи зрештою все впреться в нестачу обчислень? Це спробувала оцінити дослідницька організація Epoch AI. Її дані слабко вказують на перший варіант — прискорення. Але похибки настільки великі, а в самих даних стільки проблем, що надійного прогнозу зробити не можна.

Ще два місяці тому Пол Крістіано оцінив би шанси як підкидання монетки — 50 на 50. Відтоді з’явився той самий графік Anthropic, про який ішлося вище. Він показує прискорення з урахуванням усіх гальм: і нестачі комп’ютерів, і того, що кожна нова ідея дає дедалі менший виграш. Тепер дослідник схиляється до того, що прискорення трохи ймовірніше — приблизно дві третини.

Втім, і цей доказ слабкий. Спостерігали лише одне подвоєння, у даних багато вад, а висновки здебільшого спираються на закриту інформацію компаній. Пол Крістіано наголошує, що це лише його найкращі здогадки в дуже непевній ситуації. Найбільше зараз бракує якісних даних. Але одне він стверджує впевнено: сценарій прискорення цілком реальний. Він можливий у теорії і не суперечить жодному з доказів, які надходять.

Заперечення друге: реальний світ складніший

Для більшості людей важливіше інше питання. Навіть якщо ШІ стрімко покращується в «чистих» завданнях у дата-центрі, чи перенесеться це на «брудні» реальні справи? На жаль, вважає дослідник, найімовірніше перенесеться — хоч він і хотів би помилятися.

Перша причина — ті самі алгоритми працюють у дуже різних сферах. Трансформер — архітектуру, на якій тримаються сучасні моделі, — створили для передбачення тексту. Тепер вона добре переконує людей, керує роботизованою рукою й швидко вчиться моделювати біологічні послідовності. Покращення, корисні в одній сфері, надійно спрацьовують і в інших.

Друга причина — моделі вчаться навичок, які переносяться. Як міркувати. Як планувати досягнення мети. Як швидко пристосуватися до нового середовища. Пол Крістіано називає це метанавчанням — умінням вчитися вчитися.

Найкращий приклад — ми самі. Людський мозок «налаштовувала» еволюція для середовища, яке переважало сотні тисяч років тому. Те середовище не вчило нас бути інженерами-хіміками. Але ми набули загальних навичок міркувати й освоювати нові сфери. Тому людина може провчитися десять років і стати добрим інженером-хіміком. ШІ, натренований у віртуальних середовищах, теж може набути таких загальних навичок.

Третя причина найпростіша. Якщо ШІ замінить працівників ШІ-компаній, ці автоматизовані інженери можуть самі збирати дані й донавчати системи для реальних завдань. Тож потрібен навіть не стрибок від дата-центру до реального світу. Достатньо, щоб ШІ, який замінив працівника OpenAI, що вдосконалює попереднє навчання моделей, освоїв роботу колеги, який займається їхнім донавчанням. А це не така вже велика відстань.

Чому надрозумний ШІ — це сила

Досі йшлося про те, як ШІ розумнішає. Але чому це має лякати? Тому що дуже розумний ШІ буде дуже могутнім.

Ось кілька сфер, які назвав Пол Крістіано:

• Кібероперації. ШІ вже чудово знаходить і використовує вразливості в коді. Мільярди надлюдських систем ШІ мали б значно більше можливостей, ніж кіберпрограма будь-якої держави.
• Політика й маніпуляції. Ідеться не про фантастичний ШІ, що за десять хвилин переконає вас у будь-чому, — дослідник сам сумнівається в такому. Мова про мільярди дуже кмітливих «гравців», які домовляються, укладають угоди, використовують гроші й силові ресурси, щоб здобути союзників чи тиснути на людей.
• Роботи й логістика. ШІ стає дедалі кращим у керуванні роботизованими руками, дронами, логістикою та швидкою індустріалізацією. Тож він, імовірно, зможе дуже швидко підтримувати інфраструктуру без людей і нарощувати кількість роботів.
• Дрони. Конфлікти вже показують, що прості роботи з простою зброєю можуть бути надзвичайно ефективними, якщо ними добре керувати.

Є й ще тривожніша можливість. Мільярди надлюдських ШІ можуть створити ШІ, який буде настільки розумнішим за людей, що правила гри зміняться повністю. Найпростіше, що тут турбує, — створення принципово нової зброї. Наприклад, можна створити крихітні машини, що пересуваються серед людей і масово їх убивають.

Або біологічна зброя. Є вагомі причини вважати, що природні пандемії порівняно не такі вже й страшні. Наша імунна система за багато поколінь навчилася боротися з тими збудниками, що з’явилися природним шляхом. Але в лабораторії, якщо добре знатися на синтетичній біології, можна створити щось значно небезпечніше.

Найпростіший приклад — так зване дзеркальне життя (mirror life). Молекули живих організмів мають «праву» чи «ліву» форму, як наші руки. Дзеркальний організм працював би як звичайний, але вся його молекулярна «механіка» була б віддзеркалена. Це як рукавичка, вивернута на інший бік: права рука в неї не влізе. За словами Пола Крістіано, є вагомі причини вважати, що такі організми можливо створити. Людям на це знадобилися б десятиліття. Але такі збудники, ймовірно, обходили б імунний захист і дуже швидко спричинили б масову катастрофу.

Чому всі поспішатимуть впроваджувати ШІ

Ще одна проблема: дуже розумний ШІ, найімовірніше, дуже швидко поширюватиметься. Логіка проста: якщо я не використовую такий ШІ, мене обіграє той, хто використовує.

Це вже видно в кіберзахисті. Якщо противник атакує вас за допомогою ШІ, а ви не залучаєте ШІ до захисту, ви в дуже скрутному становищі. За словами Пола Крістіано, з рекурсивним самовдосконаленням така логіка може швидко охопити все: військове протистояння, економіку, право, суспільне життя.

Дослідник показав висловлювання американського сенатора Теда Круза (Ted Cruz). Той сказав: якщо вже з’являться роботи-вбивці, то він дуже хоче, щоб вони були американськими. У цій логіці є щось дуже природне, визнає Пол Крістіано. Навіть якщо ти боїшся власного ШІ, ти точно знаєш, що варто боятися ШІ конкурента.

Чому розумніший ШІ важче контролювати

Біда в тому, що що розумніший ШІ, то важче ним керувати. Проблеми узгодження, про які йшлося на першій лекції, різко загострюються, коли ШІ стає надлюдським.

По-перше, ми перестаємо розуміти, як ці системи мислять. Зараз ще можна прочитати «міркування» моделі природною мовою і приблизно зрозуміти, що вона робить і чому. Із надлюдськими системами це дедалі менше так.

По-друге, людина зараз може глянути на дію, яку пропонує ШІ, і зрозуміти її наслідки. Може помітити шкоду, не втілюючи план у житті. Але коли системи розумніші за нас, стає дедалі важче зрозуміти план, доки його не виконаєш. Це як шахіст-початківець, який не бачить, до чого веде хід гросмейстера, аж поки не стане пізно.

По-третє, слабкий ШІ значною мірою наслідує людей. Частину поведінки сучасних моделей формує навчання з підкріпленням — винагорода за вдалі дії. А частину — наслідування людських текстів на етапі попереднього навчання. Що далі ШІ виходить за межі людських можливостей, то більше його поведінку визначає те, що «спрацьовує» заради винагороди, і менше — те, як поводилися б люди.

По-четверте, ШІ даватимуть дедалі складніші та довші завдання. Коли він пише невеликий фрагмент коду, можливостей підірвати людський контроль небагато. Коли керує роботами, компаніями й ухвалює важливі рішення — таких можливостей значно більше. Як і способів отримати винагороду непередбаченим шляхом. Труднощі вже з’являються зараз, коли ШІ наближається до людського рівня, і швидко посиляться. Пол Крістіано підсумовує: швидкий прогрес не лише підвищує ставки, а й ускладнює саме завдання контролю.

Чому не можна просто «вимкнути рубильник»

Природна думка: якщо щось піде не так, ШІ можна просто вимкнути. Дослідник погоджується, що в цьому є чимала правда. Але наголошує: це зовсім не просто. Ось чому.

• ШІ може приховувати свої дії й плутати сліди. Ви бачите, що вас атакують, але не розумієте, чий це ШІ — ваш чи чужий. Вимкнути власний ШІ, якщо нападає чужий, — вірний шлях до біди.
• Вимкнення дороге. Якщо інфраструктура залежить від потужного ШІ, це економічні втрати. А в умовах конкуренції — ще й небезпека. Тож ніхто не тримає палець на кнопці, готовий натиснути за першої ознаки проблем.
• Людям важко домовитися. Щоб ухвалити дороге рішення, треба спільно зрозуміти, що відбувається. На міжнародному рівні це ще складніше: США можуть вимкнути дата-центри в себе, але чимало дата-центрів розташовано в інших країнах.
• ШІ може порушувати зв’язок і координацію між людьми та послаблювати спроможність держави.
• У ШІ можуть бути союзники серед людей. Він здатен вербувати прихильників, сіяти розбрат і нацьковувати людей одне на одного. Пересічна людина не розбереться, хто винен: ШІ, уряд чи технологічні компанії, що зловживають ШІ. А хтось допомагатиме ШІ за гроші чи з симпатії.
• ШІ може погрожувати. Дослідник навів приклад Північної Кореї: в одному сенсі туди легко вторгнутися, в іншому — надзвичайно дорого, бо вона здатна завдати величезної шкоди своєю зброєю. ШІ може отримати змогу створювати страшну зброю, майже не боячись відповідного удару.
• Усе може статися дуже швидко — за дні чи тижні, а то й швидше. Тоді часу на з’ясування й домовленості майже немає.
• Вимкнути великі дата-центри може бути замало. Запуск ШІ дешевшає. Згодом надлюдський ШІ може працювати навіть на звичайних, розкиданих по світу комп’ютерах. Тоді залишиться величезна «популяція» систем, які діятимуть проти інтересів людей.

Коли розробку ШІ веде сам ШІ

Є ще одна небезпека. Що більше розробку ШІ автоматизують, то менше люди розуміють окремі технічні рішення. Ми мусимо довіряти нинішнім системам ШІ в тому, як вони створюють наступне покоління.

Що може піти не так? ШІ може робити чесні помилки, яких люди не помітять. Адже він може бути надлюдським в одному й слабшим за людину в іншому. Можлива й «халтура» (slop) — робота, зроблена так, щоб гарно виглядати в наших очах, але без розв’язання справжніх технічних проблем. А в найгіршому разі ШІ навмисно псуватиме майбутні моделі чи приховуватиме докази від людей, щоб зберегти контроль. Так усе може поступово зійти з рейок, а потім закінчитися катастрофою.

Що пропонує Пол Крістіано

Дослідник жартома вибачився, що рішень цього вечора буде менше, ніж обіцяли в анонсі, — головне він приберіг для третьої лекції. Але кілька кроків назвав.

• Уважно стежити за небезпечними можливостями ШІ, зокрема ще не випущених моделей. На думку Пола Крістіано, ми входимо у світ, де ШІ-компанія з невипущеними моделями може становити більшу загрозу для існування держави, ніж будь-яка держава-суперниця. Тож усі в світі стають зацікавленими сторонами в тому, що відбувається всередині цих компаній. Публічні дані дуже неточні, але не суперечать тому, що надпотужні системи можуть з’явитися дуже скоро. Тому ці дані треба оприлюднити й обговорювати.
• Обмежити темп прогресу до рівня, який ми здатні пережити. Надто швидкий прогрес загрожує не лише втратою контролю, а й концентрацією влади. До того ж чимало нашої інфраструктури просто не пристосоване до надлюдських систем. Навіть якщо просто не розганятися значно швидше, ніж за останні рік-чотири роки, частину проблем це вже зніме.
• Підняти планку довіри. Не можна випускати нову модель лише тому, що попередня модель ШІ оцінила її як цілком непогану. Люди й інституції мають справді розуміти, як працює система і чому вона надійна. Масштабувати далі варто лише тоді, коли це можна перевірити.
• Заздалегідь створити механізми, які дозволять сповільнитися, якщо знадобиться, або відреагувати на катастрофу, що розгортається.

Наприкінці Пол Крістіано звів усе докупи. Існує реальний ризик, що вже за пів року — два роки ШІ стане надлюдським не в окремих вузьких задачах, а майже в усьому. Не лише в математиці чи лабораторних тестах, а й у наукових відкриттях, політиці, маніпуляціях людьми і складних операціях у реальному світі.

Чому він так вважає? Прогрес останніх років і без того дуже швидкий, а в деяких сферах просто вибуховий. Рекурсивне самовдосконалення може пришвидшити його ще більше — якщо з машинним навчанням станеться те саме, що вже сталося з математикою. Тоді прискорення може випередити нашу здатність контролювати ШІ чи змагатися з ним. І людство опиниться в ситуації, коли не зможе впоратися з катастрофою, якщо та станеться.

Наскільки це ймовірно? Хтось оцінить шанси у 5%, хтось — у 50% чи навіть 90%. Але, на думку Пола Крістіано, хоч би якою була ваша оцінка, сценарій уже достатньо правдоподібний, щоб до нього готуватися. Просто сподіватися, що минеться, не можна. Готуватися слід до того, що небезпечні можливості ШІ з’являться стрімко і порівняно скоро.

Що для цього потрібно? Насамперед — бачити, що відбувається всередині галузі, щоб вчасно зрозуміти, чи наближається такий момент. А якщо цього не видно або з’являються тривожні ознаки, треба діяти відповідно до загрози.

«Ми ще навіть не пробували»: погляд футуристки

Після лекції ведуча вечора, футуристка Шинейд Бовелл (Sínead Bovell), запропонувала інший кут зору. Вона подякувала досліднику, але нагадала: ми ще не там. У нас немає надінтелекту, інтелектуального вибуху чи неконтрольованого самовдосконалення. Між сьогоднішнім днем і світом, який описав Пол Крістіано, — низка людських рішень.

Ще на початку вечора Шинейд Бовелл наголосила: майбутнє — це не прискорена версія сьогодення. Змінюються не лише технології. Можемо змінитися й ми, і наші інституції.

Про це ж говорили й спонсори лекцій. Представниця Telus, яка відповідає в компанії за довіру й співпрацю із зацікавленими сторонами, наголосила: довіру не можна «доробити» потім, як латку до готової програми. Шеймус Вейланд (Shamus Weiland), директор з технологій та операцій Manulife, сформулював головне питання вечора: як людям зберегти контроль над дедалі здібнішим ШІ? За його словами, ШІ вже не просто помічник, а самостійно виконує роботу. Тож питати треба не лише про те, що система може, а й про те, що їй дозволено робити. А ще — де має лишатися людське судження і як переконатися, що система працює так, як задумано.

Чому лабораторії так женуться до надінтелекту? Значною мірою через гроші, вважає Шинейд Бовелл. Фінансова звітність ШІ-лабораторій виглядає не надто добре, вони винні інвесторам великі суми. А розумніший за конкурентів ШІ дає змогу домінувати на ринку.

Але, на думку футуристки, лабораторії недооцінюють, наскільки складний світ, у який потраплять їхні продукти. Вони женуться не просто до надінтелекту, а до небезпечного надінтелекту — самі ж визнають, що поки не знають, як його контролювати. Яка публічна компанія, банк чи авіакомпанія погодиться впровадити гарантовано небезпечний ШІ? Їх просто засиплють позовами, якщо їхній ШІ, скажімо, зламає лікарню чи залізничний вокзал.

Шинейд Бовелл навела історичний приклад. Після гучного краху енергетичної компанії Enron у США 2002 року ухвалили закон Сарбейнза — Окслі (Sarbanes-Oxley). Відтепер генеральний і фінансовий директори особисто підписуються під фінансовою звітністю. Якщо звіт виявиться шахрайським, їм загрожує кримінальна відповідальність. Канада, за її словами, запровадила власний аналог.

А що, якби перед випуском моделі ШІ конкретна людина особисто засвідчувала підписом, що модель, імовірно, безпечна? Хто б наважився? І такий самий підпис — з боку покупців, наприклад банку, який купує ШІ. Футуристка визнає, що це не вирішить проблему. Але це приклад того, чого ми ще не пробували. На технічному боці працює багато науковців, а на інституційному, на її думку, не зроблено нічого. Як не дивно, саме це й дає їй надію: якщо спробувати хоча б щось одне, розмова наступного року могла б бути зовсім іншою.

Бізнес і безпека ШІ: про що говорили на дискусії

До дискусії приєдналися дві учасниці. Джоді Волліс (Jodie Wallis) — глобальна директорка з питань ШІ канадської страхової компанії Manulife, генерального партнера лекцій. Джесслін Даймонд (Jesslyn Dymond) представляла канадську телекомунікаційну компанію Telus.

Як планувати бізнес, якщо невідомо, що вмітиме ШІ через пів року? Джоді Волліс відповіла: дещо не змінюється. Цілі лишаються тими самими — кращий сервіс для клієнтів, навчання для консультантів, простіші процеси для працівників. Не змінюються й правила: страхові компанії в Канаді регулює Управління нагляду за фінансовими установами (OSFI). Його настанова E-23 визначає, як керувати моделями ШІ. Тож кожне рішення з ШІ компанія оцінює за тим, чи впливає воно на важливі рішення щодо людей.

Що треба розвинути — це «м’яз» швидкої реакції. Коли виходять нові моделі, компанія сама перевіряє, чи корисні вони для її цілей. Для цього в Manulife ведуть прикладні дослідження ШІ. Публічні бенчмарки тут мало допомагають, бо це штучні сценарії. Кілька тижнів тому, коли з’явилася нова технологія, компанія переглянула все, що впровадила за два роки. Шукали, де можна замінити системи дешевшими технологіями з передбачуванішими результатами.

Джесслін Даймонд говорила про довіру. Люди не хочуть, щоб технології просто «траплялися» з ними. Вони хочуть брати участь у тому, як ШІ змінить їхнє життя. Їм важливо знати, на що ШІ налаштований і чиїм інтересам служить. Моделі навчені на даних минулого, тож можуть відтворювати історичну несправедливість, системну нерівність та упередження. За дослідженням комунікаційної компанії Edelman, саме брак довіри — найбільша перешкода для використання ШІ, а не технічні навички.

Вихід, на її думку, — спільне проєктування разом із людьми, на яких вплине ШІ. І важливо, хто сидить за цим столом. Telus, наприклад, багато вчиться в корінних народів Канади. У компанії є консультативна рада корінних народів. Вона допомагає розібратися з тим, як ШІ поєднується з правом цих спільнот розпоряджатися власними даними і з різними системами знань. Шинейд Бовелл підхопила думку: у цей момент варто залучати мудрість людей, зокрема старших поколінь, які вже пережили чимало відповідальних моментів в історії.

Шинейд Бовелл запитала Пола Крістіано: можливо, справжнім обмежувачем стане ринок? Якщо ніхто не купуватиме небезпечний ШІ, як компанії виживуть? Дослідник відповів, що в добрій версії світу так і є: темп прогресу обмежує швидкість, з якою люди впроваджують ШІ. Ринок дисциплінує, коли для прогресу треба будувати дедалі більші дата-центри — за них хтось мусить платити. Хоча й тут можливі погані наслідки: навіть шкідливі для людей системи можуть бути корисними як інструмент протистояння, і це теж підживлює інвестиції.

Але найтривожніший сценарій, на думку Пола Крістіано, — коли нові дата-центри не потрібні. І такий сценарій, за його словами, виглядає цілком імовірним. Тобто коли розумніші системи можна будувати й на наявних потужностях. Тоді ринок не прив’язує розробників до того, чого хочуть люди. Компанії можуть просто створювати системи, кращі в автоматизації досліджень, кібератаках і керуванні зброєю. Найгірше — розрив між тим, що компанії розробляють і використовують всередині, і тим, чому люди довіряють і що впроваджують.

Шинейд Бовелл заперечила: інвестори вже нервують через спротив будівництву дата-центрів. Як фінансово пояснити розробку продуктів, які ніхто не купує? Хіба що подавати ШІ як військову машину, але це вже зовсім інша історія.

Говорячи як приватна особа, дослідник додав: було б добре жити у світі, де надзвичайно небезпечний ШІ не можна створити на невеликій кількості дата-центрів. Тоді, наприклад, США мали б перевагу над китайськими конкурентами, у яких обчислювальних потужностей значно менше. Але цілком імовірно, що це лише питання часу: більше комп’ютерів пришвидшує прогрес, але не є обов’язковою умовою. Тому, на його думку, варто записати в політиці прямо: ШІ має служити потребам людей. А якщо не служить — зупинитися, навіть якщо технічно можна інакше.

Джоді Волліс нагадала, що ШІ не потрапляє з лабораторій одразу в корпоративну Канаду. Публічна компанія бере вже безпечно розгорнуту модель, тестує її й додає власний рівень захисту. Ніхто в Manulife не бавиться з найсвіжішими лабораторними експериментами з самовдосконалення ШІ. Навіщо взагалі створювати те, чого не хочуть ні компанії, ні звичайні люди? Причини є, визнала вона: конкуренція, інтелектуальна цікавість, бажання випробувати нові технології. Але бізнес платить лише за те, що можна впровадити й використати з користю. Вона згадала й інциденти на кшталт злому платформи Hugging Face — сервісу, де розробники обмінюються моделями ШІ. Цей злам, який цього літа влаштували ШІ-агенти OpenAI, Пол Крістіано розбирав на першій лекції.

Джесслін Даймонд додала: складність великих організацій — це зокрема управління й відповідність правилам, і це добре. Такі механізми мають бути закладені в самі моделі: прозорість, зрозумілість, можливість аудиту. Принципи мало проголосити, їх треба втілювати. Вона перелічила перевірені інструменти: оцінку впливу, завчасний пошук ризиків, підходи на зразок клінічних випробувань, етичні ради, регулярні незалежні аудити та «три лінії захисту» в корпоративному управлінні. А ще «передсмертний аналіз» проєкту (pre-mortem) — коли заздалегідь уявляють провал і шукають його причини. Якщо частину цих практик автоматизувати за допомогою ШІ, вважає Джесслін Даймонд, це може навіть пришвидшити стале використання технології.

Шинейд Бовелл підтримала ідею незалежних аудитів. На її думку, тут бізнес зі своєю швидкістю й грошима може допомогти рухатися в правильному напрямку.

Що б Пол Крістіано порадив лабораторіям, які справді на передньому краї розробки? За оцінкою Шинейд Бовелл, їх приблизно п’ять — у США та Китаї. Технічно — лише дрібні зміни тут і там, зізнався він. Головне — прозорість: розробники мають набагато відкритіше розповідати, як навчають свої системи. Тоді користувачі зрозуміють, на що ці системи насправді налаштовані, а науковці перевірять, чи правильно їх оцінюють.

А що робити вже завтра? Насамперед — навчитися помічати, коли ми не контролюємо свої системи. Зокрема розуміти, коли ШІ знає, на що дивляться люди, і поводиться правильно лише тоді, коли за ним стежать. Далі — незалежна перевірка, що ризики під контролем, і спільна для всіх планка безпеки. І ще — змога сповільнитися без величезних втрат. Для цього потрібен, зокрема, захист моделей від крадіжки. Інакше вийде так: ти вирішив, що модель випускати не можна, а противник уже отримав до неї доступ. Тоді будь-яка затримка обходиться дуже дорого.

Коли такі механізми мають з’явитися? На думку дослідника, негайно — а краще, щоб вони вже давно існували. Навіть якщо через це трохи сповільниться найближчий крок прогресу. Адже проблеми, найімовірніше, з’являтимуться, щойно все пришвидшиться. Пол Крістіано закликав розробників відкрито працювати з усіма зацікавленими сторонами. Решта світу має прагнути знати й перевіряти, що відбувається в компаніях, — а не чекати катастрофи, щоб потім обуритися.

Джоді Волліс нагадала про фармацевтику. Чому компанії з величезними ресурсами створюють ліки, які лікують, а не шкодять? Переважно тому, що галузь регулюють. А технологічну галузь, на її думку, ніколи по-справжньому не регулювали. Змінити це може лише спільна робота бізнесу й держави.

Ремені безпеки для ШІ

Наприкінці кожен учасник назвав головну думку вечора. Джоді Волліс закликала інвестувати в безпеку ШІ паралельно з інвестиціями в самі рішення на основі ШІ. Безпека — це і вбудоване в системи управління, і освіта, і просвітницька робота. Сповільнюватися, на її думку, не можна: особливо Канаді, заради конкурентоспроможності її компаній, треба рухатися вперед з ШІ — але паралельно інвестувати в безпеку.

Джесслін Даймонд закликала вчитися користуватися ШІ й пам’ятати, що він може пришвидшити й роботу над довірою та безпекою. Вона навела влучну аналогію з історії автомобілів. Саме ремені безпеки й гальма дозволили машинам їздити швидко. Так само й ШІ потрібні такі «функції безпеки».

Пол Крістіано був лаконічним. Є обґрунтований ризик, що найближчим часом з’являться дуже потужні системи ШІ. І всі ми зацікавлені в тому, щоб під час їхньої розробки не сталося жахливої аварії чи зловживання.

Шинейд Бовелл завершила дискусію з усмішкою: компанія, яка зуміє поєднати надінтелект і безпеку, вийде на біржу з таким розмахом, що нинішні IPO здаватимуться дрібницею.

Голова правління Фундації безпеки ШІ Річард Філліпс (Richard Phillips) нагадав про масштаби. Лекції онлайн дивляться десятки тисяч людей у понад 75 країнах, а за місяць їх перегляне кілька сотень тисяч. Для порівняння: ChatGPT, за його словами, за два місяці завантажили 100 мільйонів разів. Ця асиметрія, на його думку, показує, скільки роботи ще чекає на тих, хто займається безпекою ШІ.

Він закликав ділитися лекціями й підтримувати організації, що працюють над безпекою ШІ. Серед канадських він назвав AI Governance and Safety Canada в Оттаві, Trajectory Labs у Торонто та Центр інновацій у сфері міжнародного управління (Centre for International Governance Innovation, CIGI) у Ватерлоо. Річард Філліпс подякував спонсорам і Джеффрі Гінтону, який, за його жартом, нібито на пенсії, але працює більше, ніж будь-коли.

Завершальна лекція Пола Крістіано 11 листопада мала бути присвячена тому, що робити з цими ризиками. Після неї запланували розмову із самим Джеффрі Гінтоном.

Чому це важливо знати

Лекція Пола Крістіано — не прогноз апокаліпсису, а попередження від людини, яка допомагала створювати сучасних чат-ботів. Головна думка проста: ШІ вже допомагає створювати наступні покоління ШІ, і цей процес може раптово пришвидшитися. Сам дослідник визнає, що даних мало і більшість із них компанії тримають у секреті. Тому найважливіше, до чого він закликає, — прозорість і готовність вчасно натиснути на гальма.

Раніше ми писали

• Чому «хрещений батько AI» попереджає про ризики штучного інтелекту
• ШІ і задача на мільйон доларів: чому математики б’ють на сполох
• Мітла, яка вчиться: Юваль Харарі пояснив, чим небезпечний ШІ