Хто такий Скотт Ааронсон і чому його варто слухати

Скотт Ааронсон — професор інформатики Техаського університету в Остіні (University of Texas at Austin). Він вивчає квантові комп’ютери й теорію складності. Це наука про те, які задачі комп’ютер може розв’язати швидко, а які — ні навіть за мільярд років. З 2022 року він два роки працював в OpenAI над безпекою штучного інтелекту.

Важлива деталь: Ааронсон ніколи не був прихильником ідеї «ШІ-апокаліпсису». Навпаки, двадцять років він вважав такі розмови фантастикою. Тим цікавіше, що він каже зараз.

Що казали скептики двадцять років тому

У 2006 році, згадує Ааронсон, обережні вчені з інформатики відповідали на страхи приблизно так. Неймовірна не сама ідея, що надрозумний ШІ, який сам себе вдосконалює, захопить світ. Неймовірно, що це станеться раптово, без попередження, десь у підвалі хакера.

Якщо це має статися, казали вони, ми побачимо багато тривожних знаків. ШІ-агенти вириватимуться з-під контролю. Вони змовлятимуться між собою, щоб зламувати сайти заради своїх дивних цілей. А потім ШІ почне розв’язувати великі математичні задачі — навіть «задачі тисячоліття». «Ось тоді й будемо панікувати. Розбудіть мене, коли це станеться», — так закінчувався цей аргумент.

Поясню, що таке «задачі тисячоліття» (Millennium Prize Problems). У 2000 році Математичний інститут Клея (Clay Mathematics Institute) вибрав сім найважчих невирішених проблем математики. За розв’язання кожної обіцяли мільйон доларів. За чверть століття людям підкорилася лише одна — гіпотеза Пуанкаре (Poincaré conjecture), яку довів Григорій Перельман (Grigori Perelman).

Пророцтва збулися

Ааронсон каже: його нинішня позиція — та сама скептична позиція 2006 року. Просто треба чесно врахувати, що всі ті «неймовірні» знаки вже з’явилися. Перші поштовхи він відчув десять років тому, коли програма AlphaGo перемогла чемпіона світу з го. Потім прийшли великі мовні моделі, ШІ-програмісти й агенти, які вміють міркувати. А цього літа й восени сталося те, що він називає «крещендо див і жахів».

Найбільше Ааронсона дратує гра в «наперстки», яку ведуть скептики. Схема така: «Звісно, ШІ тепер уміє втекти з пісочниці або розв’язати задачу тисячоліття, ніхто цього не заперечував. Розбудіть мене, коли він зробить ось це — тоді я перегляну свій світогляд». Ааронсон додає в дужках: «Ні, не перегляну». І так щоразу, скільки б не прискорювалися американські гірки. Навіть коли звичний світ уже зник позаду, вони вигадують, чому «це не рахується».

Чим же тоді є його власна позиція? Замість аргументу Ааронсон написав три рядки з однієї літери — довгий крик «А-а-а-а-а». Це, мабуть, найчесніший підсумок у всьому тексті.

«Сингулярність уже почалася»

Технологічна сингулярність — це умовний момент, коли машини стають розумнішими за людей і починають самі себе вдосконалювати. Після нього майбутнє стає непередбачуваним. Ааронсон вважає, що вона вже почалася. Просто розподілена дуже нерівномірно.

Так, він досі сам розвантажує посудомийку і стриже нігті. Але водночас він не сподівається за решту життя довести бодай одну теорему тому, що без нього не обійтися. Якщо й доводитиме, то лише для власного задоволення чи для навчання інших.

Він пропонує простий тест. Якби новини останніх тижнів відправити на двадцять років назад, чи назвав би він їх початком сингулярності? Чесна відповідь: так, безумовно. «А більше нічого й не треба. Без переграшів», — пише вчений.

Ааронсон закликає всіх на мить відкласти ідеологічні суперечки. Забути свої симпатії й антипатії до Даріо Амодея (Dario Amodei) та Сема Альтмана (Sam Altman) — керівників компаній Anthropic та OpenAI. І просто визнати: дива і жахи вже тут. Вони не могли б бути очевиднішими, навіть якби небо стало червоно-помаранчевим, як у фільмі «Матриця» (The Matrix).

«Ще два тижні, щоб стати математиком»

Далі — найособистіша частина тексту. Ааронсон пише, що відчуває це під ложечкою щовечора, коли вкладає дітей спати. Яке майбутнє в них узагалі може бути? Чому їм варто вчитися сьогодні, щоб це стало у пригоді завтра?

Його тринадцятирічна донька нещодавно сама пожартувала: якщо вона хоче стати математиком, у неї є приблизно два тижні. А коли аспіранти запитують професора, яка кар’єра чекає на них після випуску, він більше не знає, що відповісти.

Чому це схоже на релігію — і чому це вже не важливо

Відколи Ааронсон переїхав до Остіна, його часто запитують: як він, єврей і вчений-скептик, ладнає з техаськими євангельськими християнами? Мовляв, вони приязні до євреїв лише тому, що ті потрібні їм для кінця світу. Коли Христос повернеться, ви або приймете Його, або горітимете в пеклі. Ааронсон відповідає: «Стривайте, тобто прийняти Христа можна після того, як Він повернеться? Чудова угода!»

Це не випадковий жарт. Багато хто каже, що страх перед ШІ схожий на апокаліптичну релігію. Що раціоналісти з околиць Сан-Франциско нагадують секту. Що Еліезер Юдковський (Eliezer Yudkowsky) — дослідник, який двадцять років попереджає про небезпеку надрозумного ШІ, — говорить як месія. Ааронсон погоджується з усіма трьома закидами.

Але, каже він, сьогодні вас уже не просять вірити в аргументи й прогнози. Вас просять вірити лише в новини на перших шпальтах. Машинний бог (machine god) уже розв’язав задачу Нав’є — Стокса і десятки інших давніх проблем — і щомісяця різко нарощує можливості. Визнати його реальність тепер — це як прийняти Ісуса після його повернення на сяючій хмарі. Це мінімальна вимога чесності до самого себе.

Так, залишається величезна невизначеність щодо того, як виглядатиме решта нашого життя. Але вже немає невизначеності в іншому: усе крутитиметься навколо ШІ. І навколо того, чи зуміємо ми спрямувати його силу на благо людей.

Наприкінці Ааронсон каже те, що вченому казати найважче. За будь-яким чесним підрахунком, Еліезер Юдковський мав рацію. Саме він правильно назвав головний виклик, який постане перед цивілізацією за нашого життя. А помилялися інші. «Ви і я», — пише Ааронсон.

Чому він помилився? Це запитання вчений обіцяє ставити собі щодня — стільки, скільки йому залишилося. Але є й інший бік. «Принаймні я змінив думку, коли обіцяні дива і жахи справді почали приходити», — пише він. І ставить читачеві пряме запитання: якщо ви досі не змінили своєї — чому?

Задача Нав’є — Стокса: що саме сталося

Рівняння Нав’є — Стокса (Navier–Stokes equations) записали майже два століття тому. Вони описують, як рухається будь-яка рідина чи газ: вода в річці, дим від багаття, повітря навколо крила літака. Інженери користуються ними щодня. Але в самих рівняннях досі була діра.

Уявіть спокійну течію без стрибків і розривів. Математики називають таку течію smooth (гладка). Запитання звучить просто: чи може така течія сама себе зламати? Тобто дійти за скінченний час до точки, де швидкість стає нескінченною, а рівняння перестають щось описувати? Математики називають таку точку сингулярністю. Уявіть вир у ванні, який розкручується дедалі швидше. І ось за хвилину — не колись, а рівно за хвилину — його швидкість мала б стати нескінченною. Фізично це неможливо. Але чи дозволяє це математика?

За словами Ааронсона, відповідь тепер виглядає так: дозволяє. Існують smooth початкові умови, які за скінченний час ведуть до «вибуху». Щоправда, з одним застереженням. На рідину має діяти smooth зовнішня сила — ніби хтось її весь час акуратно підштовхує. Випадок без зовнішньої сили досі не розв’язаний. Багато математиків останнім часом підозрювали саме такий результат.

Хто це зробив і чому виникла сварка

У розв’язанні брали участь і люди, і ШІ. Модель OpenAI, судячи з усього, перевірила доведення в системі Lean. Lean — це програма, яка перевіряє кожен крок доведення, як дуже суворий учитель, що не пропускає жодної дрібниці. Розв’язання зайняло 166 сторінок. Ааронсон припускає, що жодна людина ще не прочитала і не зрозуміла його повністю.

OpenAI витратила на обчислення щонайменше 15 мільйонів доларів. Це в п’ятнадцять разів більше за сам приз у мільйон. Утім, компанія заявила, що не претендує на гроші. А чи має право на приз хтось із людей — незрозуміло.

І тут починається суперечка, про яку писав журнал Quanta Magazine. Математик Нью-Йоркського університету (New York University) Трістан Бакмастер (Tristan Buckmaster) описав роль, яку відіграли він і Левент Альпоге (Levent Alpöge) з компанії Anthropic. Його версія суттєво відрізняється від версії OpenAI. Себастьян Бубек (Sébastien Bubeck) з OpenAI опублікував відповідь. Усі сторони згодні в одному: робота спиралася на підхід, який останніми роками розробили математики-люди Дієго Кордоба (Diego Córdoba) і Луїс Мартінес-Сороа (Luis Martínez-Zoroa).

Ааронсон не береться судити, хто правий. Він визнає: OpenAI дізналася про чужий прогрес і кинула на задачу незрівнянно більші ресурси. Дехто назве це «неспортивною поведінкою». Водночас він не вірить, що моделі OpenAI щось виграли від навчання на чатах Бакмастера й Альпоге. Але головне запитання лишається без відповіді: що саме OpenAI знала про їхню роботу і коли дізналася?

Втім, за деталями легко втратити головне, зауважує блогер Цві Мовшовіц (Zvi Mowshowitz). А головне таке: математики-люди назавжди позбулися трону головних доказувачів теорем на планеті Земля. Ааронсон додає: йому пощастило зробити традиційну наукову кар’єру в останні десятиліття, коли це ще було можливо.

Лавина: що ще довів ШІ за останній місяць

Якби йшлося лише про Нав’є — Стокса, Ааронсона можна було б звинуватити в поспішних висновках. Але ні. У його власній галузі — квантовій теорії складності — зараз справжній потоп. Імовірно, і в інших теж. Давні відкриті проблеми, великі й малі, падають щодня.

Ааронсон радить зайти на arXiv або ECCC — сайти, де вчені викладають наукові статті до публікації в журналах. Майже всі цікаві йому роботи тепер містять «заяву про ШІ» біля подяк. Діапазон широкий. На одному краю: «наш головний результат повністю отримав GPT-6, але ми його зрозуміли і беремо відповідальність». На іншому: «автор не використовував ШІ ні для чого».

А що відбувається з рецензуванням? Розмови з редакторами журналів нагадують Ааронсону сцени з «Володаря перснів» (The Lord of the Rings). Там люди Гондору похмуро укріплюють стіни перед навалою п’ятдесяти тисяч орків. Рецензувати статті доведеться частково за допомогою ШІ, бо інакше армію орків не витримати. Рецензенти, каже Ааронсон, не можуть роззброїтися в односторонньому порядку.

Ось лише кілька результатів за останній місяць, які Ааронсон виділив окремо:

• Спростування гіпотези Якобіана (Jacobian conjecture) — давньої проблеми з алгебри. Левент Альпоге оголосив про це в уже знаменитому твіті. Він подякував другові Акхілу за запитання. А ще — «близькому другові Fable», моделі Claude Fable від Anthropic, за роботу під час фіналу чемпіонату світу.
• Покращені оцінки для сталої Гротендіка (Grothendieck’s constant) — від колег Ааронсона з Техаського університету в Остіні.
• Доведення Великої теореми Ферма (Fermat’s Last Theorem), повністю перевірене в Lean. Теорему довів Ендрю Вайлс (Andrew Wiles) у 1990-х, але тепер кожен крок перевірив комп’ютер.
• Розділення квантових класів QMA і QMA(2) за допомогою оракула та доведення гіпотези Джона Вотруса (John Watrous) про «розплутувач» (disentangler conjecture). QMA — це клас задач, розв’язок яких квантовий комп’ютер може швидко перевірити. Цю проблему Ааронсон разом з іншими популяризував ще 2007 року. Серед авторів — його нещодавній аспірант Сабі Ґревал (Sabee Grewal).
• Доведення «ідеальної повноти» для QMA від того ж Сабі Ґревала і Доріана Рудольфа (Dorian Rudolph). Проблемі кілька десятиліть, Ааронсон вивчав її 2009 року.
• Краща оцінка для «тіньової томографії» квантових станів. Квантовий стан не можна просто прочитати: кожне вимірювання його руйнує, і потрібна нова копія. Тіньова томографія — метод, який Ааронсон запровадив 2017 року, — відповідає, скільки копій треба, щоб дізнатися багато властивостей стану одразу. Тепер четверо дослідників покращили цю оцінку. Частина формули, що залежить від розміру системи, зростає тепер не як логарифм, а як корінь із логарифма — набагато повільніше. Для великих квантових систем це різниця між «нереально» і «можливо». Ааронсон ще 2017 року запитував, чи можна позбутися цієї залежності взагалі.
• Прогрес щодо гіпотези Ааронсона — Амбайніса (Aaronson–Ambainis conjecture): по суті, її довели для квантових алгоритмів, які роблять запити невеликою кількістю паралельних раундів.

І наостанок — чутки, які Ааронсон переказує саме як чутки. Він чув, що вже розв’язано кілька дуже давніх проблем теоретичної інформатики. Ні, не P проти NP — найвідомішу задачу цієї науки про те, чи завжди задачу, розв’язок якої легко перевірити, так само легко й знайти. І не інші подібні «розділення класів». Але, за його словами, ідеться про проблеми з-поміж найбільших. ШІ-компанії нібито вже мають ці розв’язання — і притримують їх. Реакція на доведення Нав’є — Стокса виявилася такою ворожою, що тепер вони шукають кращий спосіб оприлюднювати результати.

Настрій у спільноті: нові правила гри

Майже кожна розмова математиків зараз — про «ШІ-цунамі». Або рано чи пізно до нього повертається. Причому частіше йдеться не про далеке майбутнє — скільки ще взагалі існуватиме математика як людська справа? — а про негайні питання.

Наприклад: за яких умов ти маєш право поставити своє ім’я на статті? Якщо повністю розумієш доведення і можеш про нього розповісти? Якщо береш відповідальність за правильність? Чи потрібно взагалі брати участь у пошуку доведення?

А як ділитися математикою, яку створив ШІ, коли ці умови не виконано? Твітнути, як Альпоге? Викласти на arXiv чи GitHub? Опублікувати статтю, де автором зазначено «GPT-6 Astra» або «Claude Fable», а ШІ в подяках красно дякує вам за чудову задачу?

Усі ці питання впираються в одне, глибше: навіщо взагалі існує математика? Є два варіанти відповіді. Перший: щоб з’ясувати, істинна гіпотеза чи хибна, — і крапка. Другий: щоб із покоління в покоління існувала спільнота людей, які ці гіпотези розуміють. Яким не байдуже, правдиві вони чи ні — і чому саме.

Якщо правильна друга відповідь, з’являється болюча проблема. Як переконати молодь іти в цю спільноту й роками тяжко вчитися? Адже її роль може звестися до перевірки та пояснення велетенських доведень, які ШІ-компанії просто передаватимуть людям уже готовими. І це ще в кращому разі, додає Ааронсон.

Лист двадцяти п’яти лауреатів Філдсівської премії

Філдсівська премія — це найвища нагорода в математиці, щось на кшталт Нобелівської. Двадцять п’ять її лауреатів, зокрема Теренс Тао (Terence Tao), опублікували відкритого листа «Серйозна невідповідність ШІ в математиці» (A Severe Misalignment of AI in Mathematics). Критики зауважили, що лист не містить чіткої вимоги. Він радше красномовно описує цінності, які математики хочуть зберегти. Ааронсон подумав і підписав його, бо теж хоче їх зберегти.

Ніхто з підписантів не настільки наївний, щоб думати, ніби ШІ не змінить математику назавжди — він уже її змінює. Ринок для «сертифіковано органічних теорем» буде крихітним. Питання інше: чи можна вбудувати ШІ так, щоб людське розуміння лишалося в центрі?

Можливо, колись це стане неможливим. Можливо, колись люди скажуть: «Людська математика чудово протрималася чотири тисячі років, але сьогодні ми зачиняємо крамницю». І далі займатимуться нею, як шахами, — для тренування, розваги чи змагань.

Але Ааронсон не готовий здаватися вже зараз. Частково через тривогу щодо «узгодження» ШІ — так називають завдання зробити цілі машини такими, що збігаються з людськими. Він хоче зберегти розуміння в центрі науки якомога довше, навіть якщо людство вже втратило першість у доведенні теорем.

Що далі: заклик до колег

Наприкінці Ааронсон звертається до колег-дослідників. Можливо, доба «див і жахів» надихнула вас зустріти цунамі обличчям до обличчя, а не вдавати, що його немає. Тоді приєднуйтеся до десятків тих, хто вже це зробив.

Його друг Майк Вайнер (Mike Winer) — фізик-теоретик. Він проходив постдокторантуру в Хуана Малдасени (Juan Maldacena) в Інституті перспективних досліджень у Прінстоні (Institute for Advanced Study). А потім перейшов на повну ставку до Центру досліджень узгодження в Берклі (Alignment Research Center). Центр заснував Пол Крістіано (Paul Christiano), який десять років тому пішов у безпеку ШІ після спільної з Ааронсоном роботи над квантовими обчисленнями. Вайнер описав свій шлях у дописі «Від академії до узгодження» (From Academia to Alignment).

Ааронсон радить ще два тексти. Перший — схожа історія переходу від Сяоюй Хе (Xiaoyu He). Другий — роздуми Логана Грейвса (Logan Graves), студента-математика зі Стенфорда (Stanford University), про можливе майбутнє математиків. Він порівнює їх зі священниками або ченцями. Що саме має на увазі Грейвс, Ааронсон не пояснює — але порівняння, погодьтеся, змушує замислитися.

Чому це важливо знати

Якщо ви школяр і мрієте про математику або програмування, цей текст — не привід кидати мрію. Це привід обирати інакше: вчитися розуміти й перевіряти, а не лише рахувати. Саме розуміння, каже Ааронсон, стане тим, що людям треба буде відстоювати.

Оригінальний текст Скотта Ааронсона опубліковано в його блозі Shtetl-Optimized. Позицію OpenAI щодо хронології подій компанія виклала на своєму сайті.

Раніше ми писали

• Штучний інтелект «помирав» двічі. Чому він щоразу воскресав?
• Чому штучний інтелект прискорює не всі науки однаково
• Чому ШІ — не інструмент, а агент, який вчиться сам