Розбіжності між прогнозами та реальністю

Дослідження охопило 169 учасників — суперпрогнозистів із доведеною точністю передбачень та галузевих експертів. Аналіз 38 питань, які вже мають підтверджені результати, показав системну недооцінку прогресу ШІ:

MATH Dataset (квітень 2024): GPT-4 Turbo досяг результату 87,82%.

• Експерти оцінювали ймовірність такого досягнення у 21,4%
• Суперпрогнозисти — лише у 9,3%

MMLU Benchmark (середина 2024): моделі GPT-4o та Claude 3.5 Sonnet набрали 88,7%.

• Прогноз експертів: 25% ймовірності
• Прогноз суперпрогнозистів: 7,2% ймовірності

Міжнародна математична олімпіада (липень 2025): системи DeepMind та OpenAI досягли рівня золотої медалі.

• Медіанний прогноз експертів: після 2030 року
• Медіанний прогноз суперпрогнозистів: після 2035 року
• Ймовірність досягнення у 2025 році оцінювалася у 8,6% та 2,3% відповідно

Обчислювальні потужності: максимальні обчислення в експериментах зі ШІ перевищили прогнози суперпрогнозистів у п’ять разів.

Ключові висновки дослідження

Звіт виявив кілька важливих закономірностей.

По-перше, різниці в точності між суперпрогнозистами та галузевими експертами практично не було — обидві групи показали майже ідентичні результати.

По-друге, індивідуальні прогнози не перевищували за точністю прості алгоритми екстраполяції трендів. Лише агреговані прогнози («мудрість натовпу») показали статистично значуще покращення точності приблизно на одне стандартне відхилення.

Контекст дослідження заслуговує на особливу увагу: турнір XPT завершився в жовтні 2022 року — за місяць до публічного запуску ChatGPT, який став переломним моментом у сприйнятті можливостей ШІ. Учасники формували свої прогнози без урахування стрімкого прискорення інвестицій та досліджень, що розпочалося після листопада 2022 року. Це пояснює систематичну недооцінку темпів розвитку штучного інтелекту.

Парадоксально, але в галузі кліматичних технологій експерти помилилися в протилежний бік. Вартість виробництва зеленого водню в 2024 році становила 7,50 доларів за кілограм — суттєво вище за медіанні прогнози експертів (3,50 доларів) та суперпрогнозистів (4,50 доларів). Технології прямого уловлювання CO₂ з повітря досягли лише 0,01 мегатонни на рік, що в десятки разів менше за очікувані 0,32–0,60 мегатонни.

Проблема довгострокового прогнозування

Найбільш тривожний висновок дослідження стосується прогнозування довгострокових ризиків. Науковці не виявили статистично значущого зв’язку між здатністю точно передбачати події на 2–3 роки вперед та надійністю оцінок екзистенційних загроз до 2100 року.

Простіше кажучи: експерт, який влучно спрогнозував розвиток ШІ на найближчі роки, не обов’язково краще оцінить ймовірність глобальної катастрофи через десятиліття. Це ставить під сумнів саму можливість довгострокового прогнозування в епоху експоненційного технологічного розвитку.

Автори звіту прямо визнають цю проблему:

«В ідеалі ми хотіли б використовувати точність короткострокових прогнозів як індикатор надійності оцінок довгострокового майбутнього людства. Однак наші дані з турніру XPT показують, що короткострокова точність не корелює з жодною конкретною позицією щодо довгострокових ризиків».

Цей висновок має фундаментальні наслідки для глобального управління ризиками. Якщо навіть найкращі прогнозисти не можуть надійно оцінити довгострокові наслідки розвитку ШІ, суспільство має переглянути підходи до регулювання та контролю цих технологій.

Чому це важливо знати

Для України ці висновки мають практичне значення в кількох аспектах. Передусім, вони підтверджують непередбачуваність темпів технологічного прогресу в галузі ШІ. Це створює як можливості, так і виклики для країни, яка активно впроваджує автономні системи в оборонній сфері.

Українська оборонна промисловість, що швидко адаптує безпілотні технології та системи автоматизованого ухвалення рішень, має враховувати можливість прискореного розвитку ШІ-технологій. Якщо прогрес продовжуватиметься темпами, що перевищують експертні оцінки, це може кардинально змінити характер військових дій уже в найближчі роки.

Крім того, звіт підкреслює важливість гнучкості в стратегічному плануванні. Оскільки навіть найкваліфікованіші експерти не змогли точно передбачити розвиток ШІ на 2—3 роки вперед, довгострокові стратегії мають регулярно переглядатися з урахуванням фактичних темпів технологічного прогресу.

Нарешті, це дослідження вказує на необхідність розвитку власних компетенцій у сфері ШІ. В умовах, коли глобальні тренди важко прогнозувати, країни з розвиненою технологічною базою матимуть перевагу в адаптації до швидких змін. Для України це означає потребу в інвестиціях у освіту, дослідження та розробки в галузі штучного інтелекту.