• Чому штучний інтелект може бути геніальним і «дурним» одночасно?
  Дослідники з Google та Університету Карнегі-Меллона виявили, що великі мовні моделі «мислять» не як люди, а створюють багатовимірні геометричні карти знань.
• Що показало дослідження про Gemini 3?
  Нова модель Google Gemini 3 демонструє майже людську поведінку в тестах, але може помилятися на простих логічних завданнях через специфічну структуру своєї «пам’яті».
• Як саме ШІ зберігає інформацію?
  Замість таблиць асоціацій моделі будують геометричні когнітивні карти в багатовимірному просторі, де відстані між векторами кодують багатоступінчасті зв’язки між фактами.

Що таке геометрична пам’ять моделей

Традиційно вважалося, що пам’ять у мовних моделях працює як таблиця асоціацій: факт A пов’язаний з фактами B, C, D. Однак дослідження демонструє інший підхід.

Глибокі послідовні моделі, включаючи трансформери, розміщують всі атомарні факти в багатовимірному просторі так, що відстані між векторами кодують не лише прямі зв’язки, а й багатоступінчасті ланцюжки. Складне багатокрокове завдання перетворюється на просту геометричну задачу: яка точка на карті ближче до цілі.

Чому це пояснює суперечливу поведінку ШІ

Gemini 3, найрозумніша модель Google, у бенчмарках та живих демонстраціях часто поводиться майже як людина: розв’язує складні задачі, пише код, працює з мультимодальними сценаріями. Але та сама модель може провалитися на дитячому логічному ребусі.

Там, де геометрична карта добре вивчена, модель здається майже надлюдською — вона миттєво «стрибає» найкоротшим шляхом. Де геометрія викривлена або даних мало, модель робить дивні та очевидно абсурдні кроки.

Як дослідники виявили цю особливість

Науковці досліджували планування на графах path-star — завдання, спеціально створене як складне для моделей, що навчаються методом передбачення наступного токена. На відміну від стандартного підходу, коли граф надається в контексті, дослідники змусили модель запам’ятати структуру графа безпосередньо у своїх вагах.

Результати вразили: на графах з понад 50 000 вузлів як трансформер, так і архітектура Mamba передбачали раніше не бачені шляхи з точністю до 100%. Для порівняння: у контекстних версіях тих самих завдань моделі не справлялися навіть з малими графами.

Часті питання

• Що таке path-star граф?
  Path-star топологія складається з кореневого вузла з кількома розділеними шляхами однакової довжини, що відгалужуються назовні.
• Чому це важливо для розвитку ШІ?
  Геометрична пам’ять кодує глобальні відносини, що може відкрити шлях до комбінаційної креативності: виявлення нових зв’язків між інформацією в великому наборі даних попереднього навчання.

Що показав аналіз Node2Vec

Щоб краще зрозуміти механізм, дослідники проаналізували простіші одношарові моделі Node2Vec, де асоціативна пам’ять архітектурно неможлива. Вони виявили спектральне зміщення: навчені вбудовування збігаються з найважливішими власними векторами негативного лапласіана графа.

Іншими словами, в моделі Node2Vec із матрицею вбудовування V матриця коефіцієнтів C містить ті самі вектори у своєму нульовому просторі. Примітно, що розмір вбудовування може навіть перевищувати кількість вузлів графа. Це означає, що спектральне зміщення виникає природно, без жодних штучних обмежень чи припущень.

Чи можливий людиноподібний AGI

Можливо, нам не судилося створити повністю людиноподібний AGI. Причина — у фундаментальній відмінності: простір досвіду та пам’яті у людей та ШІ має різну розмірність і геометрію. Ця прірва може виявитися глибшою, ніж відмінність між нами та мешканцями уявного двовимірного світу.

Чому це важливо знати

Геометричне подання пам’яті може надихнути дослідників переглянути базові підходи до роботи зі штучним інтелектом: від способів отримання та зберігання знань до їх виявлення та видалення. Розуміння того, як саме ШІ «мислить», допоможе створювати ефективніші, передбачуваніші та безпечніші системи штучного інтелекту.