ChatGPT повторює типові людські помилки мислення
Команда вчених з п’яти університетів Канади та Австралії протестувала моделі GPT-3.5 та GPT-4 від OpenAI щодо 18 поширених когнітивних упереджень (cognitive biases) — і з’ясувала, що ChatGPT демонструє значну схожість з людськими помилками суджень.
У дослідженні підкреслюється, що навіть найсучасніші мовні моделі можуть бути «вражаюче послідовними» у логічних обчисленнях, але все ж не застраховані від хиб, притаманних людському мисленню.
«Менеджери отримають найбільшу користь, використовуючи ці інструменти для завдань, що мають чітке, формульоване рішення (clear, formulaic solution). Але коли мова йде про суб’єктивні або емоційно забарвлені рішення — варто бути обережним», — наголосив провідний автор дослідження Ян Чен (Yang Chen), доцент кафедри операційного менеджменту в Ivey Business School.
Як тестували упередження: методика
Учені перевірили, чи моделі GPT схильні до таких упереджень, як:
- аверсія до ризику (risk aversion),
- упередження підтвердження (confirmation bias),
- ефект володіння (endowment effect),
- ефект «гарячої руки» (hot-hand fallacy),
- надмірна впевненість (overconfidence).
Моделям ставили як класичні психологічні питання, так і бізнес-сценарії з інвентаризації та переговорів з постачальниками. Метою було з’ясувати, чи зберігаються упередження незалежно від формулювання завдання.
GPT-4 показав вищу точність, ніж GPT-3.5, у задачах з чітко визначеним математичним рішенням — наприклад, у питаннях логіки та ймовірностей. Проте в симуляціях із невизначеністю й суб’єктивністю GPT-4 продемонстрував ще більшу схильність до обережних, «безпечних» рішень, ніж середньостатистичні люди.
«GPT-4 показав ще сильнішу перевагу до визначеності (preference for certainty), ніж самі люди», — йдеться у дослідженні.
Упередження — не випадковість, а наслідок логіки
Один із головних висновків — стабільність упереджень незалежно від формулювання завдань. Це означає, що упередження не є результатом попередньо засвоєних прикладів, а вкорінені у самій логіці роботи моделі.
Цікаво, що деякі упередження GPT-4 навіть посилював:
- У тесті на упередження підтвердження модель завжди відповідала упереджено.
- У завданні на ефект «гарячої руки» GPT-4 показав вищу схильність, ніж GPT-3.5.
Водночас GPT змогли уникнути двох важливих людських хиб:
- ігнорування базових ставок (base-rate neglect),
- ефекту невиправданих витрат (sunk-cost fallacy).
Вбудована упередженість: як навчання й фідбек формують помилки ШІ
Дослідники пояснюють, що такі когнітивні схильності ШІ виникають через:
- Дані навчання, які містять людські упередження.
- Механізми fine-tuning (донавчання), де упереджені відповіді часто оцінюються як «більш правдоподібні» (plausible), навіть якщо вони не є логічно правильними.
«Якщо ви хочете отримати точну, неупереджену підтримку в ухваленні рішень — використовуйте GPT там, де довіряєте калькулятору», — резюмував Ян Чен.
У випадках, де рішення залежать від етики, стратегії чи особистих уподобань, необхідний людський нагляд, включаючи зміну формулювання запитів для зменшення упередженості.
«ШІ слід розглядати як працівника, що ухвалює важливі рішення — йому потрібен нагляд і етичні принципи», — додала співавторка дослідження Міна Андіаппан (Meena Andiappan), доцентка кафедри управління людськими ресурсами з McMaster University.
Чому це важливо знати
Дослідження демонструє, що ШІ — не об’єктивний інструмент, а система, що відображає наші власні когнітивні помилки. Це особливо критично для сфер, де ШІ застосовується для ухвалення рішень — у бізнесі, медицині чи державному управлінні.
Небезпека полягає в тому, що, не маючи належного контролю, ми можемо не зменшити упередженість — а масштабувати її.
