ИИ идеально симулирует людей, но ошибается в главном
«Исследование показывает, что большие языковые модели (LLM) могут хорошо воспроизводить описательные паттерны в поведенческих симуляциях, но дают ненадежные оценки причинных эффектов от вмешательств.»
Стоп, что?
ИИ — гениальный имитатор, но никудышный предсказатель.
Представьте, что вы создаёте идеального цифрового двойника для теста новой рекламы или соцопроса. Он говорит как вы, думает как вы. Но если показать ему убедительный ролик про экологию, он не сможет точно сказать, купите вы экомешок или нет. Потому что между «знать» и «делать» — пропасть.
Исследователи проверили три большие языковые модели (ИИ вроде ChatGPT) на 11 реальных психологических экспериментах. Данные взяли у 59 508 человек из 62 стран.
Что ИИ делает блестяще:
- Воспроизводит установки людей: например, как разные группы относятся к изменению климата или поддерживают политику.
- Чем лучше его «натаскивают» (промптинг), тем точнее этот портрет.
Где ИИ проваливается:
- Предсказывает последствия вмешательств (эффект). Если в реальности разговор менял поведение людей на 10%, ИИ мог ошибиться в разы.
- Сильнее всего ошибается с поведением. ИИ считает, что если человек изменил мнение, он сразу изменит и действия. В жизни так не работает — все знают про ЗОЖ, но не все ему следуют.
- Не видит разницы в логике. Вмешательства, которые апеллируют к личному опыту (например, «представьте будущее ваших детей»), ИИ предсказывает хуже, чем те, что просто дают факты или социальные сигналы.
Главный вывод: Хорошая имитация (описательная точность) не гарантирует правильных предсказаний причинно-следственных связей. Страна или группа, которую ИИ отлично «описывает», может оказаться той, где его прогнозы о последствиях действий будут самыми неточными.
Что это значит для вас
Значит ли это, что доверять ИИ-симуляциям для тестирования политик, рекламы или соцпрограмм — это как наливать бетон по карте, нарисованной ребёнком?