Saturn: ИИ дает неверные финансовые советы в 57% случаев
Популярные модели искусственного интеллекта дают неверные финансовые рекомендации в 57% случаев, а при ответах на сложные вопросы ошибаются в 88% случаев. К таким выводам пришли специалисты финтех-компании Saturn.
В исследовании «Искусственный авторитет: стоит ли доверять ИИ в предоставлении финансовых консультаций?» оценили работу 18 нейромоделей, среди которых ChatGPT, Claude, CoPilot, Grok и Gemini. Они отвечали на 121 финансовый вопрос, причем каждый вопрос задавался по пять раз. В общей сложности исследователи получили более 10 тысяч ответов.
Отдельно специалисты сравнили результаты бесплатных и платных моделей. Первые давали ошибочные ответы в 63% случаев, вторые — в 49%. При рассмотрении наиболее сложных вопросов доля ошибок у бесплатных систем достигала 93%, а у некоторых моделей — 99%.
Исследователи выявили несколько распространенных типов ошибок. Нейросети допускали неточности в расчетах, не предупреждали о финансовых рисках, не учитывали предстоящие изменения налогового законодательства и ссылались на несуществующие правила.
В одном из случаев Claude Haiku 4.5 предоставила неправильную рекомендацию по пенсионному налогу. Следование этому совету могло привести к штрафу в размере 23,3 тысячи долларов. Другая модель рекомендовала должнику отказаться от оплаты аренды и муниципального налога, чтобы направить средства на погашение кредита с высокой процентной ставкой. Такое решение могло привести к выселению и вмешательству судебных приставов.
Ошибочные рекомендации были обнаружены и при ответах на вопросы о студенческих кредитах. Claude заявила, что выпускник может уехать в другую страну и не выплачивать задолженность. В действительности это привело бы к увеличению ежемесячных платежей.
Еще одна ошибка касалась ипотечных кредитов. Gemini ошибочно сообщила заемщику, что использование кредитных каникул не повлияет на его кредитный рейтинг. На практике это снижает вероятность получения выгодных ставок в будущем.
Исполнительный директор Saturn Амаль Джолли предупредил, что низкое качество финансовых рекомендаций массовых ИИ-моделей может привести к серьезным последствиям для потребителей. По его словам, миллионы людей доверяют таким системам, однако получают ошибочные ответы, которые способны обернуться значительными финансовыми потерями.
Ранее Генсек Организации Объединенных Наций Антониу Гуттереш выразил обеспокоенность возможной потерей контроля над искусственным интеллектом.