В чем опасность «кризиса переносимости» нейросетей

Системы искусственного интеллекта, обученные для распознавания видов животных или диагностики на основе медицинских изображений, обычно считаются универсальными инструментами, обладающими способностью легко адаптироваться к различным условиям, подобно экспертам-человекам.

Тем не менее, мнения ученых по этому поводу не всегда разделяются. Специалисты из Университета Эксетера подчеркивают, что в экологии и смежных науках возникает «кризис переносимости» моделей машинного обучения, то есть их неспособность функционировать вне тех условий, в которых они были обучены.

Проблема заключается в том, что большие языковые модели показывают высокую эффективность только в тех условиях, на которых они были натренированы. Как только меняется окружающая среда, освещение или тип объектов на изображениях, точность работы моделей значительно снижается. Например, модель, обученная распознавать домашних кошек по стоковым фотографиям, может показывать отличные результаты на тестах с другими стоковыми изображениями, но это не гарантирует ее эффективность при обнаружении кошек в дикой природе, как объясняет автор исследования, доктор Томас О’Ши-Уэллер.

Учёные также выражают беспокойство по поводу оценки моделей. Стандартные тесты производительности, известные как бенчмарки, зачастую основаны на произвольных категориях изображений и не отражают реальных задач, с которыми сталкиваются нейросети. Тем не менее, именно на основании этих тестов делаются смелые заявления о том, что новая модель не уступает человеку или даже превосходит его. «Несмотря на свою репутацию “золотого стандарта”, тесты производительности не обеспечивают адекватного представления о подлинных возможностях ИИ-моделей», — подчеркивает О’Ши-Уэллер.

Сложность ситуации усугубляется еще одной особенностью: когда модель ошибается, она не уведомляет об этом пользователя. Например, в случае идентификации видов животных можно столкнуться с системой, которая демонстрирует плохие результаты, но выглядит при этом весьма уверенно. Другими словами, ИИ может ошибаться, не вызывая у пользователя сомнений в корректности своих выводов, как отмечает соавтор работы Кэти Мюррей.

Эксперты указывают на то, что проблема заключается не в самой технологии, а в том, как она используется. В экологии некорректная работа ИИ может нанести серьезный ущерб процессу мониторинга видов и охране природы, а в медицине цена ошибок нейросетей еще выше: на них лежит ответственность за здоровье и жизнь пациентов. «Самое опасное в этом — то, что сбои моделей часто становятся очевидными только после того, как их неверные выводы уже причинили значительный вред», — предупреждает О’Ши-Уэллер.

Авторы исследования призывают с осторожностью относиться к интерпретации результатов бенчмарков и не использовать их для оценки универсальных возможностей моделей. Единственный надежный способ оценить, как модель будет работать в действительности, — это протестировать ее в конкретных условиях реального применения.