ChatGPT недопустимо часто ошибался при диагностике детских заболеваний

Свежее исследование, проведенное тремя педиатрами из Нью-Йоркского медицинского центра Cohen Children's, оценило способность ChatGPT диагностировать детские заболевания.

Результаты оказались разочаровывающими: из 100 случайных педиатрических случаев, диагностированных ChatGPT, точность составила всего 17%.

Специалисты подчеркивают, что диагностика детских заболеваний особенно сложна, так как требует учета не только всех симптомов пациента, но и его возраста.

В последние годы все больше людей рассматривают крупномасштабные языковые модели как потенциальный инструмент медицинской диагностики. В рамках исследования были собраны 100 случайных педиатрических случаев для диагностики с помощью ChatGPT.

Для упрощения процесса, исследователи использовали одинаковый подход к каждому случаю, задавая ChatGPT вопросы о «дифференциальной диагностике» и «окончательной диагностике».

Ответы чат-бота оценивались двумя педиатрами, не участвовавшими в исследовании, и классифицировались как «правильные», «неправильные» или «неполные диагнозы».

Из 17 правильных ответов ChatGPT, только 11 имели клиническую связь с правильным диагнозом, но все равно содержали ошибки.

Исследователи заключили, что на данный момент ChatGPT явно не может использоваться в качестве диагностического инструмента, но с более целенаправленным обучением его точность может быть улучшена.