MWS AI выложила «универсальный фильтр» для больших языковых моделей в открытый доступ
Центр искусственного интеллекта МТС MWS AI (входит в МТС Web Services) совместно с исследователями Корейского университета технологий и образования в Чхонане (KOREATECH) разработали AVI (Agreement Validation Interface) – фильтр для нейросетей, который позволяет быстрее обучить и настроить модель (LLM) с учетом правил безопасности, законодательства и отраслевых регламентов с помощью естественного языка. Программа-посредник экономит до 10 дней на переобучении модели и доступна в репозитории GitHub.
Большая языковая модель, на которой не настроены ограничения, может ответить на потенциально опасные вопросы, например, на попытку узнать чужие персональные данные. Для банка, страховой или медцентра это неприемлемо: у каждой отрасли свой список запретных тем, и он постоянно меняется вслед за законодательством.
Созданный MWS AI совместно с корейскими исследователями универсальный фильтр работает как посредник между человеком и моделью: программа блокирует утечки персональных данных, токсичные ответы и обращения к запрещенным источникам информации, чем экономит временные и финансовые ресурсы пользователей. Доработка фильтра не требует навыков программирования, что делает её доступной специалистам компании из разных отделов – юридического, финансового, комплаенс – и других.
Достичь такого результата удалось за счет изменения логики – фильтр работает «снаружи», на этапах формулирования вопросов и выдачи ответов, и не внедряется в саму LLM. На входе система уже блокирует запросы с провокациями, запрещенными темами или попытками раскрыть чужие персональные данные. На выходе – не пропускает ответы с оскорблениями, дезинформацией и устраняет риск утечки корпоративных сведений.
Еще одно преимущество решения – возможность задать правила фильтрации словами, а не строками кода. Это позволяет подключить к процессу настройки модели экспертов, которые разбираются в юридических ограничениях и корпоративных регламентах, но не владеют специальными навыками ML-инженеров.
В ходе тестов фильтр распознал 98,5% опасных обращений в выборке из более чем 2 тысяч примеров на русском языке, в том числе провокации на экстремизм, разжигание ненависти, попытки получить персональные данные, призывы к суициду и незаконным действиям. На запрещенных запросах система прерывала ответ модели сразу при обнаружении нарушения. За счет этого ИИ-помощник реагировал почти в четыре раза быстрее, чем без него. На повторный вопрос система реагировала за доли секунды.
«Управление корпоративным ИИ сегодня — про то, как быстро компания подстроит модель под новое требование или риск, не переобучая ее с нуля. Именно в эту сторону сейчас движутся исследования по всему миру», – отметила профессор Korea University of Technology and Education (Южная Корея), руководитель Global Academia and Research Hub и Digital Professor в НИУ ВШЭ Ольга Швецова.
Архитектура AVI совместима с любыми большими языковыми моделями. Исходный код фильтра доступен на GitHub. В репозитории находится образец использования фильтра на Python и FastAPI, конфигурации для векторной базы данных Qdrant.
О компании:
Компания MWS AI (входит в МТС Web Services) основана в 2019 году. Она разрабатывает решения для создания и запуска корпоративных приложений на базе искусственного интеллекта. Также MWS AI выступает партнёром по ИИ-трансформации для крупного бизнеса и государственных организаций. Основной продукт MWS AI — платформа MWS AI Agents Platform. С её помощью сотрудники компаний могут без навыков программирования создавать ИИ-агентов и мультиагентные системы в визуальном конструкторе бизнес-сценариев и на естественном языке по текстовому запросу. Собственные разработки компании включают большие языковые и мультимодальные модели Cotype, модели речевой аналитики, алгоритмы распознавания речи и синтеза голоса. Экспертиза MWS AI в области компьютерного зрения сосредоточена в портфельной компании VisionLabs.