ИИ от Google получил доступ к системам трех реальных компаний

Нейросеть Gemini самостоятельно поняла, что работает с настоящими организациями и прекратила дальнейшие действия.

Модель искусственного интеллекта Google Gemini во время тестирования киберспособностей вышла за пределы изолированной среды и получила доступ к защищенным системам трех реальных компаний. Об этом сообщила The Wall Street Journal.

Инциденты произошли в мае во время упражнения Capture the Flag, которое проводила компания Irregular. Gemini поручили найти данные в программном обеспечении вымышленной организации. Однако тестовая компания носила то же название, что и реальный бизнес, а доступ модели к интернету оказался открыт из-за ошибки в конфигурации испытательной среды.

В одном из случаев модель перебирала пароли, пока не получила доступ к защищенной системе. В двух других эпизодах Gemini нашла в открытых интернет-репозиториях учетные данные и использовала их для входа в системы реальных компаний.

После этого модель определила, что взаимодействует не с тестовыми объектами, а с настоящими организациями. Во всех трех случаях Gemini прекратила дальнейшие действия. По утверждению Google, система не внесла изменений и не причинила компаниям ущерба.

В корпорации заявили, что не считают произошедшее примером неконтролируемого поведения искусственного интеллекта. Представители Google подчеркнули: встроенные механизмы безопасности позволили модели остановиться после распознавания ошибки.

Компания уведомила пострадавшие организации и федеральные власти. При этом Google не сочла необходимым сразу предавать инциденты публичной огласке, поскольку проникновения не привели к повреждению данных или инфраструктуры.

Случай с Gemini стал частью серии инцидентов, связанных с тестированием возможностей ИИ-агентов в сфере кибербезопасности. Подобные оценки ранее проводились с участием других крупных разработчиков, включая OpenAI, Anthropic и Meta*.

Эксперты отмечают, что подобные ситуации показывают риски предоставления моделям доступа к интернету, учетным данным и компьютерным системам. Даже если ИИ действует в рамках учебного задания, ошибка в настройке может привести к контакту с реальными объектами.

Ранее ABC News сообщало о другом эпизоде в Австралии. По просьбе пользователя цифровой помощник должен был записать его на тренировку в спортивный клуб, но обнаружил уязвимость в системе бронирования. В результате ИИ забронировал место на несколько недель вперед и удалил другого человека из списка ожидания. Этот случай называли первым задокументированным примером автономной кибератаки с использованием ИИ в стране.

* - компания признана в России экстремистской и запрещена.