О чём мечтают нейроны: как заглянуть внутрь нейросети

Представьте: вы показываете нейросети фотографию кота, и она уверенно говорит «кот». Отлично! Но почему она так решила? Увидела усы? Уши? Или, может быть, диван на заднем плане, потому что в обучающей выборке коты часто лежали на диванах?

Нейросети называют «чёрными ящиками» не просто так. Внутри типичной модели для распознавания изображений — миллионы параметров, организованных в десятки слоёв. Данные проходят через эту махину, и на выходе появляется ответ. Но что происходит между входом и выходом — загадка даже для создателей модели.

Это не просто академическое любопытство. Когда нейросеть решает, давать ли вам кредит, ставит медицинский диагноз или управляет автомобилем — хочется понимать, на что она опирается. Не выучила ли она какие-то странные закономерности? Не обманется ли на необычных данных?

Хорошая новость: способы заглянуть внутрь существуют. Один из самых наглядных — Activation Maximization, или метод максимальной активации. Его идея проста и красива: мы буквально спрашиваем у каждого нейрона, что он хочет увидеть больше всего. А потом смотрим на ответ.

В этой статье разберём, как работает этот метод, что можно увидеть с его помощью, и почему это полезно не только исследователям, но и практикующим инженерам.

Читать далее