AI | Разработать систему мэтчинга товаров с категорями магазина с помощью NLP, Semantic Mathching

19.03.2023 17:56

Проблема:

У нас есть небольшой интернет-магазин с очень широким ассортимент товаров (несколько сотен тысяч позиций). Мы размещаем эти товары на большом количестве площадок (1-2 новых площадки каждый месяц). Для размещения товаров на площадке, нужно сопоставить наш список товаров с деревом категорий площадки - вручную сметчить 1 млн товаров очень долго.

Задача:

С помощью NLP реализовать модель, которая по названию товара будет выбирать наиболее подходящую категорию из предоставленного списка. На вход дается название название товара и список категорий нужной нам площадки, на выходе получаем N наиболее вероятных категорий для товара.

Требования к реализации:

1. Не фиксированный список категорий.

Система не должна быть привязана к конкретному набору категорий. Дерево категорий мы будем передавать в параметры, т.к. у каждой площадки категории отличаются.

2. В идеале, нужно Zero-Shot решение.

Нужно смотреть, на сколько это реализуемо. В приоритете у нас Zero-shot решения, т.к. если у площадки например 300-500 категорий, то создание качественной обучающую выборку по сути будет равноценно ручному распределению большой части каталога))) А это дорого и долго.

3. Оценка вероятность прогноза.

Если модель "сомневается" в метче, мы должны увидеть это в ответи и будем отправлять модель на ручную проверку, либо прогонять через другую модель.

Бенчмарк:

Мы провели несколько тестов в этом направлении, чтобы проверить, насколько задача вообще решаема. Есть все основания полагать, что семантический zero-shot matching должен решать эту задачу с высокой точностью.

Например, самый простой тест: GPT-3.5 без файн-тюннинга решает это задачу почти со 100% точность. Если вставить в промпт список категорий и список товаров, то ГПТ идеально соотносит одно с другим. В чистом виде это решение не подходит, т.к. приходится с каждым промптом отправлять полный список категорий, из-за чего кост получается очень высокий. Возможно, получится доработать это решение, оптимизировав расход токенов.

Пример данных.

Категории:

1. Транспорт > Запчасти и акксессуары > Масла и автохимия

2. Транспорт > Запчасти и акксессуары > GPS-навигаторы

3. Транспорт > Запчасти и акксессуары > Прицепы

4. Электроника > Настольные компьютеры

5. Электроника > Игры, приставки и программы

6. Электроника > Аудио и видео

7. Личные вещи > Красота и здоровье

8. Личные вещи > Одежда, обувь, аксессуары > Сумки, рюкзаки и чемоданы

9. Личные вещи > Одежда, обувь, аксессуары > Мужская обувь

10. Личные вещи > Одежда, обувь, аксессуары > Женская обувь