AI | Разработать систему мэтчинга товаров с категорями магазина с помощью NLP, Semantic Mathching
Проблема:
У нас есть небольшой интернет-магазин с очень широким ассортимент товаров (несколько сотен тысяч позиций). Мы размещаем эти товары на большом количестве площадок (1-2 новых площадки каждый месяц). Для размещения товаров на площадке, нужно сопоставить наш список товаров с деревом категорий площадки - вручную сметчить 1 млн товаров очень долго.
Задача:
С помощью NLP реализовать модель, которая по названию товара будет выбирать наиболее подходящую категорию из предоставленного списка. На вход дается название название товара и список категорий нужной нам площадки, на выходе получаем N наиболее вероятных категорий для товара.
Требования к реализации:
1. Не фиксированный список категорий.
Система не должна быть привязана к конкретному набору категорий. Дерево категорий мы будем передавать в параметры, т.к. у каждой площадки категории отличаются.
2. В идеале, нужно Zero-Shot решение.
Нужно смотреть, на сколько это реализуемо. В приоритете у нас Zero-shot решения, т.к. если у площадки например 300-500 категорий, то создание качественной обучающую выборку по сути будет равноценно ручному распределению большой части каталога))) А это дорого и долго.
3. Оценка вероятность прогноза.
Если модель "сомневается" в метче, мы должны увидеть это в ответи и будем отправлять модель на ручную проверку, либо прогонять через другую модель.
Бенчмарк:
Мы провели несколько тестов в этом направлении, чтобы проверить, насколько задача вообще решаема. Есть все основания полагать, что семантический zero-shot matching должен решать эту задачу с высокой точностью.
Например, самый простой тест: GPT-3.5 без файн-тюннинга решает это задачу почти со 100% точность. Если вставить в промпт список категорий и список товаров, то ГПТ идеально соотносит одно с другим. В чистом виде это решение не подходит, т.к. приходится с каждым промптом отправлять полный список категорий, из-за чего кост получается очень высокий. Возможно, получится доработать это решение, оптимизировав расход токенов.
Пример данных.
Категории:
1. Транспорт > Запчасти и акксессуары > Масла и автохимия
2. Транспорт > Запчасти и акксессуары > GPS-навигаторы
3. Транспорт > Запчасти и акксессуары > Прицепы
4. Электроника > Настольные компьютеры
5. Электроника > Игры, приставки и программы
6. Электроника > Аудио и видео
7. Личные вещи > Красота и здоровье
8. Личные вещи > Одежда, обувь, аксессуары > Сумки, рюкзаки и чемоданы
9. Личные вещи > Одежда, обувь, аксессуары > Мужская обувь
10. Личные вещи > Одежда, обувь, аксессуары > Женская обувь
... etc
Товары:
1. Угловая шлифмашина ЗУБР УШМ-П125-1000
2. Микроволновка SAMSUNG MG23T5018AP/BW, 800Вт, 23л
3. Чехол BORASCO Microfiber Case, Samsung Galaxy S22, черный
4. Ноутбук Xiaomi Redmibook Redmi G, i7 12650H, 16ГБ, 512ГБ SSD, RTX 3050
5. Принтер HP Color LaserJet Enterprise M555dn, цветной
6. Унитаз SANITA LUXE Next Luxe, напольный компакт
7. Блок распределения питания ITK PH12-8D1, 8xSchuko, 2м
8. Шланг Gardena Flex 1/2", 20м, армированный
9. Музыкальный центр Ritmix SP-850B, черный
10. Водоочиститель PRIO НОВАЯ ВОДА MO510, черный, 12л
11. Чехол BORASCO Microfiber Case, Infinix Smart 6, красный
.... etc