Спарсить описания файлов драйверов с сайта производителя

17.12.2018 17:30

Нужно спарсить данные с сайта производителя оборудования используя инфраструктуру модуля на Yii2. Скелетон модуля с рабочим примером для AMD. Интересуют все производители присутствующие на рынке.

Описание Модуль состоит из двух частей

Парсер и сохранение информации в БД
Админка ассоциации данных

Для упрощения развёртывания используется vagrant. Система контроля версий Git.

Требования к парсеру

Консольные команды сущностей разделены, если это возможно. Категории, страницы продукта, список файлов - это три разные консольные команды
Повторный запуск команды не приводит к удалению информации, а лишь обновляет её. Особенно это важно по хранению сущностей основного проекта
Все данные получаемые от производителя кэшируется "как есть", это позволяет перенастраивать парсер без необходимости повторной закачки данных
Чтобы парсинг данных можно было легко перенастраивать для разбора используется DOM модель документа

Требования к админке

Реализовать ассоциации сущностей: типы оборудования, операционные системы, типы файлов, серии продукта, продукты
Типы оборудования и серии на выводе сводить к дереву

Зависимости и технический стек

php >= 7.2
mariadb >= 10.2
Yii > 2.15.0

Что уже решено в скелетоне

Тестовый рабочий код на примере парсера AMD
Организация и подключение модуля Yii2
Обертка для работы с DOM делающая работу с DOM удобнее: https://github.com/bezdelnique/parser-toolbox
Все взаимодействие с источником данных вынесено в отдельный класс: helpers/Downloader.php
Реализация массовых вставок в БД с сохранением данных при помощи класса EntitiyBulk
В админке реализован ассоциатор для дерева категорий и остальных сущностей

Подробное описание требований