103news.com
Работа
Июнь
2020

Парсер на PHP

0
есть уже работающий парсер сделанный на PHP на linux debian.есть API уже работающий с сайтом.работает пока только с одним донором.

Задачи:
Изучить парсер который уже имеется для дальнейшего развития .
Вся работа документируется на Гитлаб .
Нужно настроить парсер на работу с другими донорами (5 разных сайтов).
Настроить API для работы парсера с сайтом .
Поддержка на постоянной основе (за отдельную оплату)

Описание работы парсера :
Парсер построен на PHP - собирает данные и отдает данные по API сайту.
Собирает данные компьютерных комплектующих с разных сайтов поставщиков


особенности сайтов* сайты RTL* авторизация обязательна* на сайтах присутствуют разного рода защиты от бота (не на всех но есть)* названия товаров иногда имеют слова и фразы добавленные в названия товара(очистить)* в характеристиках товаров присутствуют фразы которые нужно очистить (не везде)* почти у всех сайтов разная структура категорий(нужно привести все к 1 общей структуре)


особенности работы парсера- сайт может стучаться по API к парсеру и принимать различные данные* полный парсинг данных* проверка на наличие у поставщика комплектующих (различные статусы)* проверка цены (обновление цены на сайте)* id товаров (присваивает каждому уникальный)* повторяющиеся товары от разных поставщиков не конфликтуют (разные коды SKU генерация приставки берется от названия поставщика и прибавляется к коду товара)* фильтры и очистка названий товара от добавляемых слов поставщиками* парсер присваивает id категориям для того чтобы правильно добавлять товары на сайте* парсер находит не нужные значения у продуктов и очищает их

что парсим:* Название продукта (требуется фильтрация текста и очистка от определенных фраз)* Код продукта* Код продукта с генерацией префикса для различия одного и того же продукта от разных поставщиков* Картинки продукта (ссылки)* Ссылка на продукт* Описание (требуется фильтрация текста и очистка от определенных фраз)* Характеристики (требуется фильтрация текста и очистка от определенных фраз)* наличие (доступность к заказу)* статусы (если не доступен к заказу то есть статусы когда возможны или нет)* категории групп товаров* производитель




Губернаторы России
Москва

Собянин вручил государственные и городские награды заслуженным москвичам





Москва

Компания «Мария» рассказала о новых решениях для девелопмента на конференции Московского Бизнес-клуба


Губернаторы России

103news.net – это самые свежие новости из регионов и со всего мира в прямом эфире 24 часа в сутки 7 дней в неделю на всех языках мира без цензуры и предвзятости редактора. Не новости делают нас, а мы – делаем новости. Наши новости опубликованы живыми людьми в формате онлайн. Вы всегда можете добавить свои новости сиюминутно – здесь и прочитать их тут же и – сейчас в России, в Украине и в мире по темам в режиме 24/7 ежесекундно. А теперь ещё - регионы, Крым, Москва и Россия.

Moscow.media
Москва

Собянин рассказал о развитии дорожной сети возле станций метрополитена



103news.comмеждународная интерактивная информационная сеть (ежеминутные новости с ежедневным интелектуальным архивом). Только у нас — все главные новости дня без политической цензуры. "103 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. 103news.com — облегчённая версия старейшего обозревателя новостей 123ru.net.

Мы не навязываем Вам своё видение, мы даём Вам объективный срез событий дня без цензуры и без купюр. Новости, какие они есть — онлайн (с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии).

103news.com — живые новости в прямом эфире!

В любую минуту Вы можете добавить свою новость мгновенно — здесь.

Музыкальные новости

Михаил Кутушов

Недостаток витаминов или древний инстинкт: токсиколог Кутушов рассказал, что толкает людей есть землю




Спорт в России и мире

Алексей Смирнов – актер, которого, надеюсь, еще не забыли

Серпуховские гимнастки завоевали 30 медалей на соревнованиях в Москве

На территории школы имени Ткаченко в Кубинке появится новое спортивное оборудование

Прогулочные маршруты и спортивные площадки: Четырём зелёным зонам на юге Москвы подарили новую жизнь


Арина Соболенко

«Почему ты такая низкая?» Арина Соболенко пошутила над известной теннисисткой. Видео



Новости Крыма на Sevpoisk.ru


Киев

Киев в ярости: утечка информации раскрыла тайный запрос на ракеты Tomahawk



Частные объявления в Вашем городе, в Вашем регионе и в России