Что такое парсинг
Парсинг сайтов является полезным инструментом для усиления ваших позиций на рынке, по отношению к конкурентам. Слово парсинг означает процесс сбора информации из различных источников в интернете и предоставление её в систематизированном виде.
Наш сервис позволяет проводить мониторить товаров с использованием одного из тарифных планов или с применением дополнительной услуги парсинга сайтов под ключ. Для мониторинга по тарифу необходимо добавлять ссылки на товары вручную. В отчете будет отображаться наименование товара, цена, изображение.
При большом количестве товаров, такая процедура отнимет много времени и сил. Эффективнее будет воспользоваться парсингом сайтов под ключ. Это означает, что будет разработан индивидуальный парсер специально под определенный источник (сайт) и поставленную задачу. Он соберет все товары по заданным критериям, а также может собрать любую дополнительную информацию, имеющуюся на сайте.
Создание парсера для одного сайта занимает в среднем 1-2 дня, в зависимости от сложности. Также потребуется еще 1 день на доработку автосопоставления товаров.
Описание задачи
Для того чтобы реализовать задачу и подготовить индивидуальный парсинг, необходимо составить техническое задание. Парсер может собрать все товары из интернет-магазина, а также любую информацию, которая отображается на странице. Например, описание товара, акции, скидки, размер, объем, наличие и т.д. Для того, чтобы парсер выполнял поставленную задачу необходимо предоставить следующие данные:
- Список источников;
- Номенклатуру товаров и/или, дополнительную информацию о правилах сбора нужных данных;
- Примерный формат отчета.
Список источников
Основным пунктом, являются источники, с которых будет собираться информация. Это могут быть интернет-магазины или сайты, маркетплейсы (яндекс.маркет, ozon, wildberries, Goods и т.д.) или автоматически обновляемые прайсы любого формата (xls, csv и тд). При этом возможно указать регион для сбора данных, выбрать город и/или конкретную точку.
Также можно разработать парсер для сложных сайтов, требующий ввод капчи или обход блокировки. Для сайтов, требующих авторизации, индивидуальный парсер позволяет получать закрытый контент, при условии предоставления доступов.
Критерии поиска данных
После определения источников, необходимо указать критерии для поиска нужных данных. Это можно сделать с помощью:
- Номенклатуры;
- Категорий товаров;
- Фильтров каталога;
- Различных комбинации предыдущих трех пунктов.
Для поиска конкретных товаров, необходима номенклатура в любом формате: docx, xls, csv, и т.д. Также можно собирать товары по категориям или брендам. Ниже представлен вариант поиска товаров по запросу jbl в категории электроника.
Следующий пример демонстрирует поиск всех товара бренда Bosch.
Кроме того, можно использовать различные фильтры каталога, как на скриншоте ниже.
Cбор данных с помощью фильтров и категорий позволяет получать информацию о новых товарах, как только они появились на сайте конкурента.
Работа с данными в личном кабинете
В личном кабинете, кроме названия, изображения и цены, также будет отображаться дополнительная информация, в виде атрибутов товаров. Например, для моторного масла атрибутами могут быть: объем, вязкость, артикул.
Автосопоставление
Сопоставление товаров происходит автоматически по названию или артикулу. Автосопоставления могут быть на 100% верными. Это возможно при наличии какого-либо атрибута, который может гарантированно указать на аналогичный товар. Таким атрибутом может выступать артикул или штрихкод товара. Если такого атрибута нет, то система будет сравнивать наименования товаров и использовать другие алгоритмы для определения степени "схожести" двух товаров. Также можно улучшить показание точности, использовав различные характеристики, которые были собраны с помощью индивидуального парсера. Такие как бренд, размеры, объем и т.д.
Однако, по разным причинам, алгоритм может ошибаться и подбирать неверные сопоставления. Для таких случаев в личном кабинете присутствует ручная корректировка. Можно добавить новое сопоставление, утвердить верное или указать на ошибку. Система запомнит эти настройки. При следующим обновлении данных, для ошибочных сопоставлений, алгоритмы подберут наиболее подходящий товар конкурента.
Отчеты
Отчеты о мониторинге создаются индивидуально под каждую задачу. Стандартный отчет, который можно скачать в личном кабинете выглядит следующим образом.
Отчет может содержать различные поля, расчетные и аналитические данные. Пример такого отчета представлен ниже.
Кроме стандартных колонок с наименованием товара и цены, здесь также отдельно выводится минимальная цена, с указанием конкурента. Кроме того, цены подсвечиваются красным, если цена ниже мрц и зеленым, если выше.