Парсинг интернет магазинов решает три основных проблемы ценового мониторинга рынка:
• Во-первых, парсинг позволяет сэкономить время за счёт автоматического выполнения задач по анализу и изучению цен конкурентов
• Во-вторых, в результате парсинга вы получаете информацию в удобном формате, с которым удобно работать, а не в виде электронных таблиц
• В-третьих, парсинг помогает отслеживать сразу множество конкурентов вне зависимости от величины их ассортимента
Где находится нужная информация
HTML
Обычно всю информацию о товаре можно найти в HTML коде.
Однако иногда бывает, что стоимость и другие данные загружаются при помощи ajax-запросов и в разметке их не будет, тогда вам нужно будет искать цены в JSON или отдельных запросах.
Обращайте внимание на вариативность товаров, ведь в зависимости от разной комплектации или других вариаций цена может отличаться. Так же, вы можете проверять сколько товаров осталось на складе конкурента, добавляя их в корзину до тех пор, пока сайт будет позволять это делать. Если для разных товаров это число будет разным, то это не будет обычным ограничением сайта, а реальным количеством товаров.
Shema.org
Shema.org это методология, которая помогает сайтам лучше индексироваться поисковиками. Если она используется в разметке, вас будут интересовать элементы с классами price, sku, name, description, которые будут указывать цену товара, его название, описание и остаток.
Совету по сравнению цен
• Сравнивайте оптовые и розничные цены друг от друга
• Учитывайте регион при сравнении
• Избыток товара может снижать цену на него, дефицит может напротив увеличить стоимость
Не будет ли парсинг цен конкурентов противозаконным?
Сбор цен сам по себе не является нарушением закона, ведь стоимость товара согласно закону об информации и защите данных, стоимость товара и информация о его характеристиках считается общедоступный и не ограничивается законом. Однако, что бы ненароком не нарушить закон, стоит придерживаться следующих правил:
• Следите за авторскими правами, распространяющиеся на собираемую информацию
• Если процесс парсинга будет сопровождаться большой нагрузкой на сайт конкурента, это может расцениваться как DoS-атака
• Получаемая информация не должна быть личной информацией пользователей сайта
Если вас испугал пункт об авторских правах, то не переживайте, ведь на информацию о артикулах, ценах и характеристиках не распространяется авторское право.
Заключение
Теперь вы лучше разбираетесь, где в разметке сайта находится информация о товаре, что такое shema.org, и какие юридические нюансы нужно держать во внимании во время парсинга.