При заполнении карточек товаров вы можете столкнуться с проблемой отсутствия фотографий, при том что шанс покупки товара без фотографии стремится к нулю. Первое что приходит в голову это самостоятельный поиск фотографий в интернете по ключевым словам, но что делать, если в вашем каталоге находятся тысячи товаров? Здесь на помощь вновь приходит парсинг.
Парсинг фотографий автоматически собирает картинки по названию товара и артикулам, фильтруя картинки по размеру и искать только на определённых сайтах что бы не собирать много лишнего.
Формат парсинга
Чаще всего найденные картинки либо скачивают и загружают на собственный сервер, либо указывают на них ссылкой, при этом они остаются на сервере первоисточника. Скачивание изображений подходит для размещения в социальный сетях или через административную панель сайта. Ссылки на картинки используют при импорте через CMS. Определяйтесь с форматом исходя из способа парсинга.
Инструменты для парсинга изображений
Скрипт для поисковиков
Вы можете использовать собственный скрипт, который принимает на вход массив ключевых слов в виде артикулов и названий товара, ищет фотографии через поисковики и скачивает несколько подходящих результатов. Способ довольно простой, но качество фотографий будет сильно различаться, для некоторых товаров подходящие фотографии могут вовсе не найтись.
Использование искусственного интеллекта
В дополнение к предыдущему способу можно упомянуть возможность использования искусственного интеллекта для поиска похожих картинок, если полученные результаты не устраивают вас по качеству или разрешению. Подобная функция так же встречается в различных поисковиках.
Сервисы для парсинга
Вы можете использовать сервис для парсинга или мониторинга цен. Принцип такой же как у парсинга описаний товара, вы задаёте ссылку на категорию и парсер ищет карточки товара, скачивая фотографии. Благодаря возможности делать множество запросов одновременно процесс парсинга займёт гораздо меньше времени чем ручной поиск или использование самописного скрипта. Единственный недостаток заключается в необходимости оплачивать подписку на сервис, в остальном этот вариант является самым эффективным, быстрым и удобным.
Обход защиты от парсинга
Некоторые сайты имеют некоторую степень защиты от любого парсинга, например, запрет на множественные запросы с одного адреса, или невозможность копировать информацию в буфер обмена.
Для обхода защиты вы можете использовать прокси сервера для отправки запросов и ставить случайную задержку между ними, динамическая смена ip тоже не будет лишней, если сайт запретит отправлять запросы с одного из адресов. Помните, что мобильные версии приложений обычно менее защищены, поэтому их можно использовать для скачивания контента.
Решение проблем, возникающих при парсинге
Если вы парсите всю структуру сайта, помните, что картинки указываются с помощью относительных путей, не забывайте менять ссылки на изображения в зависимости от используемого формата и их расположения.
Проверяйте скаченные изображения, они могут быть защищены вотермарками, или в углу может быть ссылка на чужой сайт. Не расстраивайтесь если так и есть, часто бывает, что водяные марки находятся только на первой фотографии в каталоге, поэтому старайтесь охватывать все изображения, привязанные к карточке товара.
Иногда ваш ip адрес может быть забанен и в поисковике, тогда будут скачиваться изображения со страницы ошибки 404.
Итоги
Парсинг изображений товаров хороший способ сэкономить время, если требуется заполнить карточки для огромного каталога, однако наличие оригинальных изображений на сайте будет большим плюсом, это способствует хорошей индексации сайта и его узнаваемости среди клиентов.