Хорошие практики в парсинге сайтов


Мы заботимся о том, чтобы работа нашего сервиса для мониторинга цен не нарушала интересы других компаний, чьи данные мы собираем, но, если вы решили использовать свой собственный парсер, вам нужно знать несколько практик, которые уберегут вас от конфликтов с потенциальными клиентами и конкурентами.
Вы этой статье мы дадим вам несколько рекомендаций, которые помогут вам избежать проблем в процессе ценового мониторинга.

Не мешайте работе сайта

Самое главное правило: не наносить вред сайту конкурента. Из всех проблем эта может принести самые большие проблемы, так как в таком случае вас могут привлечь к уголовной ответственности по ст. 273 (использование вредоносных компьютерных программ и иной компьютерной информации, заведомо предназначенных для несанкционированного блокирования компьютерной информации, причинившие крупный ущерб). Для избегания подобных проблем ограничьте количество запросов к сайту с одного ip-адреса, установите задержку между запросами и старайтесь проводить парсинг, когда общий трафик сайта снижается, например, ночью. Хорошим тоном будет считаться возможность связаться с вами, если ваш парсер всё-таки будет нарушать работоспособность чужих серверов.

Не нарушайте авторские права

Большинство информации, находящейся на сайтах интернет-магазинов является общедоступной и её можно беспрепятственно собирать, анализировать и размещать на собственном сайте, но некоторые данные защищены авторским правом и принадлежит правообладателям. Чаще всего авторским правом защищены следующие типы материалов:

• Статьи
• Видео
• Фотографии
• Музыка и аудио
• Базы данных

Следует следить за тем, какая информация собирается и используется вами что бы не нарушить авторское право. Однако бывают ситуации, в которых вы можете использовать такие материалы, не нарушая авторское право:

Добросовестное использование

В этом случае вы можете ограниченно использовать материалы, защищённые авторским правом, если вы их критикуете, парадируете, комментируете, используете в новостных репортажах или исследованиях. Публикация короткий фрагментов или ссылок не будет преследоваться по закону, если использование будет подходить по следующим параметрам:

• Цель и характер использования, как сильно вы преобразовали информацию
• Количество взятого материала, чем меньше чужой информации вы использовали, тем лучше
• Влияние использования материала на доход владельца, лучше, что бы результат не дискредитировал правообладателя, что привело бы к потере клиентов и дохода.

Трансформированное использование

Вместо использования полных и неизменённых данных вы можете преобразовать контент каким-либо образом, что бы не нарушить авторское право.

Использование фактической информации

Фрагменты с фактической информацией в материалах, защищённых авторским правом, могут свободно использоваться в отрыве от основной части информации. Вся личная информация так же должна быть удалена из результатов парсинга.

Размещение с согласием правообладателя

Не всегда правообладатель будет против размещения собственных материалов в сторонних источниках, но для этого нужно получить его прямое согласие. На сбор и хранение персональной информации так же можно получить разрешение, если люди будут в этом заинтересованы.

В любом случае необходимо следить за законодательством в области авторского права в вашей стране.

Не нарушайте общий регламент о защите данных (GDRP)

Этот регламент в большей степени распространён в странах Евросоюза, но его так же можно использовать и в СНГ. Он регулирует сбор и работу с персональными данными, по которым можно идентифицировать физическое лицо. В них входят:

• ФИО
• Адрес электронной почты
• Номер телефона
• Домашний адрес
• Ip-адрес
• Банковская информация
• Медицинские данные
• Биометрия

Следите за согласием с условиями посещения веб-сайта

Когда вы соглашаетесь с условиями сайта вы заключаете с владельцем договор, в котором может быть явно указан запрет на сбор информации. Это значит, что изучение пользовательских соглашений является важным шагом в подготовке парсинга.

Запустите парсинг сайтов сейчас!

Получите все сразу: ежедневный мониторинг цен, поддержку 24/7 с личным менеджером и удобные отчеты


Переход к демонстрации

Опишите в двух словах сферу вашей деятельности и укажите ваш E-mail. По желанию расскажите в комментарии любую дополнительную информацию или задайте нам вопросы.

Во время демонстрации вы сможете посмотреть на основные возможности системы по мониторингу и анализу цен. Мы готовы реализовать дополнительные функции, чтобы наша система подходила под ваши задачи.