Настройка отслеживания

Основные

По умолчанию отслеживаются изменения тегов title, мета-тега description, тега h1 и Контента (содержимого страниц) сайта. Чтобы не отслеживать один или несколько тегов и/или Контент сайта снимите флажок с соответствующей опции (HTTP Code, Title, Description, Заголовок H1 или Контент).


Обратите внимание, Робот может учитывать до 10 редиректов (перенаправлений). Таким образом, будут учтены изменения последней в цепочке редиректов страницы (301 → 301 → ... → 301 → 200).

Отслеживание контента (теги)

Для настройки сканирования и отслеживания контента необходимо выбрать способ: специальные теги (запрещающие и/или разрешающие) и/или регулярное выражение. Возможность игнорировать (не отслеживать) HTML или Javascript код также поддерживается.

На одной странице может быть установлено несколько пар разрешающих и запрещающих тегов. Для корректной установки тегов рекомендуем обратиться к техническому специалисту.


Разрешающие теги предназначены для Робота: теги указывают ему на то, что часть страницы, находящуюся между <!--start_content--> и <!--end_content--> следует учитывать при сканировании.


Большинство современных CMS содержат динамический контент, который может меняться при определенных условиях: просмотры страниц, рейтинги, голосования, поиск, сортировка товаров, всевозможные фильтры, статусы (онлайн/офлайн) и т.п. Как правило, отслеживать изменения перечисленных данных не нужно.

Установите запрещающие теги <!--start_content_off--> и <!--end_content_off--> в исходный код станицы, чтобы указать Роботу на то, что часть страницы, находящуюся между этими тегами не следует учитывать при сканировании.

Отслеживание контента (регулярное выражение)

Для поиска контента, который необходимо отслеживать, можно использовать регулярное выражение.

Например: <div id="content">(.*?)</div>

Для корректной работы сервиса, тегу должен быть присовен class, id или другие атрибуты, по которым Робот сможет отличить этот тег от других, используемых на вашем сайте.

Использовать регулярное выражение можно только для указания того, что необходимо отслеживать. Запретить отслеживать определенные участки таким образом не представляется возможным.

Что значит настройка игнорирования кода

• Игнорировать код Javascript — вырезать теги <script>. Применяется перед парсингом;
• Игнорировать код HTML — вырезать теги. При выборе этой опции также игнорируется Javascript, то есть вырезаются теги <script> перед парсингом, а затем из собранных значений еще вырезаются теги.