Радар (отслеживание изменений и сбор метатегов)

Радар — это инструмент, который поможет:

отслеживать изменения и получать уведомления, если на страницах что‑то изменилось. Как получать уведомления в Telegram →
собрать метатеги и заголовки с любого сайта, а также следить за кодом ответа страницы;
собрать любой другой контент со страницы.

Используйте Радар, чтобы спарсить данные со страниц ваших конкурентов, или отслеживайте изменения на своем сайте, чтобы следить за тем, чтобы сайт не упал и на нем не изменилась какая‑то важная информация. Топвизор собирает Title, Description, H1, HTTP‑код страницы; остальной контент (по умолчанию выключен; нужно включить в Настройках Радара).

Читайте, как удобно использовать Радар, в Топвизор‑Журнале →

Я хочу отслеживать rel=canonical, H2 и другие заголовки. У вас что, нельзя это сделать?

Можно! Чтобы отслеживать любую информацию на странице, включите сбор Контента в Настройках инструмента. Тогда Робот соберет весь контент страницы, и вы сможете найти нужные метатеги и заголовки в результатах сбора. Чтобы сразу собирать только нужный вам контент, используйте регулярные выражения.

Как перейти в раздел Радар

перейдите в Список проектов и нажмите под URL проекта;
нажмите в левом меню, если вы находитесь внутри проекта;
откройте список проектов в шапке сайта, нажмите справа от нужного проекта, а затем

Как добавить URL для отслеживания и запустить проверку

Перейдите в раздел Радар.
Нажмите на панели с фильтрами.
Выберите Страницы для проверки.
Нажмите и загрузите URL удобным вам способом.
Нажмите и подтвердите запуск проверки во всплывающем окне.

Радар (отслеживание изменений): как настроить отслеживание изменений на страницах сайта

Как добавить Топвизор в White List

Если на вашем сайте стоит антибот‑система, робот может не собрать данные для анализа. Чтобы разрешить роботу Топвизора доступ к сайту, добавьте в White List следующие блоки IP‑адресов:

95.213.136.168/29 (Восточная Европа);
31.148.128.128/25 (Западная Европа).

Рекомендуем указать сразу оба блока, чтобы при смене настроек не нужно было менять настройки White List. Нужно указывать именно диапазоны адресов, так как проверка может происходить с разных IP. Если у вашего сайта нет возможности добавить в исключения диапазон, напишите нам в чат — мы сделаем так, чтобы ваш сайт парсился с одного IP.

Я запустил проверку, но никакие данные не собрались. В чем проблема?

Во время первой проверки собираются данные для дальнейшего отслеживания. Теперь, если на страницах произойдут изменения, Радар обнаружит их во время следующей проверки. Чтобы просмотреть всю собранную информацию, выберите фильтр "Все" вместо "С изменениями" на панели с фильтрами.

Я выбрал "Все", но никакие данные все равно не отображаются. У вас точно что‑то сломалось!

Такое возможно, если наш Робот не может получить доступ к сайту или сайт заблокирован с каких‑то IP. Добавьте нашего Робота в исключения (он представляется как ПК: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36), а также добавьте в White List следующие блоки IP‑адресов:

95.213.136.168/29 (Восточная Европа)
31.148.128.128/25 (Западная Европа)

Рекомендуем указать сразу оба блока, чтобы при смене настроек не нужно было менять настройки White List. Если это не помогло, напишите нам в чат.

Полностью автоматизируйте работу в Топвизоре ⚡️
Настройте автоматическую проверку проекта, а также отправку отчета После проверки. Тогда вы получите отчет на e‑mail, в Информер или в Telegram, если Робот обнаружит изменения на страницах. Как настроить проверку и уведомления →

Карта интерфейса

Запуск проверки.
Выбор проверки.
Фильтр по изменениям.
Фильтр по тегам.
Экспорт и Настройки инструмента.
Разделы инструмента и количество изменений в них.
Фильтры. Нажмите на Фильтры, чтобы открыть поиск, фильтр по коду ответа и другие фильтры.
Теги. Наведите курсор слева от URL, чтобы добавить или переименовать тег.
Коды ответа страниц. Нажмите на код ответа, чтобы увидеть цепочку редиректов.
Нажмите на чтобы открыть окно с историей отслеживаемого элемента.
Значение выбранного параметра и его изменения. Красным цветом показаны удаленные данные, а зеленым — добавленные.

Проверяйте URL с разными доменами в разных проектах 🔗
В один проект можно добавить только страницы с одним доменом. Проверяйте страницы с разными доменами в рамках разных проектов.

User Agent Робота Топвизора

По умолчанию Робот Топвизора представляется как User Agent: Mozilla/5.0 (compatible; TopvisorBot/1.0), но вы можете указать свой User Agent. Обращаем внимание, что это примеры User Agent и они могут меняться в зависимости от текущей версии браузера. Список всех доступных UserAgent:

ПК TopvisorBot: Mozilla/5.0 (compatible; TopvisorBot/1.0);
Смартфон TopvisorBot: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1 (compatible; TopvisorBot/1.0);
ПК: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36;
Планшет: Mozilla/5.0 (iPad; CPU OS 9_2_1 like Mac OS X) AppleWebKit/601.1.45 (KHTML, like Gecko) Mobile/13D11;
Смартфон: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1 (compatible; TopvisorBot/1.0);
YandexBot/3.0: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots);
YandexBot/3.0 (mobile): Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots);
Googlebot/2.1: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html);
Googlebot/2.1 (mobile): Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).