Индексирование сайта
Под индексированием сайта в поисковых системах понимают процесс обхода поисковыми роботами и добавления страниц
сайта в базу данных поисковых систем. База проиндексированных документов (или страниц) используется для поиска
информации по ключевым словам (поисковым фразам) и формирования результатов поиска.
Для управления индексацией (например, запрета индексации какой-либо страницы) используется файл robots.txt и такие
директивы как Disallow, Allow, User-agent, Crawl-delay и другие. Также для управления индексацией применяют теги
noindex и атрибут nofollow, закрывающие содержимое сайта от поисковых роботов.
На вкладке Индексация представлены параметры, которые могут влиять на индексирование сайта: коды ответов сервера,
наличие блокирующей инструкции в файле robots.txt, запрещающие мета-теги meta robots nofollow и noindex, управляющие
теги link rel canonical и alternate, перенаправляющий тег refresh redirect.
Пример отчета Индексация в результате Анализа сайта
Дополнительная информация
Русский
Выбрать
Русский
English