Когда-то строки в файле robots.txt могли кардинально повлиять на судьбу сайта в поиске. Речь про директиву, которая указывала Яндексу, какое зеркало считать основным. Сегодня от нее отказались, но разобраться, как все работало раньше, стоит. Это поможет не запутаться при переезде на новый домен и сохранить трафик.
Что такое директива host и как она работала раньше
У некоторых ресурсов есть сразу несколько адресов: с www и без, на http и https, даже на разных доменах. Для клиентов это один и тот же бизнес, но для поисковика — путаница. Директива host в файле robots.txt была как указатель для Яндекса и объясняло, какой вариант считать основным.
Почему это важно? Без четких инструкций поисковик мог выбрать главное зеркало сам, и не всегда правильно. Это приводило к дублированию страниц: один и тот же контент индексировался на разных адресах, что путало «роботов» и снижало позиции сайта. Директива host помогала избежать этой неразберихи, направляя весь вес страниц на один домен или протокол. Google, кстати, никогда не использовал директиву, он полагался на другие сигналы, вроде редиректов или настроек в своей панели.
Давайте на примере. Владелец интернет-магазина одежды, назовем его Игорь, решил перевести сайт с http на https, чтобы клиенты доверяли больше. Но он не знал про директиву host и не настроил ее. В итоге Яндекс продолжал индексировать старый адрес на http, а новый https считал второстепенным. В результате позиции упали, трафик просел, а Игорь потерял половину заказов за месяц. Если бы в robots.txt стояла директива Host: https://xxx.ru, Яндекс сразу понял бы, что новый адрес основной, и переезд прошел бы быстрее.
Почему Яндекс отказался от этой схемы
В 2018 году Яндекс стал «умнее» и начал сам определять главное зеркало, ориентируясь на другие сигналы. Так и появилось правило: теперь достаточно настроить 301 редирект — постоянную переадресацию со старого URL на новый.
Это упростило жизнь вебмастерам. Раньше нужно было следить, чтобы в robots.txt всех зеркалсайта стояла одинаковая директива, например, Host: https://xxx.ru. Ошибка могла привести к тому, что Яндекс выберет неправильное зеркало, и переезд затянется на месяц. Теперь достаточно настроить редирект 301, и процесс занимает всего несколько дней. Для бизнеса это меньше головной боли и быстрый возврат к нормальному трафику.
Как работает переездсайта сегодня
Чтобы сменить домен или протокол и не потерять трафик, достаточно соблюдать понятный алгоритм:
-
Добавьте новый адрес в Яндекс.Вебмастер. Например, если переходите на https://xxx.ru, убедитесь, что он добавлен в панель и не склеен с другими зеркалами. Если что-то не так, используйте инструмент «Разгруппировать адреса».
-
Настройте редирект 301. В файле .htaccess на старом ресурсе укажите, чтобы все страницы перенаправлялись на новые. Например, с http://xxx.ru на https://xxx.ru. Это нужно сделать постранично, чтобы структура осталась прежней.
-
Проверьте работоспособность. Страницы должны возвращать коды 200 (все работает) или 301 (редирект). Ошибки 404 замедляют процесс.
-
Отметьте переезд в панели Яндекса. Это поможет ускорить индексацию и устранить возможные сомнения поисковика.
Если все сделано правильно, выдача обновится в течение пары дней. Пользователи и поисковые роботы увидят только новый адрес. Вес страниц и позиции сохранятся.
Частые вопросы
Можно ли обойтись без редиректа?
Технически да, но рискованно. На практике это означает долгий и болезненный переход, потерю трафика и путаницу в поиске. Без редиректа сайт начинает жить заново, с нуля.
Нужно ли теперь оставлять директиву host в robots.txt?
Нет, Яндекс давно игнорирует эту строку. Если она там осталась, это никак не навредит порталу, но и пользы не принесет.
Почему host важен был раньше, но Google его не использовал?
У Яндекса и Google разные подходы к обработке зеркал и индексации. Google с самого начала полагался на редиректы и внутренние алгоритмы, Яндекс же для ускорения требовал host.
А как быть с мобильной версией?
Редиректы на мобильные версии стоит настраивать отдельно, но современные системы делают это автоматически. Раньше host обрабатывался одинаково для всех версий.
Что важно запомнить
Директива host в файле robots txt была важным этапом в развитии SEO и технической поддержки сайтов. Она помогала Яндексу разобраться с зеркалами и упрощала переезды. Сейчас все решает переадресация и действия в панели Вебмастера. Если вы меняете протокол, домен или структуру адресов, проверьте, что редирект работает корректно. Это ваш главный инструмент.
Если переездсайта вызывает вопросы или хочется сделать все грамотно, лучше обратиться к специалистам. Это сэкономит нервы и время, поможет не потерять трафик и деньги.
Ваш вопрос или комментарий