Получите предложение

*Указанная Вами информация не будет передаваться третьим лицам

Посмотреть презентацию компании

Блог и новости

15 Января 2018 Новости

Google обновляет панель веб-мастера

Google запускает обновленную Search Console. Каждый владелец сайта сможет познакомиться с ее функционалом в ближайшие несколько недель.

Все новости

14 Декабря 2017 Блог

Секреты использования title description

Meta-tags - структурированная информация о web-странице (именно странице, не о сайте в целом), которую используют поисковые системы “Google”, или “Яндекс” и др., производя ранжирование сайтов.

Все публикации

AdverMedia.com.ua / Новости / Яндекс поделился нововведением в robots.txt

Яндекс поделился нововведением в robots.txt

11 Июня 2016, ; Блог Adver Media Автор: Васильева Ольга

Очень часто встречается такая ошибка в robots.txt, как запрет на посещение всех страниц. В следствии которой индексирующий робот не может получить доступ к сайту. Такая ошибка связана с использованием пустой директивы Allow. Раньше робот принимал такую директиву как полностью запрещающую, и это делало сайт недоступным для визита роботов.

Поэтому Яндекс решил изменить обработку такой команды - теперь она игнорируется при обнаружении в robots.txt. Если на сайте специально нужно применить пустое правило Allow в robots.txt, то нужно изменить на директиву Disallow:

Disallow: * или Disallow: /

Проверить, что доступно, а что нет - можно в Яндекс.Вебмастере. Стоит обратить особое  внимание на отсутствие пустых значений, целью которых является запрет на индексирование.

Комментарии для сайта Cackle

Форма заявки

×
#моивизиты;