Получите предложение

*Указанная Вами информация не будет передаваться третьим лицам

Посмотреть презентацию компании

Блог и новости

07 Июля 2017 Новости

Яндекс эксперементирует с видеороликами из контекстных объявлений

Яндекс создает видеоролики из контекстных объявлений с последующим размещением их в своей видеосети. Ролики, продолжительностью 15 секунд, будут автоматически создаваться в системе Яндекс.Директ и размещаться на собственных площадках и на сайтах партнеров.

Все новости

23 Июня 2017 Блог

Что такое разметка сайта OpenGraph и как эффективно её использовать?

Если вы являетесь активным пользователем социальных сетей, то не понаслышке знаете о том, что большинство юзеров уделяют внимание именно эстетично оформленным постам, а непривлекательные записи находятся в проигрышном положении. Так вот разметка OG – это именно тот инструмент, который помогает сделать превью записей, содержащих ссылки на сайт, наиболее приятными для глаз интернет-пользователей.

Все публикации

AdverMedia.com.ua / Блог / Что такое robots.txt и с чем его едят?

Что такое robots.txt и с чем его едят?

18 Февраля 2016, Автор: Adver Media

Что такое robots.txt

Что такое сео оптимизация, в наши дни понятно многим, но, совсем другое дело – сам механизм ранжирования. Да, поисковые роботы, в первую очередь, ищут на сайтах ключевые слова, но, для того, чтобы начать вести с ними диалог, вам понадобится создать файл robots txt. Сегодня мы и попробуем разобраться, как заговорить на языке ботов.

В чем же суть?

Итак, robots.txt – текстовый файл, расположенный в корне сайта, в который записываются инструкции для поисковых машин, на понятном им языке. Здесь можно указать, нужно ли индексировать определенную страницу или дать рекомендации, касательно того, что при загрузке той или иной страницы необходимо соблюсти определенный временной интервал.

Для чего предназначен файл robots.txt

Создание robots.txt – процесс несложный, но требующий определенных навыков. Для начала, вам необходимо создать текстовый файл и переименовать его соответствующим образом.

Конечно же, индексироваться ваш сайт будет и без этого файла, другой вопрос в том, что вы упустите возможность управления работой поисковых роботов. Очень важно запретить индексировать некоторые страницы, например, системные или приватные, предназначенные для определенного круга пользователей.  Также, во время создания или реконструкции сайта, рекомендуется полностью закрывать доступ к ресурсу, чтобы не пугать пользователей и поисковики.

Что немаловажно, robots.txt может запретить различным спам-ботам доступ на ваш ресурс. Такие вредоносные программы сканируют страницы на наличие электронных адресов, и после, занимаются рассылкой ненужного контента.

Заполнение файла: основные и дополнительные директивы

Создать robots.txt с инструкциями можно вручную или прибегнуть к помощи конструктора. Итак, заполняя файл, вам потребуется вписать три основные директивы:

 User-Agent – директива, определяющая робота, которому адресовано послание (если рекомендация адресована всем ботам - в графе, вместо названия, прописывается «звездочка»);

 Allow – директива, разрешающая поисковым роботам работать с тем или иными разделами или страницами;

 Disallow – директива, содержащая  разделы, которые запрещено индексировать.

 Sitemap – директива, в которой прописывается путь к карте сайта XML, позволяет роботу проще ориентироваться на вашем сайте.

Дополнительные директивы для поисковой системы Яндекс:

 Crawl-delay - регулирует период между окончанием загрузки одной страницы и началом другой. В случае, если ваш сайт очень популярен, стоит позаботиться об установлении временного промежутка для поисковых роботов;

 Clean-param - директива, используемая исключительно Яндексом. Если на одной из страниц вашего сайта расположен динамический элемент, его можно исключить, чтобы не путать поисковик.

Чтобы стало понятнее, как написать robots.txt, приведу пример:

     User-agent: *
     Disallow: /cgi-bin/
     Disallow: /folder/
     Disallow: /page-2.html
     Sitemap: http://site.ru/sitemap.xml

Вполне логично, что «/doc.html» – название файла, а «/folder/» - целый раздел, содержимое которого не подлежит индексации.

В свою очередь:

     User-agent: *
     Disallow: /folder/
     Allow: /folder/page.html

запрещает индексировать все содержимое папки, кроме указанного файла.

Что касается дополнительных параметров, то Crawl-delay всегда сопровождается цифровым значением, к примеру:

     Crawl-delay: 4 – задает тайм-аут в 4 секунды.

А Clean-param требует точный адрес расположения элемента:

     Clean-param: /folder/get_picture.pl

Настройка robots.txt для Google и Яндекс

При создании файла «роботс» для Яндекса необходимо ввести новую директиву - Host. В ней указывается главное зеркало сайта, что помогает избежать индексации дублированных страниц. Учтите, что robots.txt host понятен только ботам Яндекса, поэтому, при создании файла, русскоязычная поисковая система №1, потребует отдельного упоминания.

Для создания robots.txt для Google не потребуется написания ничего лишнего. Для этого, достаточно в графе User-agent, ввести «Googlebot».

Robots.txt, пример для Яндекс:

     User-agent: Yandex
     Disallow: /cgi-bin/
     Disallow: /folder/
     Disallow: /page-2.html
     Crawl-delay: 4
     Host: site.ru
     Sitemap: http://site.ru/sitemap.xml

Robots.txt, пример для Google:

    User-agent: Googlebot
     Disallow: /cgi-bin/
     Disallow: /folder/
     Disallow: / page-2.html
     Sitemap: http://site.ru/sitemap.xml

Самые распространенные ошибки, при составлении robots.txt

К счастью, или же наоборот, создание такого файла требует соблюдения всех правил, а значит, стоит допустить одну осечку и результат будет уже совсем другой. Составляя robots.txt, чтобы не ошибиться, обязательно обратите внимание на:

На то, что каждый каталог указан в отдельной инструкции.

То есть: Disallow: /folder/ /direct/ - ошибочный вариант, правильным будет:

     Disallow: /folder/
     Disallow: /direct/

Имя файла не должно содержать заглавных букв. Никаких Robots.txt или ROBOTS.txt (и только так, ибо бывает, что окончание “s” теряется).

Директива Host не должна содержать слешей или протокол передачи - “http”.

Инструкции и директивы должны стоять на своем месте.

То есть User-agent: /doc.html работать не будет.

Автоматическое создание robots.txt

Для более упрощенного стандартного варианта, существуют различные сервисы, позволяющие создать robots.txt онлайн. Как правило, конструктор «роботс» прост в использовании, а все разделы в нем подписаны. Все, что от вас потребуется - это скопировать полученный результат в текстовый файл. На просторах интернета подобных сервисов пруд пруди, достаточно забить в строке поисковика: генератор robots.txt. Самые практичные из них: seolib.ru/tools/generate/robots/, 4seo.biz/tools/15/ и htmlweb.ru/analiz/robots.php.

Анализ robots.txt

Важно не упустить последний и очень важный момент – это проверка файла. Ведь, достаточно поставить лишний знак или пропустить букву и весь труд пойдет насмарку. Так вот, узнать, удалось ли robots.txt запретить индексацию, можно с помощью Яндекс и Google вебмастеров. Естественно, что каждая из систем проанализирует эффективность файла в отношении своей поисковой машины.Перед созданием robots.txt обязательно ознакомьтесь с требованиями  Яндекс и Google.

Как вы уже поняли, создать robots.txt не так сложно, как может показаться на первый взгляд. Однако, это действие лишь маленькая крупица трудоемкого процесса, под названием - оптимизация сайта. А как известно, на этом пути, помощь специалиста никогда не будет лишней.

Комментарии для сайта Cackle

От идеи до покорения вершины|увеличения продаж - один клик

*-Пожалуйста, обязательно заполните поля, отмеченные "звездочками".

Форма заявки

×
#моивизиты;