Оглавление
03 августа 2007, 19:15
Yahoo slurp обходит robots
Робот Yahoo может не подчинятся командам файла robots.txt и просто
игнорировать его. На вопрос в поддержку Yahoo «Почему их робот не подчиняется
командам файла robots?» был дан очень интересный ответ в двух вариантах.
Вариант №1
Если запрещенные страницы сайта имеют большое количество входящих ссылок или
большие и уважаемые поисковиком сайты ссылаются на запрещенные страницы, то эти
страницы считаются важными и полезными для сети, а если полезны, то бот просто
минуя все преграды индексирует их и обновляет в своем индексе.
С одной стороны хорошо что бот работает в поте лица, и многие вебмастера не
отказались бы от такой проблемы, с другой же возникает вопрос как не портя
«лица» можно работать над сайтом не опасаясь что в индекс попадет черновой
вариант сайта или то что в открытый доступ просто не выкладывается.
Вариант №2
Не правильный синтаксис файла robots.txt или просто не удобочитаемый для Yahoo.
Такой ответ удивил, учитывая что запрет стоял для всех поисковых роботов и робот
гугла строго следовал указаниям а Yahoo нет.
Через суппорт проблема уладилась, но стоит взять на заметку что как не крути а
роботы правят сетью.
Copyright © 2007 Stakh
новости seo
Адрес заметки: http://www.stakh.com/seoblog/post_1186168513.html
Обязательные для заполнения поля выделены цыплячьим цветом.
1. Не более 50 знаков.
2. При указании будет опубликован. Спам-роботам недоступен.
3. Адреса, начинающиеся с http:// преобразуются в ссылки автоматически.
Для этого отделяйте их от текста ПРОБЕЛАМИ с обеих концов.
Теги запрещены.
|