|
...::: ПАРТНЕРЫ :::... |
|
Китайские дорожные мотоциклы zongshen на крупном портале chinaplanet.ru
|
|
|
Правила индексации в машине Яndex
Яndex индексирует страницы по их истинным адресам. Это
значит, что, если на странице стоит redirect, робот воспримет его как ссылку на
новый адрес и внесет ее в очередь на индексирование (если она удовлетворяет
описанным выше правилам). То же самое произойдет, если в одном из фреймов будет
стоять ссылка на другой сервер. В частности, если эта ссылка находится вне
доменов, разрешенных по умолчанию, страница НЕ будет проиндексирована. Робот
Яndex хранит дату последнего обхода каждой страницы, дату ее изменения
(присланную Web-сервером) и дату внесения последних изменений в базу поиска
(дату индексации). Он оптимизирует обход Сети таким образом, чтобы чаще посещать
наиболее изменяемые сервера.
Яndex индексирует документ полностью: текст, заголовок, подписи к картинкам,
описание (description), ключевые слова и некоторую другую информацию.
Как запретить индексацию определенных страниц?
Разрешения и запрещения на индексацию берутся всеми поисковыми системами из
файла robots.txt. Запрет на индексацию ряда страниц может появиться,
например, из соображений секретности или из желания не индексировать одинаковые
документы в разных кодировках. Чем меньше Ваш сервер, тем быстрее робот его
обойдет. Поэтому запретите в файле robots.txt все документы, которые не имеет
смысла индексировать (например, файлы статистики или списки файлов в
директориях). Обратите особое внимание на CGI или ISAPI скрипты - наш робот
индексирует их наравне с другими документами.
В простейшем виде (разрешено все, кроме директории скриптов) файл robots.txt
выглядит следующим образом:
User-Agent: *
Disallow: /cgi-bin/
Детальное описание спецификации файла можно прочитать на странице:
"Стандарт исключений
для роботов".
Как выяснить, что Yandex проиндексировал на моем сервере?
Если в Расширенном поиске, в
разделе "Сайт/вершина", в поле "Искать только на данном сайте" Вы укажете
свой URL и нажмете кнопку "Найти", то в результате поиска Вы увидите все
страницы Вашего сервера, проиндексированные Яndex'ом.
Источник:
http://www.yandex.ru/
|
|
|
|
|