Раскрутка сайта во всех поисковиках!
Yandex, Rambler, Google
100% гарантии. Звоните!

+7 (495) 544-56-35

Перезвоните мне


English

| Выпускается по будням | Тел.: +7 (495) 544-5635

Главная  /  Новости сайта  /  Обновления Яндекс в системе распознания robots.txt

Обновления Яндекс в системе распознания robots.txt


Реклама в интернете
     Поисковая раскрутка
     Раскрутка сайта в рейтингах
     Медиапланирование
     Баннерные сети
     PR в Интернете и SMO
     Увеличение продаж
     Полезные статьи
     Оптимизация сайтов
     Контекстная реклама
Дизайн и креатив
     Рекламные носители
     Фирменный стиль
     Копирайтинг
     Мультимедиа презентации
     Оформление сайта в Новогоднем стиле
Реклама вне интернета
     Телевидение
     Радио
     Метро и электрички
     Пресса
     Наружка

Поисковые роботы Яндекс отныне не классифицируют директиву Allow как запрет к доступу в robots.txt.

Очень распространенная картина, когда индекс-робот не в состоянии попасть на веб-ресурс по причине наличия в нем случайно установленного в файлах robots.txt ограничения по входу на любую страницу. Типичная ошибка возникает по причине применения пустой директивы Allow:

Раньше для робота поисковой системы Яндекс такое упущение воспринималось как критическое, что закрывало им доступ на посещение сайта. В случае преднамеренного запрета доступа робота к некоторым страницам, веб-мастера и владельцы сайтов зачастую прописывали соответствующую команду.

Понимая это, в компании Яндекс было принято решение об изменении алгоритма обработки роботом данной директивы – теперь она не принимается во внимание в robots.txt. В случае же наличия умышленно оставленного пустого правила Allow, с целью корректного понимания запрета роботом, необходимо изменить правило на директиву Disallow:

Используя Яндекс.Вебмастер, можно увидеть, что открыто к доступу, а что нет. Особенно внимательными следует быть при наличии пустых значений, направленных на запрет индексирования: их следует избегать. Источник: Яндекс