 Покупка и продажа готовых сайтов |
|
Главная  О проекте
Продажа сайтов
Покупка сайтов
Регистрация
Контакты
|
Вход для пользователей |
IT НовостиRobots.txt – один для всехНакануне Google, Yahoo! и Microsoft совместно детализировали, каким образом каждый из них поддерживает файл robots.txt и соответствующие мета-теги. Отметим, что это не реализация нового стандарта (как это было с протоколом sitemaps), это прояснение стандартного способа блокирования доступа роботов поисковых систем к веб-сайтам. Большая тройка официально представила основной набор robots.txt и мета-тегов директив, которые поддерживает каждая из них. | ||||
 | ||||
| Поддерживаемые директивы robots.txt: Disallow Allow use of wildcards Sitemap location Поддерживаемые мета-теги robots.txt: noindex nofollow noarchive nosnippet noodpt Напомним, ранее Google и Yahoo! уже сообщали о принятии общего стандарта файла robots.txt, Microsoft тогда поддерживал не все, но большинство директив. 3 июня этого года все три поисковика заявили об унификации своей работы со стандартом REP (Robots Exclusion Protocol). В тот же день на официальных ресурсах вышеперечисленных поисковиков были опубликованы посты с перечнем поддерживаемых директив и мета-тегов robots.txt, а также подробное описание их назначения. Здесь можно ознакомиться с постами Google, Yahoo! и Microsoft. 07.06.08
Еще новости
|