1 августа 2007 г. Автор: Михаил Дубицкий
Google изменил REP
Google внес изменения в стандарт REP, который используется файлами Robots.txt для googlebot. Были введены новые META-теги для роботов: unavailable_after и X-Robots-Tag. С их помощью можно исключить страницу из результатов поиска после указанной даты, запретить кэширование страницы и еще несколько возможностей. При использовании unavailable_after страница не показывается в выдаче, но остается в индексе поисковика.
Читать другие похожие записи:
