Два новых робота от Google
Для того чтоб индексировать новые сайты поисковые системы выпускают в Мировую паутину так называемых «пауков». Их ещё называют поисковыми роботами. Они переходят от ссылки к ссылке и добавляют в базу данных всю информацию о страницах сайта. Поисковые роботы Google имеет название «Googlebot».
Разновидности поисковых роботов Google.
Вероятно, многими веб-мастерами было замечено то, что у Google появилось две разновидности поисковых роботов. Оба они индексируют страницы.
- Обычный робот Google: 66.249.64.47 - "GET /robots.txt HTTP/1.0" 404 1227 "-" "Googlebot/2.1"
- Дополнительный робот Google: 66.249.66.129 - "GET / HTTP/1.1" 200 38358 "-" "Mozilla/5.0"
Различия между этими роботами.
Новый робот называется "Mozilla/5.0", это означает, что Googlebot сможет теперь понимать протокол HTTP 1.1. Это ещё значит, что новый поисковой робот сможет понимать намного больше разновидностей контента, включая сжатые страницы.
Поисковые роботы AdWords
В Google используются специальные роботы для сканирование страниц на пригодность размещения на них рекламы и для определения тематики сайта (также для рекламы). Вместе с тем они служат для определения качества вашей страницы, для назначения цены за рекламу. Чем выше качество - тем дороже.
Источник -
Читать другие похожие записи:
