Internetnosti

Аркадий Волож, генеральный директор и совладелец компании рассказал «Ведомостям», почему «Яндекс» не торопится с IPO.

Публикуем интервью руководителя отдела веб-поиска компании Яндекс для июньского номера журнала “IT спец”.

Наглядный и повседневный при мер - компания решила создать свой собственный сайт для привлечения потенциальных клиентов. Что необходимо учесть уже на этапе создания сайта, чтобы он был интересен поисковым системам, в частности Яндексу?
Робот поисковой системы — программа, которая заходит на сайт на тех же правах, что и случайный, но очень любопытный пользователь. Он узнает о сайте по ссылкам на других сайтах или когда ему скажут о существовании сайта прямо (с помощью http://webmaster.yandex.ru/). Анализируя страницу, на которую где-то сослались, робот пытается обнаружить, какие еще документы есть на сайте, скачать их, проиндексировать, найти следующие документы, другой сайт… и так до бесконечности.

Некоторые сайты боятся слишком активной индексации. Во-первых, она может создать большой трафик, за который владелец сайта платит. Во-вторых, если у сайта ненадежный хостинг, а скрипты небрежно написаны, интенсивное скачивание страниц роботом может перегрузить сайт и пользователи не смогут к нему «достучаться», пока его обходит робот. В-третьих, тексты пишут люди, поэтому сайтов, где есть миллионы полезных и осмысленных страниц, крайне мало. И если сайт готов отдать, скажем, миллиард документов, значит, они генерируются скриптом и не всегда приемлемы для людей. В результате роботу приходится выбирать, какие сайты обходить чаще, какие реже. Он пытается избегать индексации техногенного мусора, старается отличать «еще один сайт» от «уникального полезного сайта».