Один из способов, с помощью которого роботы открывают новые сайты, – это ссылки.

Если другой веб-сайт ссылается на ваш сайт, это упрощает путь для робота.

В первые дни Интернета веб-мастерам приходилось размещать свой сайт в поисковых системах, чтобы его могли обнаружить роботы.

Теперь роботы найдут ваш сайт самостоятельно.

И добавление вашего сайта в бесплатных службах, таким как Инструменты Google, поможет в этом процессе обнаружения.

Как только робот обнаруживает новую страницу или сайт, он анализирует весь контент и данные на странице, чтобы определить, о чем идет речь.

Затем сайт добавляется в базу данных.

Каждая страница находится в каталоге, поэтому поисковые системы могут быстро ссылаться на данные при необходимости и возвращать соответствующие результаты в ответ на поисковый запрос пользователя.

Чтобы ускорить процесс, по всему миру расположены центры обработки данных, которые позволяют быстро получать доступ к большому количеству информации.

И работа SCO заключается в том, чтобы понять, что делает веб-сайт релевантным для поискового запроса.

В прошлом поисковые системы смотрели только контент на вашей странице или какие ключевые слова, использовались наиболее часто.

Сейчас поисковые системы стали намного умнее.

И сегодня существуют сотни факторов, влияющих на релевантность результатов поиска.

В свое время был создан стандарт исключения роботов, который устанавливает стандарты того, как поисковые системы должны индексировать или не индексировать контент.

И используя стандарт исключения роботов, веб-мастера могут указывать поисковым системам, какой контент они хотят сканировать и какой контент они хотят, чтобы поисковые системы оставили в покое.

Вы можете заблокировать просмотр роботом всего сайта или только определенных страниц.

По умолчанию вся публичная информация сканируется и публикуется.

К концу 1993 года были созданы три поисковых системы.

Хотя ни одна из них не показала себя достаточно хорошо, чтобы сохраниться.

Jumpstation собирала заголовки веб-страниц и извлекала их с помощью простого линейного поиска.

WWW Worm индексировала заголовки и URL, но отображала результаты только в том порядке, в котором они были обнаружены.

Третья система Spider Based Software Engineering или RBSE, не имела никакой системы ранжирования.

И по сути, чтобы пользоваться любой из этих поисковых систем, вам нужно было знать точное название того, что вы искали.

Примерно в то же время шесть старшекурсников из Стэнфорда создали поисковую систему, которая оценивала результаты на основе статистического анализа взаимосвязей слов.

С ростом Интернета двое студентов в Стэнфорде Джерри Янг и Дэвид Фило создали то, что мы знаем сегодня как Yahoo.

Эти студенты использовали Интернет, который был всего лишь набором файлов, чтобы найти самую свежую спортивную информацию.

И они быстро поняли, что для эффективного использования Интернета людям нужен каталог, чтобы помочь пользователям перемещаться по информации.

Они начали создавать каталог и вручную компилировать веб-сайты, которые они нашли, в коллекцию категорий и подкатегорий.

Пользователи Интернета могли кликать по этому каталогу, чтобы находить новую информацию и сайты.

Этот каталог назывался «Руководство Дэвида и Джерри по всемирной паутине».

И был первым сайтом, который собирал сайты, чтобы пользователям было легче находить информацию, которую они искали.

По мере того, как Руководство Дэвида и Джерри по всемирной паутине набирало популярность, они поняли, что им нужно более броское имя. Так они создали Yahoo!