Обзор современных информационно-поисковых систем

Поисковая система Google

Структура Google

Поисковый робот Google имеет User Agent – Googlebot, который является основным роботом, сканирующим содержание страницы для поискового индекса. Помимо него существуют ещё несколько специализированных роботов:

Googlebot-Mobile – робот, индексирующий сайты для мобильных устройств;

Google Search Appliance (Google) gsa-crawler– поисковой робот нового аппаратно-программного комплекса Search Appliance;

Googlebot-Image — робот, сканирующий страницы для индекса картинок;

Mediapartners-Google – робот, сканирующий контент страницы для определения содержания AdSense;

Adsbot-Google – робот, сканирующий контент для оценки качества целевых страниц AdWords.

Существует теория «эффекта песочницы», которая утверждает, что сайты, которые имеют новые доменные имена или частые смены владельцев, помещаются в «песочницу» (зону ожидания) и пребывают там, пока механизм Google не сочтет сайт готовым из нее выйти.

Так же существует обратная теория, называющаяся «Бонус новичка», в которой при первоначальной индексации сайта, в силу некоторых аспектов (например, нескольких ссылок с авторитетных ресурсов), сайту сразу присваивается высокий Page Rank и хорошие места в поисковой выдаче. По истечении некоторого времени, после снятия этого эффекта, сайту присваиваются его реальные показатели.

4.1.2. Концепция PageRank

Google заставил мир поисковых систем перевернуться с ног на голову благодаря своей концепции PageRank, которая оказалась настоящим технологическим прорывом и которую сейчас использует большинство ведущих поисковых систем для обеспечения более качественного поиска. Технология поиска PageRank компании Google работает путем установления, в первую очередь, структуры ссылок во всей сети, а затем, ранжируя каждую отдельную страницу, основываясь на числе и значимости ссылок на нее на других страницах. Таким образом, значимость ссылок (популярность и релевантность обратных ссылок) намного более важна, чем их число.

Показатель PageRank определяется по формуле

,

где d – демпфирующий коэффициент, отражающий какую долю веса может передать страница-донор на страницу-акцептор; n – количество страниц, ссылающихся на страницу-акцептор (на которые не наложен фильтр); T _i – i-ая ссылающаяся страница; C – количество внешних ссылок на странице-доноре.

Google использует интеллектуальную технику анализа текстов, которая позволяет искать важные и, вместе с тем, релевантные страницы по вашему запросу. Для этого Google анализирует не только саму страницу, которая соответствует запросу, но и страницы, которые на нее ссылаются, чтобы определить ценность этой страницы для целей вашего запроса. Кроме того, Google предпочитает страницы, на которых ключевые слова, введенные вами, расположены недалеко друг от друга.

Программное обеспечение, используемое для реализации технологии поиска Google, проводит ряд одновременных вычислений, которые занимают не больше доли секунды. Традиционные поисковые системы в большей степени основываются на том, как часто слово появляется на веб-странице. Google же изучает всю структуру веб-ссылок и определяет, какие страницы наиболее важны, с помощью PageRank. Затем проводится анализ соответствия гипертекста и выбор страниц, наиболее подходящих для конкретного поиска. На основании общей значимости и соответствия запросу Google отображает в первую очередь наиболее релевантные и достоверные результаты.

Технология PageRank объективно оценивает значимость веб-страниц, основываясь на уравнении, включающем более 500 миллионов переменных и 2 миллиарда терминов. Вместо того, чтобы подсчитывать прямые ссылки, PageRank рассматривает ссылку со страницы А на страницу Б как голос в пользу страницы Б от страницы А. Затем по количеству полученных голосов PageRank определяет значимость данной страницы.

PageRank также оценивает важность каждой страницы, принимающей участие в голосовании. При получении голосов от страниц с большей значимостью ссылка становится более ценной. Значимые страницы получают более высокий рейтинг PageRank и отображаются в начале результатов поиска. Технология Google использует совокупные интеллектуальные веб-средства, чтобы определить значимость страницы. Человеческий фактор или подтасовка результатов невозможны, и именно поэтому пользователи доверяют Google как источнику объективной информации, в результатах поиска которого отсутствуют проплаченные рекламные объявления.

Анализ соответствия гипертекста: поисковая система Google, как и другие системы, также анализирует содержание страницы. Однако вместо простого сканирования текста страницы (который может выполнить веб-издатель с помощью метатегов) технология Google анализирует все содержание страницы, особенности шрифтов, разбивки текста и точное расположение каждого слова. Google также анализирует содержание соседних веб-страниц, чтобы убедиться в том, что полученные результаты наиболее точно соответствуют запросу пользователя.

4.1.3. Поисковые запросы Google

Интерфейс Google содержит довольно сложный язык запросов, позволяющий ограничить область поиска отдельными доменами, языками, типами файлов и т. д. Например, поиск «intitle: Google site: wikipedia.org» даст все статьи Википедии на всех языках, в заголовке которых встречается слово Google.

4.1.4. Базовые возможности Google

Google значительно выделяется в рядах поисковых систем-конкурентов своим предельно простым и легко узнаваемым интерфейсом стартовой страницы, на которой расположены только ссылки на основные базы данных Google, страницу настроек, расширенный поиск и языковые инструменты. Опция «I’m Feeling Lucky» («Мне повезет») выдаст на запрос одну-единственную ссылку, которая была бы первой в результатах обычного поиска. Важнейший элемент, с помощью которого происходит взаимодействие с поисковой системой, – это строка запроса. В различных базах данных Google сохраняются общие принципы поиска, но при этом у каждого раздела могут быть и собственные, актуальные только для него, операторы. Например, для поиска в Google Groups может применяться оператор inauthor, малополезный для поиска в других базах. Во многих случаях для того, чтобы найти нужную информацию, достаточно просто набрать нужное слово и просмотреть первый десяток-полтора результатов. Существует три основных способа работы с Google. Это строка простого поиска, которую мы видим по адресу google.com (или google.ru), расширенный поиск и прямая работа с URL. Каждый из способов имеет свои достоинства. Простейший запрос к Google – это одно слово или же сочетание слов. В более сложных случаях после отработки первоначального запроса начинается работа по коррекции запроса и постепенному отбрасыванию ненужных ссылок. Еще один широко распространенный вид простого поиска – поиск на точное совпадение фразы. Фраза в данном случае – это несколько слов, заключенных в кавычки. При этом поиск ведется по всем словам без исключения, учитывается также их порядок в запросе. Эти виды поиска можно комбинировать. Значительно расширить гибкость поиска позволяет использование операторов – специальных команд поиска, позволяющих уточнить запрос.

4.1.5. Сервисы Google

Google Answers – сервис для коллективного получения ответов на возникающие вопросы.

Google AdSense – сервис контекстной рекламы, позволяющий заработать хозяевам страниц с большой посещаемостью. Программа автоматически доставляет текстовые и графические объявления, рассчитанные на веб-сайт и его содержание.

Google AdWords – сервис контекстной рекламы, работает с ключевыми словами.

Google Alerts – отправление на почту результатов поиска с заданной периодичностью.

Google Analytics – бесплатный сервис, предоставляющий детальную статистику по трафику веб-сайта.

Google App Engine – платформа для создания и хостинга масштабируемых веб-приложений на серверах компании Google.

Google Apps – сервис для использования служб Google вместе со своим доменом.

Google Merchant Center (ранее Google Base) позволяет владельцам контента помещать структурированную информацию в хранилище, автоматически получая возможность поиска по этой информации.

Blogger – это сервис для ведения блогов, позволяющий держать на своём хостинге только программное обеспечение, а всю информацию: записи, комментарии и персональные страницы – в СУБД на серверах Google.

Google Bookmarks – позволяет отмечать сайты закладками, добавлять к ним ярлыки и примечания. По ярлыкам и примечаниям можно делать поиск, закладки хранятся на сервере и доступны с любого компьютера.

Google Buzz – инструмент социальной сети, разработанный компанией Google и интегрированный в Gmail.

Google Calendar – онлайновый сервис для планирования встреч, событий и дел с привязкой к календарю. Возможно совместное использование календаря группой пользователей. Кроме того, сервис интегрирован с Gmail.

Google Checkout – сервис обработки онлайновых платежей, имеющий целью упростить процесс оплаты онлайновых покупок. Веб-мастера могут использовать данный сервис в качестве одной из форм оплаты. Работает по всему миру.

Google Docs – веб-ориентированное приложение для работы с документами, допускающее совместное использование документа.

Google Directory (ранее Catalogs) – содержимое сети, организованное по разделам в категориях.

Google Dictionary – сервис для перевода отдельных слов на другие языки.

Google Finance – сайт-агрегатор биржевой информации.

iGoogle (ранее Google Portal, Google Fusion и Personalized Homepage) – сервис для создания персональных страниц, использующих AJAX.

Gmail – бесплатная электронная почта с большим объёмом места для хранения сообщений (более 7, 2 Гб), с доступом по POP3 и удобным веб-интерфейсом. Также является OpenID-провайдером для всех служб Google.

Google Groups – архив конференций Usenet.

Google Knol – вики-энциклопедия, состоящая из авторских статей по заданным темам.

Google Labs – инкубатор идей для новых сервисов, предназначенный для тестирования интерфейса и т. п.

Google Maps – набор карт, построенных на основе бесплатного картографического сервиса.

Google Maps API – интерфейс, позволяющий встраивать карты на внешние сайты с помощью JavaScript.

Google Mars – карты Марса.

Google Moon – карты Луны.

Google Mobile – интерфейс для использования приложений Google с помощью мобильных устройств.

Google News – автоматически создаваемый новостной сайт, на котором собраны заголовки более чем из 400 источников новостей по всему миру: похожие статьи группируются, а затем показываются в соответствии с личными интересами каждого читателя.

Google Orkut – социальная сеть, в которой пользователи могут указывать свою персональную и профессиональную информацию, создавать связи с друзьями и объединяться в сообщества по интересам.

Google Picasa Web – персональные галереи фотографий.

Google Public DNS – альтернативный DNS-сервер Google.

Google Reader – RSS-аггрегатор, позволяющий читать потоки новостей в форматах Atom и RSS.

Google Talk – программа для обмена мгновенными сообщениями (на основе протокола XMPP) и интернет-телефон.

Google Search History – история поисковых запросов пользователя.

Google Sites – бесплатный хостинг, использующий вики-технологию.

Google Translate – система статистического машинного перевода слов, текстов, фраз, веб-страниц между любыми парами языков.

Google Wave – сайт, объединяющий в себе функции электронной почты, вики, социальной сети, системы мгновенных сообщений.

Google Webmasters – инструменты для вебмастеров.

YouTube – сервис, предоставляющий услуги видеохостинга. Пользователи могут добавлять, просматривать и комментировать те или иные видеозаписи. Благодаря простоте и удобству использования, YouTube стал популярнейшим видеохостингом и третьим сайтом в мире по количеству посетителей.

Google Blog Search – сервис поиска по блогам. В результаты поиска включены все блоги на всех языках.

Google Book Search – полнотекстовый поиск по книгам, оцифрованным компанией Google (свыше 10 миллионов книг из крупнейших библиотек США).

Google Code Searсh – поиск по исходным кодам, выложенным в Интернет в открытом виде.

Froogle – это поисковый сервис Google для получения информации о предложениях товаров, которые можно заказать в интернет-магазинах. В настоящий момент действует только для США и Канады.

Hackser Style Google – интерфейс поиска на языке Leet.

Google Images – сервис поиска картинок в поисковой системе Google.

Google Government Search Google – поиск по правительственным сайтам Соединённых Штатов Америки.

Special Searches – поиск на специализированных сайтах (BSD, Linux, Mac OS X и Microsoft).

Movie Showtimes – киноафиша.

Google Patents Search – поиск по патентам среди свыше 7 миллионов доступных в базе данных.

Google Scholar – сервис для поиска по научным источникам: статьям, книгам, диссертациям, опубликованным различными научными организациями и профессиональными сообществами.

Google Suggest – часть поиска Google, технология автозаполнения строки поискового запроса на основе общей статистики самых популярных запросов.

Google Video – сервис для поиска, просмотра и сохранения видео.

Google Weather – часть поиска Google, позволяет получать 4-дневный прогноз погоды для городов мира.

Телефонная книга – служба Google, которая позволяет найти телефонные номера и адреса, опубликованные в общедоступных источниках. Результаты поиска из адресной книги Google появляются над остальными результатами при вводе определенных типов запросов (имени, фамилии, города и т. д.).

Языковые инструменты (Переводчик) – инструмент, позволяющий использовать Google на множестве различных языков.

Калькулятор – сервис для расчетов, встроенный в строку поиска. Сервис знает множество математических функций, умеет соблюдать приоритет операций.

Конвертер валют – например, 600 USD in RUR – сколько будет $600 в рублях.

4.1.6. Инструменты Google

Google Code – сайт для разработчиков, интересующихся разработкой открытого программного обеспечения, связанного с продуктами компании Google. Сайт содержит исходные коды и список их сервисов с публичным API.

Project Hosting – бесплатный специализированный хостинг GPL-проектов и др. свободных проектов.

Google Pack – установочный пакет, объединяющий пакеты ряда продуктов Google (Google Earth, Picasa, Google Desktop и др.) и несколько сторонних продуктов (Mozilla Firefox, Adobe Reader и др.).

Google Deskbar – размещает поиск Google на рабочем столе.

Google Desktop – средство поиска на компьютере пользователя. Программа устанавливается локально и индексирует сообщения электронной почты, текстовые документы, документы Microsoft Office, обсуждения из AOL Instant Messanger, историю переходов в веб-браузере, PDF-документы, музыкальные файлы, изображения, видеофайлы.

Google Earth – модель планеты Земля, созданная при помощи спутниковых снимков.

Picasa – программа для работы с цифровыми фотографиями, интегрированная с Google Blogger и Gmail.

Hello – дополнение к программе Picasa, позволяющее делиться своими фотографиями с друзьями без использования веб-сайта или электронной почты. Изображения пересылаются непосредственно от одного клиента к другому.

Google Toolbar – плагин для браузеров Internet Explorer и Mozilla Firefox, представляющий собой панель поискового сервиса Google и выполняющий ряд дополнительных функций.

Google Web Accelerator — программа, ускоряющая работу браузера путём кеширования и предварительного скачивания информации, которая, возможно, будет интересовать пользователя. Программа использует прокси-сервера, принадлежащие Google.

4.1.7. Аппаратное обеспечение Google

Google Search Appliance – это аппаратно-программное решение, предназначенное для корпоративной интранет-сети. Это устройство выполняет периодический просмотр и индексирование документов (в базовой модели – до 500 000 документов) для поиска на внутренних или внешних корпоративных веб-сайтах или других ресурсах, доступных через веб.

Google Mini – мини-версия устройства Search Appliance, названная Google Mini и предназначенная для небольших и средних компаний. Базовая модель устройства индексирует 100 000 документов. В январе 2006 года были предложены ещё две модели, на 200 000 и на 300 000 документов. Кроме того, 2 марта 2006 года была анонсирована модель на 50 000 документов.

4.1.8. Будущеее Google

Google хочет получить более глубокий, чаще обновляющийся и более персонализированный индекс. Будущее будет в меньшей степени касаться отдельных возможностей и в большей – общей полезности и эффективности работы системы. Руководство и разработчики Google считают, что пользователям нужны, в первую очередь, релевантные результаты, но они также хотят и быстрого, чистого и честного поиска. Главное достоинство HTML-кода – это то, что написать его может почти каждый. Это одна из причин столь бурного роста WWW в последние годы. XML – превосходная возможность для связи между электронными системами, но составлять его вручную намного сложнее.

Основное преимущество поисковой системы Google – это простота ее использования. Разработчики этого поисковика стремились сделать поисковую систему, которая могла быть доступной каждому пользователю сети без владения какими-либо специальными знаниями. Реализовать данную задачу у разработчиков успешно получилось. Google является самым удобным и простым Интернет-ресурсом.

При введении ключевых слов она не требует использования специальных знаков (кавычек, заглавных букв и тому подобное), а это значительно облегчает процесс поиска нужной информации. Кроме этого, среди положительных качеств Google можно отметить ее огромную базу данных. На настоящий момент она насчитывает более трех миллиардов страниц, поэтому база этого поисковика входит в список самых больших.

Еще одно, безусловно, хорошее и важное качество поисковой системы Google – это высокая скорость работы. Перед рабочими компании Google стояла задача сделать поисковую систему быстрой и эффективной. Теперь, сделав запрос, пользователи практически тут же получат результат поиска. Это стало возможно благодаря разработчикам, которые значительно «облегчили» странички с результатами поисков. На них присутствует минимальное количество рекламных объявлений, графики, кроме этого, значительно был сокращен текст с описанием страниц.

Главный плюс – поисковая система Google показывает достаточно точную информацию. Результаты поиска обычно соответствуют запрашиваемым запросам. При этом ссылки на сайты, которые наиболее соответствуют указанным запросам, находятся вверху страницы. Также Google является, наверное, единственным поисковиком, в котором учитывается не только количество найденных страниц, но и их качество.

Неоспоримое преимущество Google – наличие дополнительных функций. Например, эта поисковая система может позволить пользователю познакомиться с содержанием страниц, которые были уже закрыты.

Однако у Google есть и ряд различных недостатков. Например, часто там можно встретить ссылки на сайты с уже ненужной и устаревшей информацией. Также случается, что ссылки, находящиеся в результате поиска, ведут на сайт, который в стадии разработки. Из-за этих сайтов пользователи тратят свое время попусту, и поэтому снижается продуктивность работы системы поиска.

Отсутствие возможности отметить конкретную грамматическую особенность слова или ударение тоже значительно ухудшают процесс поиска.

Но все же, несмотря на недостатки, система Google считается самой эффективной и быстрой, это ей позволяет завоевывать большее количество пользователей сети Интернет, чем какая-либо другая поисковая система. Кроме того, Google постоянно совершенствуется.

Поисковая система Яндекс

Структура Яндекса

Яндекс – это российский поисковый мультипортал, который специализируется на поиске любой информации.

Яндекс с самого начала своей работы:

– вел проверку контента на уникальность, отвергая клонированные тексты;

– исключал клоны из поиска, либо ранжировал их крайне низко;

– вел учет морфологии, стремясь исправлять ошибки;

– предложил поиск с учетом удаленности ключевых фраз от начала текста,

– вел оценку релевантности страниц;

– учитывал, помимо количества запросов определенного слова, частоту его употребления (насыщенность), положение в тексте (разбросанность), расстояние между словами;

– реализовал функцию «вопрос-ответ».

В структуру Яндекса входят три модуля:

– робот или краулер (crawler) или спайдер (spyder);

– база данных;

– клиентская часть.

Робот – подсистема, обеспечивающая просмотр (сканирование) Интернета и поддержание инвертированного файла (индексной базы данных) в актуальном состоянии. Этот программный комплекс является основным средством сбора информации о наличии и состоянии информационных ресурсов сети. Робот представляет собой специальную программу с функцией обхода в сети по расписанию интернет-ресурсов, индексации интересных страниц и с загрузки содержимого в базу данных поисковой системы, которая хранится на особых серверах.

Поисковая база данных (так называемый индекс) – специальным образом организованная база (index database), включающая, прежде всего, инвертированный файл, который состоит из лексических единиц, взятых из проиндексированных веб-документов, и содержит разнообразную информацию о них (в частности, их позиции в документах), а также о самих документах и сайтах в целом.

Клиентская часть отвечает за обработку запросов, поступающих от пользователей, а также за выдачу нужной информации - релевантных результатов поиска. Для их выдачи Яндекс обращается в ту самую собственную базу данных, определяет и выдает наиболее подходящие под запрос страницы.

Алгоритмы Яндекса

Поисковая система Яндекс применяет алгоритм ранжирования, который позволяет пользователю осуществить наилучший поиск нужных страниц, максимально соответствующих его запросу.

Алгоритм ранжирования можно назвать сложной системой математических формул. С их помощью происходит оценка факторов, по совокупности которых и их анализу поисковик определяет пользу страницы и ее рейтинг. Как и в прежние годы, сохранились основные факторы ранжирования, к которым присоединились дополнительные показатели - характеристики документа. В настоящее время в ранжировании участвуют около 250 факторов, среди них можно выделить:

– присутствие слов из запроса в контексте страницы;

– присутствие таких слов в мета-тэгах, заголовках;

– существование ссылок на ранжируемый документ;

– наличие комментариев к ссылкам и изображениям;

– авторитетность ресурса.

Основой работы поисковых систем как Google, так и Яндекс является система кластеров. Вся информация делится на определенные области, которые относятся к тому или иному кластеру. Индексация сайтов с целью получения данных о размещенной на них информации выполняется роботами-сканерами. Существуют следующие виды сканирующих роботов: основной робот-сканер и робот-сканер, отвечающий за сбор информации на ресурсах с частым обновлением содержания. Второй тип сканирующего робота предназначен для быстрого обновления списка проиндексированных ресурсов и значения их индексов в поисковой системе. Для наиболее полного обеспечения сбора информации в системе Яндекс применяются обновления базы поиска и обновления программного кода. База поисковой информации обновляется несколько раз в течение месяца, при этом на поисковые запросы выдается обновленная информация с сайтов. Такая информация добавляется с помощью основного робота-сканера. При обновлении программного кода выявляются недостатки и изменяются алгоритмы, отвечающие за ранжирование ресурсов в поисковой системе. Как правило, перед выходом таких обновлений Яндекс публикует соответствующие анонсы.

Основная особенность системы Яндекс, делающая популярной ее среди русскоязычных пользователей, – это способность определять различные словоформы с учетом морфологических особенностей русского языка. При этом значения запроса с помощью геотаргетинга и формул поиска преобразуется в максимально точную формулировку. Кроме того, Яндекс отличается алгоритмом по определению релевантности индексируемых страниц (релевантностью называют соотношение содержания веб-страницы к содержанию поискового запроса). Также к положительным сторонам можно отнести высокую скорость ответной реакции на запросы и устойчивую, без перегрузок, работу серверов.

Большое значение для поисковой системы имеют динамические ссылки, наличие которых может привести к отказу от индексации ресурса поисковым роботом.

В процессе индексации Яндекс распознает текстовую информацию в документах с расширениями: .pdf, .rtf, .doc, .xls, .ppt. Последние два относятся к программам входящими в комплект Microsoft Office: Excel и PowerPoint.

При индексировании сайта поисковая система считывает данные из файла robots.txt, при этом поддерживается атрибут Allow и часть метатегов, а метатеги Revisit-After и Keywords игнорируются.

Так как сниппеты – краткие описания текстовых документов – составляются из фраз на искомой странице, то использование описания в теге не является обязательным, но может использоваться в отдельных случаях.

По заявлениям разработчиков кодировка индексируемых документов определяется автоматически, а значит, и метатег кодировки не имеет большого значения.

Поисковая система большое значение придает показателю последнего изменения информации (Last-Modified). Если сервер не будет передавать эту информацию, то процесс индексации данного ресурса будет происходить намного реже.

Пока что остается нерешенной проблема страниц, использующих фреймовые структуры, но она может быть обойдена с помощью скриптов, отправляющих пользователей поисковой системы в нужное место сайта.

Если у сайта существуют «зеркала» (например, http: //www.site.ru, http: //site.ru, https: //www.site.ru, https: //www.site.ru), необходимо принять соответствующие действия для исключения их из процесса индексации. Если индексацию «зеркал» избежать не удалось, можно «склеить» их путем внесения необходимой информации в robots.txt.

В случае попадания сайтов в «Яндекс.Каталог» система будет идентифицировать их как заслуживающих отдельного внимания, что может повлиять на продвижение сайтов. Также это способствует упрощению процедуры определения тематики сайта, что в свою очередь означает получение сайтом значимой внешней ссылки.

Роботы Яндекса

Команда поисковой системы Яндекс держит в секрете IP-адреса своих роботов. Но в лог-файлах отдельных сайтов можно встретить текстовые пометки, оставленные поисковыми роботами Яндекс.

Одними из самых интересных роботов-сканеров поисковой системы Яндекс можно назвать:

Yandex/1.01.001 (compatible; Win16; I) – основной робот, занимающийся непосредственно индексацией сайтов;

Yandex/1.01.001 (compatible; Win16; P) – робот-индексатор изображений;

Yandex/1.01.001 (compatible; Win16; H) – робот, который выявляет «зеркала» индексируемых сайтов;

Yandex/1.02.000 (compatible; Win16; F) – робот-индексатор пиктограмм ресурсов (favicons);

Yandex/1.03.003 (compatible; Win16; D) – робот, который обращается к страницам, добавленным с помощью формы «Добавить URL»;

Yandex/1.03.000 (compatible; Win16; M) – задействуется при переходе на страницу посредством ссылки «Найденные слова»;

YaDirectBot/1.0 (compatible; Win16; I) – этот робот отвечает за индексацию страниц ресурсов, принимающих участие в рекламной сети Яндекс.

Из всех поисковых роботов самый важный так и называется – основной поисковый робот. От того, как он проиндексирует страницы сайта, будет зависеть значимость ресурса для поисковой системы.

Работа всех роботов происходит по индивидуальному расписанию, и если сайт проиндексирован одним из них, то это не значит, что скоро будет произведена индексация и другим.

В помощь основным созданы и роботы, которые периодически посещают сайты и устанавливают, насколько те доступны. К таким можно отнести роботов «Яндекс.Каталога» и рекламной сети Яндекс. [6]

⇐ Предыдущая567891011121314Следующая ⇒

Поделиться: