История поисковых машин: с 1945 года до Google 2006

Ask.com (бывший Ask Jeeves)

В апреле 1997 был запущен Ask Jeeves как поисковик, позволяющий формулировать запросы на естественном языке. Ask Jeeves использовал людей в качестве редакторов. Ask использовал технологию DirectHit для ранжирования результатов по популярности, но эта технология оказалась неустойчива к спаму. В 2000 году вышел поисковик Teoma, который использовал систему кластеров по теме, спецификации, популярности. В 2001 Ask купил Teoma для того чтобы заменить им технологию DirectHit.

Работа Джона Клейнберга "Источники авторитетности в гипертекстовом пространстве" [PDF] послужила источником вдохновения для создателей Teoma. В "Очищении тем" [PDF] Майкла Грехана также объясняется идея работы поисковика, исходя из популярности, темы и спецификации.

4 марта 2004 года AskJeevs согласились выкупить Interactive Search Holdings за 9.3 миллиона акциями 150 миллионов наличными. 21 марта 2005 года Барри Диллер (IAC) согласился купить Ask Jeeves за 1.85 миллиардов долларов. IAC владеет многими популярными сайтами, среди которых: Match.com, Ticketmaster.com и Citysearch.com; и промоутит Ask в основном через них. В 2006 Ask Jeevs был переименован в Ask, а бренду Teoma пришел конец.

AllTheWeb

AllTheWeb - это поисковая платформа, запущенная в мае 1999 для того, чтобы продемонстрировать возможности быстрых поисковых технологий. У них был глянцевый интерфейс и множество возможностей для продвинутого поиска, но 23 февраля 2003 года AllTheWeb был куплен Overture за 70 миллионов. После того как Yahoo! Выкупила Overture, они позаимствовали некоторые из технологий AllTheWeb и сейчас иногда используют AllTheWeb как тестовую площадку.

Мета-поисковики

Мета-поисковики заимствуют результаты выдачи из других поисковиков, затем комбинируют и переранжируют эти результаты. Это было достаточно полезно, когда поисковики не очень активно индексировали Сеть, и у каждого из них фактически был собственный индекс. По мере того как они улучшались, надобность в мета-поисковиках отпала.

Hotbot принадлежал Wired, у него были прикольные цвета, он быстро предоставлял результаты поиска, и, кроме того, его название звучало очень по-компьютерному. Но после того, как его купил Lycos, он просуществовал сравнительно недолго. Главным отличием Hotbot от других мета-поисковиков было то, что за один раз он брал результаты из одного поисковика, а не из нескольких, но позволял пользователю выбирать из какого именно поисковика он хочет увидеть результаты (у него была возможность выбирать из нескольких популярных поисковиков).

На сегодняшний день Dogpile, который принадлежит Infospace, является, наверное, самым популярным мета-поисковиком на рынке, но, как и у других мета-поисковиков? его доля на рынке очень ограничена.

Одна из самых больших проблем с мета-поисковиками заключается в том, что они комбинируют органические результаты с рекламными, и по некоторым особенно популярным запросам 70% результатов фактически составляет реклама. Я создал Myriad Search, проект мета-поисковика с открытым исходным кодом без рекламных объявлений.

Вертикальный поиск

Вертикальным поиском называются специальные виды поиска, например, в новостях, картинках, видео, аудио и др. форматах и типах данных. Основные поисковики обычно борются также и за долю рынка в вертикальном поиске независимо от основного поискового продукта. Например, Yahoo и MSN предоставляют услуги, где любой желающий может задать вопрос и получить на него ответ от другого пользователя системы. У Google есть (была - прим. ред.) подобная услуга с тем отличием, что те, кто отвечают, получают деньги за свою работу.

Google, Yahoo и MSN также сражаются за то, чтобы стать единственными на рынке видео в Сети, хотя в этой вертикали уже есть очень популярный стартап YouTube, который занимает сильные позиции.

Yahoo и Microsoft объединили свои усилия (Open Content Alliance) для предоставления услуги поиска по книгам. Google же пытается сделать это в одиночку.

Все три основных поисковика предоставляют услуги поиска по новостям. Yahoo заключил соглашения с несколькими крупными провайдерами новостей, чтобы их новости включались в результаты поиска для пользователей Yahoo. Google стал партнером с AP и другими новостными провайдерами для того, чтобы расширить поиск по новостям на 200 лет назад. Topix.net еще один популярный новостной источник, который 75% акций продал трем крупным компаниям, которые выпускают популярные газеты. Тысячи блогов ежедневно обновляются, многие из них конкурируют с серьезными новостными источниками и зачастую побеждают в этой борьбе. Если недостаточно новостей, можно воспользоваться сайтами социальных сетей как Del.icio.us, в котором списки популярных материалов обновляются очень часто. Кроме того, есть службы, которые вычисляют, что сейчас популярно в Сети – как Techmeme, а также сайты как Digg, которые позволяют пользователям добавлять новости и голосовать за них.

Google также ведет программу научного поиска, целью которой является упрощение проведения научных исследований.

В некоторых вертикалях, как, например, поиск по продуктам, другие игроки имеют более значительную долю рынка, которую они завоевали с помощью офлайновой рекламы (например, компании по типу "Желтых страниц"), или, перераспределяя потоки с основных поисковиков.

1 ноября 2005 года Google запустил Google Base, который является базой данных всего, чего угодно. Пользователи могут загружать файлы, описывать их и давать им название, а также назначать им тэги. Основываясь на этом, Google надеется понять, какие из вертикальных направлений им будет наиболее выгодно развивать. Они считают, что если бы в их распоряжении находились другие вертикали, то это позволило бы им привлечь больше трафика к их базовому сервису. Кроме того, они считают, что контекстная реклама, основанная на интересах пользователя, может быть прибыльной и в других областях. Например, Google купил dMarc, компанию, которая занимается размещением объявления на радио. Yahoo также попытались расширить свое присутствие на рынке за счет покупки популярных проектов, как Flickr сервис для хранения фотографий и сайт, посвященный закладкам del.icio.us.

Платное включение

Как я раньше уже упоминал, многие из директорий берут плату за включение (единоразовую, либо ежегодную) с коммерческих сайтов. Многие из поисковиков по продуктам, берут плату за клик.

По мере развития поисковиков, Inktomi популяризировал модель платы за включение. Их потом купили Yahoo, в декабре 2003. После того, как Yahoo отказались от Google и решили развивать собственный поиск, они продолжали брать плату за включение. Yahoo Search Submit – это единственная программа, которая дожила до наших дней и которая предлагает плату за включение в основные результаты поиска.

Плата за клик

Модель оплаты за клик предоставляет поисковику возможность продавать целевой трафик рекламодателям при оплате за клик. Чаще всего реклама с оплатой за клик таргетируется по ключевым запросам, но иногда некоторые поисковики предлагают еще и возможность настройки по географическому положению, по поведению пользователей, или позволяют рекламодателям участвовать в аукционе за трафик.

Аукционная модель стала очень популярной, тот, кто назначает самую большую ставку за клик, получает первое место по нужному запросу. Некоторые поисковики, такие как Google и Microsoft, также учитывают процент отклика по объявлению при расчете цены за клик. Это повышает кликабельность объявлений, и их релевантность. Рекламодатель, который благодаря хорошему тексту получит больше кликов, в итоге заплатит меньше.

Overture (бывший GoTo)

Overture – пионер в платном поиске - была основана Биллом Гроссом под названием GoTo в 1998 году. Его идеей было перераспределение и последующая продажа потоков трафика. В книге Джона Бетеля "Поиск" есть интересный отрывок о Билле Гроссе и основании Overture. Джон также опубликовал его на своем блоге.

"Чем больше я думаю об этом (Интернет), тем больше я понимаю, что настоящая его ценность заключается в демократичности и подотчетности," - говорил Гросс. "Гарантированная представленность должна стать моделью для оплаты медиа."

Гросс знал, что практически беспроигрышное предложение с оплатой за клик в развивающейся среде Интернета поднимет GoTо. И хотя многие говорят, что GoTo поднялся только за счет интернет-бума, основа его успеха заключается в том, что он работал.

Однако, несмотря на всю успешность Overture, в ней было два недостатка, которые не позволили ей занять те позиции, которые теперь занимает Google.

• Брендинг: Google позволил себе стать местом, куда приходят, чтобы искать. Билл Гросс решил не превращать Overture в нечто подобное из-за боязни потерять дистрибутивных партнеров. Когда AOL выбрал Google как рекламного партнера, несмотря на то, что Google и сам активно развивался, это были первые гвозди в гроб Overture как рекламной поисковой площадки.
• Эффективность рекламной сети: Google AdWords учитывает конверсию при расчете цены в своей сети, что обеспечивает высокую релевантность и эффективность от самой рекламы. К сентябрю 2006 Overture (теперь уже известная как Yahoo! Search Marketing) все еще не устранила этой проблемы.

Эти два фактора означают, что Overture слишком полагалась на своих партнеров Yahoo и Microsoft. Overture выкупила AltaVista и AllTheWeb, пытаясь отвоевать еще кусочек рынка, но в конце концов 14 июля 2003 года они продались Yahoo за 1.63 миллиарда долларов.

Google AdWords

Google AdWords запустили в 2000 году. Первоначальная версия потерпела неудачу, потому что была рассчитана на модель CPM. Некоторые ключевые слова оказались слишком дороги, и никто не могу их себе позволить, в то время как другие были напротив слишком дешевыми. В феврале 2002 года Google перезапустил Google AdWords, в новой версии продавая объявления по аукционной модели похожей на модель Overture, но добавив фактор конверсии для расчета цены и положения объявления.

Многие из тех, кто занимался бизнесом в Сети, тут же присоединились к этой кампании, так как точный таргетинг и широкий охват, позволяли просто разбогатеть, работая, что называется, "дома в трусах".

Со временем AdWords становились более популярными, и этой системой начинало пользоваться все больше классических маркетологов. Google же тем временем латал дыры, которые были в системе. Например, они запретили двойные объявления для одного и того же сайта. Позже, они стали уделять больше внимания страницам входа, и установили минимальные цены, которые выжили многих маленьких игроков с рынка.

Google собирается точный таргетинг, возможный с AdWords, перенести и на другие виды рекламы. Google уже протестировал рекламу в газетах. Теперь он предоставляет возможность покупки графической или видео рекламы на сайтах. 17 января 2006 года они объявили о покупке dMarc Broadcasting, компании, которая занимается размещением рекламы на радио.

15 сентября 2006 Google заключила партнерское соглашение с Intuit, которое позволит вебмастерам покупать AdWords, используя QuickBooks. Цель – сделать более точной настройку по месторасположению и таким образом позволить вебмастерам пользоваться AdWords.

Google AdSense

4 марта 2003 года Google объявила о своей контентно ориентированной рекламной сети. В апреле 2003 Google приобрела Applied Semantics, которая работала над технологией CIRCA, которая значительно улучшила тергетирование этой рекламы. Google стал использовать название AdSense для новой рекламной программы.

AdSense позволяет всем, кто публикует контент в сети, автоматизировать представление релевантных рекламных объявлений у них на сайте. Google первоначально начал с того, что предлагал текстовые объявления в нескольких форматах, но вскоре добавил графическую и видео рекламу. Рекламодатели выбирают, по каким ключевым словам рекламироваться и с помощью какого вида рекламы.

Для развития сети, Google со временем ввела возможность покупки рекламы на отдельных страницах и сайтах, кроме того, они добавили специальную ссылку, которая позволяла рекламодателям заходить в свой AdWords-аккаунт с любого сайта, на котором висела реклама от AdSense. Реклама, которая продается на сайтах, продается по модели CPM, на аукционе по ключевым словам.

Google также позволяет некоторым из своих партнеров располагать AdSense рекламу в RSS потоках, а некоторым в рассылках.

Для того, чтобы не вынуждать рекламодателей нести неоправданные расходы, Google предоставляет возможность рекламодателям не рекламироваться в сети, кроме того, они изобрели штуку под названием Smart pricing. Smart pricing автоматически устанавливает цену за клик на сайте, в зависимости от того, насколько эффективной Google считает рекламу на этом сайте.

Yahoo! Search Marketing

Yahoo! Search Marketing – это новый бренд Overture после того как Yahoo купили его. На сентябрь 2006 они практически не изменились по сравнению с тем, когда они назывались Overture, и все еще не исправили свой основной недостаток – не учет конверсии в расчете стоимости объявления, по-прежнему тяжело провести таргетинг по месторасположению, и вообще… мне не нравится эта программа.

Microsoft AdCenter

Microsoft AdCenter был запущен 3 мая, 2006. Хотя пока у Microsoft не очень хорошие позиции на рынке, они планируют увеличить свою долю после добавления возможности поиска в Internet Explorer 7. Что касается продвинутых возможностей, то Microsoft добавил демографический таргетинг и таргетинг в зависимости от времени суток.

Microsoft также изобрели XBox game console и 4 мая 2006 года объявили о том, что они купили фирму специализирующуюся на таргетировании в играх под названием Massive Inc. Не стоит удивляться, если рекламу в видео играх вскоре можно будет купить через Microsoft AdCenter.

Поисковая оптимизация

Что такое оптимизация? Поисковая оптимизация это исскуство и наука представления информации в таком виде, что поисковые машины думают, что она (опубликованныая информация) наиболее полно отвечает запросу пользователя. Оптимизация, как и поиск, область значительно более старая, чем я. На самом деле, изначально она даже не называлась поисковой оптимизацией, и вплоть до сегодняшнего дня большинство людей толком не знают, откуда произошел это термин.

Ранняя оптимизация

Ранняя поисковая оптимизация заключалась в основном в точном заполнении названий файлов, title страниц, а также их мета описаний. В то время в основном полагались на факторы на самой странице, так что вскоре к набору средств оптимизации прибавилось еще и написание текста с необходимой плотностью ключевых слов.

Анализ ссылок

Google PageRank, который оценивал страницу в зависимости от количества и качества входящих ссылок, был одним из преимуществ Google, которое позволило им опередить конкурентов. Вплоть до 2003 года результатами поиска можно было сравнительно просто манипулировать. Если вы хотели занять хорошие позиции по некоторым запросам, то все, что вам нужно было сделать – это купить несколько качественных ссылок и в тексте ссылок поставить ваши ключевые слова.

Поиск становится более сложным

Начиная с 15 ноября 2003 года, Google стал вводить в работу своего алгоритма все больше семантических элементов. Исследователи и оптимизаторы заметили много изменений как во время этого апдейта, так и после него, но большинство пользователей даже не представляют, что происходили какие-то изменения.

Поисковики предпочли, чтобы на первых местах выдачи были исключительно информационные ресурсы, таким образом, коммерческие объявления на страницах выдачи результатов выглядели бы более привлекательно. Вы можете поиграться, добавляя различное количество информационных и коммерческих ресурсов на страницу с помощью Yahoo! Mindset.

Уход от ссылочного спама

18 января 2005 года, Google, MSN и Yahoo объявили о выпуске тэга nofollow, который позволял владельцам блогов избавиться от спама в комментариях, лишив ссылки в них (комментариях) какой-либо ценности (с помощью этого тэга). Однако, люди продолжают спамить блоги и другие подобные ресурсы, в основном, потому что поисковики по прежнему до некоторой степени учитывают nofollow ссылки, и в основном, потому что страницы, которые они спамят, имеют определенный вес в глазах поисковиков.

Начиная с 2003 года, Google сделал очень много изменений в работе своего алгоритма, чтобы повысить влияние высококачественных ссылок, поставленных редакторами, и, наоборот, снизить влияние спам-ссылок и ссылок купленных.

Исторические, редакторские параметры и параметры использования

Старые сайты выглядят в глазах поисковиков более надежными, чем новые (просто существование в течение определенного времени – это признак качества). Все основные поисковики, так или иначе, используют людей в качестве редакторов, для того чтобы определить качество контента и улучшить алгоритмы релевантности. Поисковики также могут учитывать поведение пользователей на странице и другие данные для определения, нуждается ли сайт в оценке редактора и насколько можно доверять ссылкам с него.

Усиление собственных позиций на рынке

Во многих областях (вертикалях поиска) хорошие позиции автоматически приводят к их же улучшению, победитель выигрывает в большинстве битв. Как отмечает Якоб Нильсен в The Power of Defaults, более чем 42% пользователей кликают по результатам поиска, которые находят вверху. Поэтому не только трафик распределятся очень непропорционально, но и многие люди предпочитают ссылаться на те сайты, которые находятся в топ-результатах, таким образом, еще более усиливая их позиции, как отмечается в Filthy Linking Rich Майка Грэхема.

Если вы "преследуете" сайт, который находится в топах, то ключом к успеху являются ваши усилия, которые должны быть не просто такими же как и у того сайта, а еще лучше. Кроме того, каждый ваш материал должен быть достаточно интересным, чтобы его процитировали другие источники. Вы должны заставить людей изменить картину мира и увидеть в вас авторитета в данной области. А поисковики последуют за людьми.

Двойные стандарты в поиске

Инженер Google Мэтт Каттс часто пишет о том, что любая оплачиваемая ссылка должна сопровождаться атрибутом nofollow, хотя сам Google не торопится ставить к своим покупным ссылкам этот атрибут. Кроме того...

( Полная версия статьи опубликована в "РВ" - расширенном выпуске
нашей рассылки, см. Архив )

Подписаться на "РВ" можно здесь - http://www.optimization.ru/subscribe/money.html

Русский перевод под ред. И.Гурова
SEO Blog [dot] biz

Новая иллюстрация студии Naive - к статье Социальные сети - что это такое...

"...Ключевой момент, который делает рекламу "из уст в уста" такой успешной, это, то, что рекомендации приходят от беспристрастных и известных источников. Ключевые слова здесь - это беспристрастный и известный, эти слова заставляют рекламу или маркетинг "из уст в уста" работать.

Маркетинг "из уст в уста" основан на доверии - вы либо доверяете рекомендациям ваших друзей и знакомых, либо нет. Критериями, по которым определятся, доверять ли рекомендации или нет два: насколько беспристрастна рекомендация (нет никаких скрытых мотивов) и насколько хорошо известен источник рекомендации (таким образом, дает возможность определить, насколько можно доверять суждению из данного источника).

Например, скажем, мой друг Алан рекомендует мне..."

Cтатьи, исследования, экспертные ответы и оценки рассылки "Продвижение сайта с опытом экспертов" будут посвящены, прежде всего, тому, что больше интересует вас, наших подписчиков.

Присылайте свои вопросы и пожелания по адресу subscribe@ashmanov.com. Ждем!

Успехов Вам!

Выпуск подготовил Андрей Иванов
"Ашманов и Партнеры"