Отечественные интернет-счетчики

Опубликовано в журнале "Подводная лодка" в марте 2003 года

Многообразие национальных сетевых счетчиков - особенность русского Интернета, которая нигде в Европе не наблюдается столь же выпукло. Большую часть обзора составляют характеристики и текущее положение на рынке ведущих систем статистики и рейтингов.

В конце августе 2002 года автором заметки было проведено экспресс-исследование счетчиков. Именно эти данные, несмотря на их неполноту, будут использованы в качестве иллюстративного материала. Это объясняется тем, что последнее публичное независимое исследование счетчиков Рунета было осуществлено Тимофеем Бокаревым, директором рекламного агентства Promo.ru, более трех лет назад (его результаты публиковались в журнале «Internet» за апрель 1999 года). Потребность в новых исследованиях существует не только у интернет-рынка, но даже у самих владельцев систем статистики. Дело в том, что после ухода из этой сферы Count.ru, 1000 Stars, Aport Top1000, стагнации One.ru и появления счетчиков HotLog и Rax, новая ситуация в этой сфере никем публично не зафиксирована.

Повторять методику исследования Тимофея Бокарева 1999 года было нецелесообразно. Тогда на специальной странице сервера Promo.ru были на неделю размещены коды пяти российских и двух американских счетчиков, результаты которых поверялись по логам сервера, а недельную посещаемость в три тысячи хитов обеспечили пустой странице три крупных рекламных спонсора.
В методике этого года, во-первых, тестировались только национальные счетчики, потому что в новом веке Hitbox и тому подобные американские счетчики почти перестали использоваться в Рунете (за исключением вебмастеров порносайтов, которым русский серфер малоинтересен).
Во-вторых, коды изучаемых систем устанавливались на обычный посещаемый сайт. Мне не удалось договориться сделать это на начальных страницах ресурсов. Тогда выбор пал на каталог аукциона Молоток.ру.
В-третьих, было интересно сравнить данные счетчиков со статистикой баннерных движков. Были использованы самые современные системы управления рекламой - adRiver и Крутилка.ру (включая Krutilka.Ru Action Analyzer). Надо отметить, что коды, генерирующие прозрачные баннеры 1x1, были сформированы специально для данного исследования и помещены в самое начало тестовой страницы. В таком варианте «хиты» - количество просмотров (загрузок) страниц, которое считают все счетчики, начали соответствовать «показам», которые считают все баннерные движки. Другое дело, что каждый счетчик еще отфильтровывает данные в меру своей капризности, заложенной разработчиками. Поэтому данные баннерных движков ни один из них не превзошел, за исключением HotLog.

Описываемое мини-исследование предполагало, что интересно и полезно сравнивать данные, полученные по разным методикам, статистические счетчики противопоставить рейтингам. По поводу участников тестирования большого разброса мнений быть не могло. Они перечислены ниже в порядке старшинства (то есть от самых старых - к самым молодым).

Rambler's Top100
Сервис Rambler's Top100 начал работу в марте 1997 года и оказался первым счетчиком-рейтингом в России. Сравнение ресурсов ведется там по числу уникальных IP-адресов (за вычетом публичных proxy-серверов) - показателю, который наиболее трудно подделать. Введенные «Рамблером» понятия «хиты» и «хосты» в русской транскрипции стали общеупотребительными в русском Интернете. Для пользователя Rambler's Top100 в большей мере является каталогом ресурсов, а не системой статистики. Сам рейтинг ежедневно создает е менее 300 тысяч переходов на русские сайты. При этом распределение таких кликов по различным категориям крайне неравномерно. Почти ничего не дает лидерство в категориях «Классификаторы», «Литература», «Электронная коммерция» и многих других (например, первое место в категории «Компании» давало «Лаборатории Касперского» 2 процента трафика, а сайты, которые находятся в первой десятке различных категорий, получают обычно около 0,5 процента своего трафика). А скажем, в категории «Путешествия» или в первой тройке «СМИ и периодика» или «Юмор» отдача весьма неплоха и может ежедневно достигать полутора тысяч хитов на один сайт. Уже к марту 2000 года из счетчика Top100 был сделан первый миллиард запросов на другие ресурсы.

Rambler's Top100 не предоставляет расширенной статистической информации сайтам-участникам. В декабре 2000 года открылась версия счетчика Top100, в которую был добавлен географический отчет и изменен интерфейс выдачи статистики. Новая версия программы увеличила нагрузочную способность системы в несколько десятков раз.

Top100 демонстрирует «ландшафт» русского Интернета, который можно построить только на основе очень простых правил. Перевод Rambler's Top100 в режим рейтинга всех, а не одной страницы сайта, нарушил бы подобное равновесие. (Хотя и оказался бы наиболее экономичным способом снизить число накруток, подняв порог их стоимости раз в пять - накрутить весь сайт сложнее, чем начальную страницу - подробнее об этом в специальной главе). Поэтому многостраничный Rambler's Top100 появился весной 2001 года как отдельный дополнительный рейтинг, сопутствующая услуга. С тех пор никаких заметных снаружи изменений в рамблеровском счетчике не производилось (что и не удивительно, так как Top100 первоначально был связан с именем Дмитрия Крюкова - создателя первых версий поисковых машин «Рамблер» и «Черепаха», потом над этим проектом работала команда из четырех человек под руководством Алексея Тутубалина, известного сетевой общественности в качестве «отца русского Apache», сейчас же проект поддерживают какие-то совершенно безызвестные программисты). Похоже Rambler даже не планирует экспансию на рынок Интернет-статистики.

Рейтинг@Mail.ru
Рейтинг@Mail.ru, первоначально известный как Counter List.ru, запущен в августе 1998 года, в июне 1999 года получил имя TopList, а в сентябре 2001 года - свое нынешнее название (оно, кстати, не прижилось и употребляется, главным образом, в официальных пресс-релизах, так что и мы будем дальше использовать жаргонное имя TopMail). Предоставляет большинство необходимых отчетов по динамике визитов, посещению отдельных страниц и источникам посещений, является одним из счетчиков Рунета, который исследует пересечение аудиторий сайтов. В общем рейтинге соревнуются участники всех категорий, кроме «Романтики и секса». Часть зарегистрированных участников TopMail используют его исключительно как удобный служебный инструмент - без участия в рейтинге. Особенность счетчика в том, что после исключения из рейтинга, как правило, не происходит отказа от обслуживания (удаления счетчика). Таким образом, число реально установленных счетчиков TopList всегда на несколько тысяч превышает число участников рейтинга, указанное на начальной странице сервиса.
TopList фактически создан тандемом Максим Зотов (программирование) - Герман Клименко (финансирование и постановка задач). Кстати, особенности нового расклада на рынке Интернет-статистики стали особенно интересны после того, как Максим Зотов написал новый счетчик TopRax, оставив без развития свою прежнюю разработку.

SpyLOG
Можно сказать, что сервис SpyLOG стартовал 15 ноября 1999 года, когда был заблокирован известный в Рунете счетчик посещений Count.ru и его пользователям было предложено переходить на домен Spylog.ru. Однако, как сообщил бывший PR-менеджер компании SpyLOG Алексей Басов, днем рождения проекта официально принято считать 29 ноября 1999 года, когда в этой системе зарегистрировался 50-й ресурс.

C весны 1999 года группой молодых программистов под руководством Андрея Андреева и Петра Зайцева была начата разработка нового счетчика SpyLOG, который был призван занять лидирующие позиции в нише счетчиков-трекеров (tracker). По своей организации ранний SpyLOG был ближе всего именно к американскому HitBox'у, от которого легко отказывались русские вебмастеры - в пользу SpyLOG.

Вообще принято считать, что SpyLOG занял нишу сервиса для вебмастеров. Но реально его целевая группа шире. К примеру, для рекламиста отчеты «Пути по сайту» и «Точки входа» позволяют найти решение одной из ключевых проблем баннерной рекламы: куда направлять баннеры - на начальную страницу, на разделы или на отдельные публикации (подразумевается, что сами баннеры рекламируют отдельные публикации и найти на них ссылку с «морды» в общем случае нельзя). Умозрительно такую задачу решить не удается (по крайней мере, надежно), многие счечики в этом деле - также не помощники. Следовательно, остается либо провести все три эксперимента (что хлопотно), либо применить WebTrends Log Analyzer (www.webtrend.com, что дорого), либо воспользоваться статистикой SpyLOG (а в настоящее время также HotLog, KMindex, TopRax).

 ообще, у SpyLOG достаточно много выигрышных позиций. Одна из них - весьма хорошо подготовленная группа отчетов «География» (реальное распределение посетителей, загрузок или хостов ресурса по странам и городам), по которой его попытался догнать Rambler's Top100 в своем обновленном варианте. Система SpyLOG использует географическую базу с информацией о 245 странах и 2 500 российских населенных пунктах (это - характерный пример превосходства статистики SpyLOG над тем, что можно получить с помощью WebTrends).

В августе 2000 года компания SpyLOG объявила о смене своей рыночной стратегии. Под этой обтекаемой формулировкой подразумевалось, в том числе, предоставление в ближайшем будущем части сервисов SpyLOG или полученных на их основе исследований на коммерческой основе. Другая магистральная линия развития SpyLOG находится в сфере провайдерства сервисов приложений (ASP), то есть предоставления в аренду и обслуживание необходимого клиенту набора приложений на своей технологической площадке.

К началу 2002 года в счетчик SpyLOG обсчитывал уже 230 тысяч сайтов! Далее задачей компании стало зарабатывание на коммерческих клиентах, а не лидирующие позиции в некоммерческом сервисе. Бесплатно стал предоставляться только счетчик «Кроха», и общее число клиентов перестало расти. Многих бывших некоммерческих клиентов SpyLOG подобрал HotLog. В проведенном исследовании автор пожалел денег и поставил «Кроху», что окончилось драматически, потому что оказалось, что статистику за прошлый месяц нельзя посмотреть в «крохотном» счетчике, а в реальном времени я снять результаты не успел.

KMindex
KMindex был представлен публике в декабре 1999 года, а до этого продолжительное время использовался как внутрикорпоративный счетчик ресурсов холдинга R-Style. Счетчик, который с рождения замалчивают, если не сказать игнорируют в Рунете. Между тем, это первый счетчик, маркетингово-продуманный еще на этапе технического задания (стоит только пройти процедуру получения кода, чтобы в голову уже пришла такая мысль). Первый счетчик, который стал давать удобные отдельные отчеты по реферам из поисковых машин, из каталогов, из служб бесплатной электронной почты и т.д. (сейчас, подобные отчеты уже есть, скажем, в TopRax). Но результаты, которые он дает, ни на что не похожи - ни на TopMail, ни на данные логов, ни на значения рамблеровского счетчика. Впрочем, по минимальности значений они приближаются, скорее, к последнему варианту. Однако, если Rambler's Top100 считает всех в «попугаях», то и главное, чтобы он всех считал в одинаковых «попугаях» и всему Интернет-рынку известно на основании каких основных правил Рамблером не засчитываются хосты. А вот по какой методике отсеиваются «подозрительные» реферы в KMindex - неизвестно...
7 октября 2002 года - уже после проведения тестирования - в KMindex произошли не очень значительные изменения в форме выдачи статистической отчетности. Как известно, в KMindex принята 28-дневная отчетность, что почему-то вызывало иногда вопросы у женщин. И как раз наиболее забавная деталь последних нововведений - теперь архив формируется по календарным месяцам.

HotLog
Система статистики HotLog, вышла на рынок 10 октября 2001 года и с места в карьер объявила себя конкурентом SpyLOG в заявлениях разработчиков - петербургской компании ANK. 19 августа 2002 года в HotLog был зарегистрирован пятидесятитысячный сайт. Напомню, что SpyLOG и TopList вышли на этот уровень летом 2000 года, как раз почти на такой отметке обойдя по числу участвующих сайтов Rambler's Top100. Так что новичок еще фактически остается новичком, но весьма крепким.
HotLog является счетчиком-трекером. Наблюдаемые в нем в настоящее время задержки обсчета неизбежны - так уж спроектирована система, величина ее зависит не от тех, кто предоставляет сервис статистики, а от количества загружаемых счетчиков и пользователей, просматривающих статистику. Дневной максимум - в конце рабочего дня, недельные - в понедельник и пятницу, недельные минимумы - на выходных.

TopRax
TopRax - самый молодой счетчик из перечисленных, предоставляющий около тридцати отчетов, рассказывающих не только о посещаемости ресурса, но и о структуре аудитории, писался и тестировался достаточно долго. Так что должен работать стабильно и показывать цифры, близкие к правде. Создан уже упомянутым тандемом Максим Зотов - Герман Клименко. По сравнению с TopMail - множество (около трех десятков) полезных отчетов, здесь мы как раз и можем наблюдать «экспансию на рынок Интернет-статистики».
Правда, TopRax утратил одно удобное свойство TopMail - автоматический переход по одному клику сразу на статистику ресурса, откуда пришел пользователь. Однако удобство для пользователя и польза для рейтинга всегда будут находиться в противофазе - понятно стремление прорекламировать Rax.ru, который еще достаточно молодой и нуждается в рекламе. Лишний клик - невысокая плата за сервис, который предоставляет счетчик TopRax. По словам Германа Клименко, из всех переходов по счетчику, «целевых», т.е. с заходом в статистику - 5%. Примерно 80% пользующих статистику идут сразу на нее, минуя главную страницу.

Накрутка счетчиков

Бывает так, что несколько весьма серьезных клиентов при разговоре с ними об Интернет-рекламе сильно удивлялись, зачем она нужна, когда у них есть совершенно официальные дешевые прейскуранты на официальную накрутку в том же Рамблере. Действительно, там накручивают «Строительство», «Туризм», «Безопасность», «Железо», «Компании», «Компьютеры», «Медицину», «Недвижимость», «Образование», «Провайдеров», «Продукты питания», «Фармацевтику». Стоит это, к примеру, около $200-400 за месяц за нахождение в верхних строчках раздела «Путешествия». Вообще названный раздел Рамблера один из наиболее «кривых». Статистика накруток в этом разделе представлена в отчете SpyLOG (gs.spylog.ru/example.phtml?id=13), и хотя этим данным 2 года, они не сильно устарели, скорее накрутчиков даже стало больше.

Врезка 1
Осторожно!
Сайты, где предлагаются официальные прейскуранты по накрутке Рамблера:
raskrutim.ru/price.html
www.hithost.ru/buycredits.shtml
www.vipspace.net/?action=show_advinfo
rusip.com/rekl.shtml
www.stock-ip.com/price.html
www.neosap.ru/price.html

конец врезки

При этом, конечно, есть конторы, которые год назад купили себе накрутку и до сих пор обивают пороги Рамблера, но обратно в Top100 их пускать не хотят. Зато десятки других накручивают и годами находятся в рейтинге... Читатель, помни, что есть такой адрес - counter@rambler.ru (или соответственно counter@rax.ru и т.п.), куда призывается «стучать» на нарушителей правил, причем не только, когда есть факты, но и когда имеется сильное подозрение, что сайт накручивается. Например, не бывает трафика в 1000 хостов за первые два часа после полуночи на ресурсы деловой тематики. И 500 не бывает. И 200 обычно не бывает. И даже Рамблер столько трафика не отдаст за первые два часа по баннеру со слоганом, к примеру, «Вставка Окон, Стройка Домов».
Впрочем, добавлю от себя, если подделывается реферер и накручивается только счетчик (все счетчики) и график более-менее соответствует действительности, и география соответствующая, то... модератор Рамблера отдыхает, даже если знает поименно платящих за такую накрутку.

Одни - накручивают нахально (поставив на JavaScript open(url) или <iframe src=url> с порносайтов, что видно в наличии 90% западных хостов), другие - более пугливо, пользуясь визитингом - у него в момент написания заметки был всего 31 клиент, и каждый из них занимал достойное место в двадцатках Рамблера.
Понятно, что изобретательность людская бесконечна, и каждый раз найдутся новые лазейки. Еще один способ накрутки: предлагать на порно-сайтах загрузить программу, скачивающую порнографию, а в программку кроме скачивальщика порно встроить скачивальщика накручиваемого сайта. При грамотной имитации и выборе географии пользователей, такую накрутку крайне трудно отследить. В счетчиках, которые не учитывает ссылки (как Рамблер). Если же ссылки учитываются, то будет слишком много хитов без ссылок.

Рейтинг Рамблера в своем нынешнем состоянии напоминает про сюжет знаменитой книги «Смока Белью» Джека Лондона, в котором золотоискатель по имени Смок смог «изобрести» систему выигрыша в рулетку и даже успешно выигрывал. Правда, эта система не подходила ко всем рулеткам на свете, так как была основана на том, что один из игорных столов стоял слишком близко к камину, и покоробившееся колесо рулетки крутилось неравномерно. Так и Rambler’s Top100 - способ получить посетителей, основываясь на «дыре» в системе и доверии остальных потребителей к тому, что «это же правильный рейтинг» и его нельзя накручивать. Кстати, можно и дальше развивать удачное сравнение: как и в случае с рулеткой, «деньги надо зарабатывать в другом месте», то есть на Рамблере можно просто рекламы купить.
Последнее «лирическое» отступление на тему счетчиков и реклама в Сети. До сих пор у некоторых офлайновых клиентов сайтов существует стереотип, что на сайты, главным образом, ходят не люди, а компьютеры, так что у рекламодателей аудитория в сотни тысяч уникальных посетителей просто не ассоциируется с той же аудиторией в других СМИ! Так что рекламные агентства интересует - когда рекламодатели научатся хоть какую-то статистику читать и принимать, все равно какую.

Если сайты участвующие в Top100 не нарушают требования регламента, в частности его пункт 11: «Запрещается размещение счетчика на страницах, переход на которые производится без активных действий посетителя (popup-окна, exit-traffic и так далее)», то к таким сайтам у модератора не может быть претензий. С «системами активной раскрутки» у Рамблера нет никаких отношений (если конечно они не являются участниками рейтинга), так как договор на предоставление сервиса двухсторонний. Участник Top100, пользуясь услугами сторонних фирм, отвечает за их действия, в случае нарушения регламента удаляется. Аргументы «мы не знали», модераторами не принимаются.

Банальные «Динамика» и «География» отсеет довольно много нечистых на руку. Хотя, конечно же, каждый случай надо изучать отдельно, бывают и честные сайты со странной аудиторией. Но довольно легко можно делать автоматическую выборку по сайтам с подозрительной динамикой и затем проверять их вручную.
Неплохая стратегия отлова накрутчиков применяется в Рейтинге@Mail.ru. Насколько можно понять его модератор ориентируется в первую очередь на динамику посещаемости, так что надолго не задерживаются ресурсы с динамикой типа такой: ночью он на первом месте, потом на остальные сайты приходят реальные посетители, в то время как у этого заканчивается лимит накрутки и он начинает свое ежедневное падение в рейтинге. Далеко не всех накрутчиков так же легко можно вычислить, но на отлов накрутки подобного рода можно даже «прикрутить» некий скрипт - было бы желание. Или же менять логику рейтинга и его регламент, переворачивать таблицы, выдаваемые по умолчанию, с первой страницы - на весь сервер, показывать статистику за сутки назад, а не за день.

Статистика по сайтам в Рамблере для большинства участников не соответствует действительности. Ее смотрит настолько незначительное количество посетителей, что очень многие приносят ее в жертву и регистрируют разделы своих сайтов и даже отдельные страницы как отдельные ресурсы в Rambler’s Top100. И тогда, допустим, вместо 1-го места в рейтинге заглавных страниц и 1-го места в рейтинге сайтов достигается только 3-е место в рейтинге сайтов, но зато 1-е, 5-е, 7-е и 15-е в рейтинге заглавных страниц (все цифры приблизительные). И последний вариант приносит заметно больше трафика, чем остальные.

Счетчики на Западе

Вы когда-нибудь задумывались над тем, почему именно в России расцвело такое разнообразие счетчиков, рейтингов, классификаторов и всяких генераторов трафика? Почему американцы при всей своей любви к порядку и объективным показателя не хотят считать хосты и хиты в массовом масштабе?
Действительно, на Западе не любят рейтингов в том виде, как они популярны у нас. Они больше служат информационным подспорьем для инвесторов и держателей акций, чем для генерации трафика. Ссылок на рейтингуемые ресурсы там не ставят, в общем случае.
Для тех, кто хочет в этом убедиться, рекомендуется начать изучение зарубежных систем с адреса cyberatlas.internet.com/big_picture/stats_toolbox/article, где находится наиболее полный сборник ссылок на различные западные рейтинги. К примеру, счетчик Media Metrix 500 построен по алфавиту - такого принципа в Рунете мы еще не видели.

Означает ли это, что Россия станет мировым лидером в этой области. Или это опять национальные особенности нашего менталитета?
С одной стороны, отечественные счетчики двигаются в сторону большей достоверности. Скажем, в самом сложном отчете - географическом - сведения из базы RIPN дополняются данными, полученными из обзвона провайдеров, выясняются отклоняющиеся адреса по региональным сеткам. Тогда как в США географический таргетинг гораздо более затруднен, потому до одной трети всех ежедневных посетителей из Соединенных Штатов выходят через прокси-сервер AOL. С другой стороны у нас появляется все больше синтетических (то есть полученных из нескольких исходных) отчетов, а SpyLOG даже замахнулся на анализ поведения посетителей сайта, когда те пребывают в онлайн за его пределами. Ну и, наконец, отечественные разработки в области Интернет-статистики действительно продаются в Европу (скажем, SpyLOG), хотя погоды еще не делают. А бесплатность сервиса HotLog как сегодня, так и в долгосрочной перспективе, объяснялось разработчиками счетчика оригинальной целью проекта - отработкой сервиса в реалиях российского Интернета для продвижения коммерческой версии продукта на Запад.

Экспресс-исследование отечественных счетчиков

Порядок расположения кодов на странице
Вверху коды 1x1: AdRiver, Krutilka, Rambler Top100, KMindex. (Погрешность между этими системами равно нулю).
 иже коды, требующие загрузки картинки 88x31: HotLog, SpyLog, TopRax, TopMail. Для того, чтобы не вносить искажения в дизайн, их пришлось поставить на странице внизу, а так как страница не очень тяжелая, погрешность не должна была оказаться значительной.
Определения и погрешности
Под одним посетителем понимается один браузер, в который были загружены страницы.
Погрешность: если на данном компьютере запрещено использование cookies, то счетчик не сможет идентифицировать посетителя (отказываются от использования cookies– меньше 5% от общего количества посетителей).
Погрешность использования несколькими пользователями одного компьютера принимается равной нулю.

Под одним хостом понимается уникальный IP-адрес, определяемый на суточной основе.
Погрешность определения хостов:
а) вычет некоторыми счетчиками (к примеру, Rambler) запросов сделанных через публичные прокси-серверы - примерно 3-4%.
б) proxy-серверы в корпоративных сетях (все компьютеры, получающие доступ к Интернету через такой сервер, своего собственного адреса не имеют).

Под количеством хитов понимается, сколько всего страниц открывалось в браузерах за определенный промежуток времени. Количество хитов может примерно совпадать с общим количеством баннеров 1x1, показанных данным ресурсом.

Погрешность, связанная с засчитыванием/незасчитыванием хитов от роботов принимается равной нулю (роботы, как правило, не загружают картинки, а значит и счетчики, к тому же маловероятно нашествие ботов именно на тестируемую страницу в течение тестовой недели).

Источник: pisali.ru/sas2313/