Сейчас повально модно делать рейтинги. Наверное, общую философию увлечения лучше всех передает та же socmerka, где можно доподлинно узнать, у кого сосиска длиннее, а яйца больше. Фактически — у кого больше налайкано постов ВКонтакте и заведено больше фолловеров в твиттере.

Часть 1. Зондируем почву

• Тэглайн. Проводится уже семь лет, с 2005-го года. Праматерь рейтингов, массовый и авторитетный.
• Рейтинг Рунета (CMS Magazine). Помоложе, с 2009-го, от всероссийского портала о рынке веб-разработки. Не менее уважаемый.
• 1С-Битрикс. Тут всё понятно, рейтинг студий-партнеров. Учитывая, что партнеров около 8000 — нормальная такая выборка.
• UMI.CMS. То же самое, только для последователей голубой бабочки.
• NetCat. Аналогично, соседний лагерь CMS.
• Рейтинг SEO-компаний (CMS Magazine). Продвиженцы всея Рунета.
• Рейтинг SEO News. Альтернатива рейтингу CMS Magazine, снова продвиженцы.

И еще десятки страниц рейтингов среди веб-разработчиков, оптимизаторов, агентств, занимающихся контекстной рекламой, digital-услугами, PR-ом и SMM. Для примера нажмите и полистайте. Рейтинги будут варьироваться от федеральных, до уютных рейтингов субъектов и городов. А замыкает внушительный список:

• Ruward. Недавно заявивший о себе агрегатор всех рейтингов.

На сайте Ruward’а приведены, к слову, 52 рейтинга — живых и не очень, разных направленностей. Но перейдем к делу.

Часть 2. Засовываем градусник

В основе любого рейтинга — его критерии. Понятно, что если это рейтинг веб-разработчиков, то критерии у него будут отличаться от таковых для smm-агентств. Что, в свою очередь, ставит под сомнение годность «общих» рейтингов — но об этом позже. Здравый смысл подсказывает, что показатели успешности для компаний с одинаковой сферой деятельности должны быть если не одинаковыми, то очень похожими. А значит — и места в разных узконаправленных рейтингах должны распределяться примерно одинаково. Берем градусник. База нашего бойкого исследования — верхняя «двадцатка» Рейтинга Рунета. Будем сравнивать места студий веб-разработки в пяти рейтингах: Tagline, Рейтинг Рунета, рейтинг Восточно-европейской гильдии веб-разработчиков, Рейтинг (wwwrating), рейтинг BestWebDevs.

Какие рейтинги не брались во внимание: для партнеров определенной CMS, с малым числом участников, слишком специфические (например, для разработчиков сайтов на flash).

Записываем всё в сводную таблицу. Генерируем график.

Для построения графиков использовался следующий алгоритм: в отдельно взятом рейтинге первое место приравнивалось к 100 баллам. Далее — количество баллов уменьшалось пропорционально занятому месту. Например, за пятое место студия получала 100/5 = 20 баллов. Таким образом, чем больше радиус определенной части графика — тем выше место студии в рейтинге. Смотрим:

На деле просто чудовищный разброс мнений. Как быть невинному заказчику, который впервые столкнулся с выбором разработчика под свой проект? Только и остается, что послушаться советов знакомых. Хорошо, давайте выяснять причины такого разброса (то есть критерии оценки). Начать с хорошей или плохой новости? Уговорили, начнем с плохой: три рейтинга имеют закрытую механику оценки. То есть все наши с вами претензии к объективности просто не состоятся — у них там своя, особенная атмосфера.

Теперь хорошая новость: Тэглайн и Рейтинг Рунета считают места по детальной прозрачной методологии (например, у Tagline ей посвящена целая страница). Коротко: места вычисляются на основе годовых оборотов, голосования экспертов, клиентов и коллег по рынку. А еще таких факторов, как бизнес-показатели (штат, стоимость проекта, количество реализованных проектов за год, количество наград, количество проектов на поддержке). Учитывается «узнаваемость бренда». Делаются поправки на коэффициенты. Коэффициентами же пресекаются попытки «накруток». В общем, вы уже поняли, что новость не такая уж хорошая, а методология не такая прозрачная. Теперь к самому вкусному, за что нас будут пытаться троллить призеры рейтинга Ruward.

Часть 3. Грусть и пичаль российских рейтингов

Непрозрачность рейтингов — только одна причина того, что в результатах приходится сомневаться. Аналитический отдел того же Тэглайна расставил коэффициенты правильно, там умные люди сидят, мы в это верим. Причина номер два: рейтингов много. Одни из них шевелятся сами и в них прямо-таки приходится участвовать. Вторые пускают пузыри на дне до поры, а потом всплывают — неожиданные, как подлодка в водохранилище. Успеть везде без принудительной инъекции адреналина в сердце — вообще невозможно. Да и не нужно, на самом деле.

Добровольность участия в рейтингах порождает неполноту информации. Неполнота порождает недостоверность общей картины. Недостоверность порождает заблуждение заказчика. Заблуждение ведет к Темной стороне.

Третья причина: рейтинги пытаются охватить все и сразу. Они не ограничиваются узкой специализацией: один чарт для креативных агентств, второй — для разработчиков, третий — для продвиженцев. Из года в год делается «общий сводный рейтинг», в котором смешиваются люди и кони. А заказчик потом, ища разработчика, будет тыкаться к SMM-щикам: «Ребят, интернет-магазин нужен. Не делаете? А мне в рейтинге написали, что вы на втором месте по такому-то региону». Печаль четвертая: гонка за призраками. Сами «меряющиеся» слишком уж близко к сердцу принимают все эти чарты. Зная механику оценки, всегда можно «оптимизировать метрику» и повернуть всё так, что у тебя будет длиннее всех. Но по сути это не дает компании ничего, кроме зашкаливающего ЧСВ. Уровень работ и сервиса от этого не изменятся.

Но это же фигня, друзья. Не получилось в одном рейтинге? Обидели? Обделили? Так иди сходи в другой, там популярность, золотой хаммер, посадят по мулатке на каждую коленку. И вдобавок — дадут полный багажник заказов от мировых брендов.

Итого, простые выводы:

• Место разработчика в том или ином рейтинге мало коррелирует с вероятностью успешного завершения проекта.
• По рейтингам можно подобрать более-менее релевантный шортлист исполнителей для вашего проекта, но только если пользоваться «узкими» рейтингами, где проранжированы компании, предлагающие именно те услуги, которые вы ищете, а не смежные.
• Наиболее адекватными критериями, по которому стоит подбирать исполнителей, так и остаются портфолио и рекомендации. О чем как-то писал Рейтинг Рунета, подкрепляя своим же исследованием.
• Чем больше становится рейтингов, тем меньше хочется в них участвовать. Чем меньше участников — тем неполноценнее сами рейтинги.

Обсудить можно в комментариях, приглашаем.