A/B тестирование: как создать параллельный мир

Что там фантасты пишут про параллельные вселенные? Если по дороге с работы вы могли повернуть в любую сторону, но выбрали право, вы-параллельный повернул налево и прожил совершенно другую жизнь. По пути он сломал ногу, а в больнице познакомился с милой медсестрой. Вместе они воспитали троих детей и умерли в один день.

Зато вы, повернув направо в нашей вселенной, без происшествий добрались до дома и по пути ухватили последнюю шаурму по акции — тоже успех!

Так вот фантасты пишут и фантазируют, что было бы, если [вставьте своё]. А технологии позволяют проверять теории параллельных вселенных в реальной жизни — пока, правда, только в рамках веба. И если у вас есть сайт или хотя бы email-рассылка, можете сами поиграться с мини-вселенными — проведите A/B тестирование.

С помощью A/B тестирования (оно же — сплит-тестирование) с минимальной кровью можно проверить, что было бы, если бы кнопка на сайте стала красной, а промо-картинка увеличилась в два раза.

Половина пользователей будет видеть вариант без изменений, они останутся в старой проверенной вселенной. А вторая половина попадёт на созданную для эксперимента страничку — в новую вселенную. А вы будете наблюдать за ними и анализировать, как изменения влияют средний чек, глубину просмотра и т.д. — всё ради святой цели увеличить количество конверсий.

В итоге вы проверите гипотезу (а если ВСЕ кнопки сделать красными, их будут активнее жмакать?) и получите объективный результат. Тут же можно перевести всех пользователей на новый вариант или, наоборот, откатить на старый. Тестирование поможет прощупать почву, не наделать серьёзных ошибок (Все кнопки были красными? Да не может быть, вам показалось! Вот же они, синенькие) и позволит оставаться гибким и оперативно откликаться на изменения в поведении пользователей. Всё по agile-маркетингу!

Возможно, в вас сейчас зашевелился вопрос: «А что это мне втирают? Почему нельзя просто внести изменения для всех пользователей сразу и сравнить со старыми показателями?». Технически — можно, но точность результатов будет сомнительной. Вдруг внесение изменений совпало с несезоном/ массовым отключением интернета/ аномальной вспышкой интереса к покемонам и т.д.? Такая проверка может показать, что поведение пользователей изменилось, но сказать со 100% уверенностью, что причина этому — новая форма аватарок, будет невозможно.

A/B тестирование сводит к минимуму влияние временных помешательств, магнитных бурь и вспышек на Солнце. Система случайным образом делит посетителей на две группы и в один временной отрезок показывает им разные версии сайта. А значит, на статистику повлияют только внесённые в него изменения.

Потому что дизайнеры и SEO-специалисты, которые работали над сайтом, не могут учесть все особенности вашего предложения и целевой аудитории. Они опираются на опыт и базовые законы юзабилити, но не могут просчитать все помехи. И если у вас есть гипотеза, что какие-то изменения улучшат реакцию вашей ЦА — проверяйте её A/B тестированием.

Хорошо проведённое тестирование помогает нащупать рычажки и эффективнее управлять пользователями — а значит, повышать конверсию и увеличивать продажи.

Чтобы A/B тестирование не слилось в пустую трату времени и ресурсов — проводите его по правилам.

1. Только одна фича

Не торопитесь и не меняйте все, до чего смогли дотянуться. За раз разрешается экспериментировать только с одним параметром: расположением блоков, фразой призыва к действию, заглавной картинкой и т.д. Иначе как узнать, что именно изменило пользовательское поведение? «Оно просто поменялось, давайте теперь жить с этим,» — не тот вывод, который вы хотите получить в результате аналитического эксперимента, так ведь?

Вносите изменения постепенно, элемент за элементом. Тогда получите чистые результаты и узнаете, что не работает, а что точно выстрелит в вашем сегменте.

2. Нужно больше трафика!

И ежемесячных конверсий. Запомните магическое число — 1000. Если конверсий меньше, вы еще не доросли до сплит-тестирования. Посетителей сайта будет недостаточно, чтобы провести его и получить усреднённый результат. Любая помеха сможет испортить показатели.

Подробнее, почему проваливаются A/B тестирования, мы писали здесь.

3. Не фантазируйте

Воспринимайте A/B тестирование как научный эксперимент. Вы создаёте параллельную мини-вселенную, в которую попадут реальные люди — всё очень серьёзно! Поэтому придержите дикие идеи («Давайте показывать одним картинку с собакой, а другим с кошкой — выясним, кошатники или собачники чаще покупают наше мыло с запахом оладушек!»). Тестируйте проверенные элементы, список которых можно посмотреть здесь, или обращайтесь к профессионалам — тогда специально обученный аналитик прошерстит сайт и подберёт подходящие гипотезы.

Агентства, которые проводят A/B тестирования, не тычут пальцем в небо. Они наблюдают за пользовательским поведением, находят слабую точку в воронке продаж и в A/B тестировании давят на неё: так болит? А так? И выясняют, как от неё избавиться.

Но если вы и без консультации агентств знаете, где в вашей воронке продаж чёрная дыра — можете провести тестирование самостоятельно. Сервисов для этого достаточно — мы выбрали несколько для примера.

1. Kameleoon, про который мы уже писали. Тестирует, анализирует, рассылает письма и делает ещё много штук, которые в умелых руках повышают конверсию сайта.

2. Проект RealROI.ru создатели изначально делали под себя и теперь делятся со всеми. Здесь только сплит-тестирование, ничего лишнего. RealROI.ru позволяет менять текст, изображения и немного шатать структуру лэндингов.

3. Google Content Experiments — бесплатный инструмент для A/B тестирования от Гугла. Говорят, нужно основательно поковыряться в сервисе, чтобы научиться им пользоваться.

4. LPgenerator предлагает сначала с его помощью создать лэндинг, а потом проводить над ним эксперименты.

5. С VWO в нашем шорт-листе начинаются сервисы без поддержки русского языка. Этот инструмент помогает проводить A/B тестирования, настраивать цели и углубляться в прочие аналитические радости.

6. HubSpot — большой, страшный и важный инструмент, который чего только ни умеет (ещё бы, за 2400 $ в месяц). Вобрал в себя всевозможные инструменты для аналитиков и маркетологов: A/B тестирование сайтов, писем, email маркетинг, сегментацию пользователей, «умный контент» и т.д.

7. Optimizely — A/B тестирование и персонализация, всё как мы любим. Работает с сайтами и мобильными приложениями. Сервис обещает сделать так, что все посетители останутся довольны.

Как часто проводить тестирования, каждый решает для себя сам. Кому-то хватает одного, чтобы устранить брешь в воронке продаж — и можно жить дальше и не заморачиваться. Кто-то считает, что день без A/B тестирования прожит зря — им удобно держать руку на пульсе. Пользователей.

В любом случае исследовать пользовательское поведение время от времени необходимо — чтобы знать, что людям надо СЕГОДНЯ и СЕЙЧАС.