А/Б-тесты

А/Б-тесты — это мощнейший инструмент маркетолога, с помощью которого можно оценить, насколько эффективно ваше сообщение и как пользователи будут реагировать на другую его версию. Представьте, что вы хотите понять, как влияет на конверсию приветствие в письме и что лучше использовать “Здравствуйте” или “Привет”?

Любое сообщение в Carrot Quest может быть А/Б-тестом. Вы можете посмотреть, как повлияют на конверсию изменения в поп-апе, письме, сообщении в чат и даже при необходимости в скрипте JS.

abtest1.gif

 

Более того, вы можете сравнивать разные типы коммуникаций: чат с поп-апом, большой поп-ап с маленьким, сообщение в чат и Javascript и вообще любые варианты сочетаний сообщений. Проверьте, в каком формате ваше сообщение работает эффективнее всего.

abtest2.gif

 

Настройка А/Б-теста

Любое сообщение может быть А/Б-тестом. Более того, вы также можете добавить А/Б-тест к уже существующим сообщениям и сообщениям, в которых уже проводился А/Б-тест. Разберём, как создать А/Б-тест в новом сообщении.

Начните создавать автосообщение, выберите триггерные события, аудиторию и условия отправки. В условиях отправки вы можете выбрать размер контрольной группы, которой вообще не будет показываться сообщение (об этом чуть дальше).

Настройте вид и содержание сообщения и нажмите кнопку “Добавить А/Б тест”. При этом вариант А свернётся, и вы сможете выбрать тип и содержание сообщения Б.

image1.png 

 

Когда оба варианта сообщения готовы, переходите к следующему шагу настройки.

Если не хотите добавлять А/Б-тест, просто перейдите к следующим шагам настройки сообщения.

 

Контрольная группа

Контрольная группа поможет проверить, как бы развивалась история без вашего сообщения. Выберите процент пользователей, которым вообще не будет показываться сообщение.

Контрольная группа выбирается на шаге Условия отправки и по умолчанию составляет 10%. Вы можете задать своё значение.

Важно: Вы можете задать процент контрольной группы даже если не настраиваете А/Б-тест. В этом случае можно проверить, как будет вести себя аудитория, вообще не получающая триггерное сообщение.

 

Логика работы А/Б-тестов с контрольной группой

Например, вы создали 2 варианта сообщения (А/Б-тест), которые посылаются через 10 минут после регистрации всем пользователям из Москвы.

Из всех пользователей, которые зарегистрировались (выполнили триггерное действие) через 10 минут (заданный таймаут) выбираются пользователи из Москвы (аудитория). Если вы задали контрольную группу, в этой аудитории случайным образом выбирается группа заданного размера, которой не будет показываться сообщение. Так происходит при отправке каждого сообщения, вне зависимости от того, настроен на нём А/Б-тест или нет. Если теста нет, всей оставшейся аудитории отправится сообщение. Если А/Б-тест настроен, оставшаяся часть аудитории так же случайно делится 50:50. Контрольная группа не увидит сообщения вообще, первой группе покажется сообщение А, а второй — сообщение Б.

Важно: Пользователи из аудитории выбираются случайным образом, поэтому не обязательно, что сообщение будет показываться в порядке А-Б-А-Б-А-... На большой выборке соотношение аудиторий будет стремиться к 50:50.

 

Статистика

Цифры — наше всё. Именно по цифрам вы можете определить, какое сообщение предпочтительнее оставить. Мы не делаем это за вас, потому что для каждого сообщения могут быть свои показатели успеха. Какое сообщение оставить: где больше кликов или открытий? Решать только вам. Также вы решаете, когда наберётся достаточно данных (достаточно большая аудитория пользователей), чтобы сделать вывод и остановить А/Б-тест.

Как всегда, в статистике вы можете посмотреть количество отправленных сообщений, сколько из них было доставлено, прочитано, на сколько из них ответили, в скольких перешли по ссылке, сколько человек пожаловались на спам и отписались.

Данные выводятся рядом, чтобы вы могли сравнить цифры, а также в виде графиков.

image2.png

 

Самый сок в том, что вы можете посмотреть, сколько денег принёс вам каждый из вариантов (и контрольная группа). Для этого при настройке автосообщения задайте цель (следующий шаг после Вид и Содержание). Это событие, которое должен выполнить пользователь после прочтения автосообщения (например, купить). В статистике вы сможете увидеть конверсию достижения цели и, если вы указали ценность цели, полученный доход.

 

Завершение тестирования

Как только вы набрали достаточно статистических данных и выбрали сообщение-победителя, завершите А/Б-тест.

Для этого нажмите кнопку Завершить тест и выберите вариант сообщения, который хотите отключить. Например, вы недовольны работой варианта Б, тогда выберите его и нажмите завершить тест. Статистика по А/Б-тесту будет отправлена в архив, к которому вы можете обратиться в любой момент. При этом сообщение А остановлено не будет, и будет рассылаться всем пользователям, которые удовлетворяют критериям этого письма (попадают в аудиторию, которая выполнила триггерное событие).

image4.png

 

Как только вы снова решите сравнить сообщение А с каким-либо другим, просто создайте новый А/Б тест на основе этого же сообщения. У одного сообщения может быть неограниченное количество А/Б-тестов. Историю всех закрытых А/Б-тестов можно посмотреть в архиве.

image3.png

 

Важно: Если вы отключите автосообщение целиком, а потом снова включите, А/Б-тест продолжится.

Была ли эта статья полезной?
Пользователи, считающие этот материал полезным: 0 из 0
Еще есть вопросы? Отправить запрос

Комментарии