А/Б-тесты

Как проверить эффективность ваших сообщений и выбрать самый конверсионный вариант


А/Б-тесты — это мощнейший инструмент маркетолога, с помощью которого можно оценить эффективность ваше сообщение и реакцию пользователей на другую его версию. Представьте, что вы хотите понять, как влияет на конверсию приветствие в письме и что лучше использовать “Здравствуйте” или “Привет”?

Любое триггерное сообщение в Carrot Quest может быть А/Б-тестом. Вы можете посмотреть, как повлияют на конверсию изменения в поп-апе, письме, сообщении в чат и даже при необходимости в скрипте JS.

abtest1.gif

Более того, вы можете сравнивать разные типы коммуникаций: чат с поп-апом, большой поп-ап с маленьким, сообщение в чат и Javascript и вообще любые варианты сочетаний сообщений. Проверьте, в каком формате ваше сообщение работает эффективнее всего.

abtest2.gif

💡Настройка А/Б-теста

Любое сообщение может быть А/Б-тестом. Более того, вы также можете добавить А/Б-тест к уже существующим сообщениям и сообщениям, в которых уже проводился А/Б-тест. Разберём, как создать А/Б-тест в новом сообщении.

Настройте Содержание сообщения и нажмите кнопку Добавить А/Б тест. При этом вариант А свернётся, и вы сможете выбрать тип и содержание сообщения Б. 

Когда оба варианта сообщения готовы, переходите к следующему шагу настройки.

💡Контрольная группа

Контрольная группа поможет проверить, как бы развивалась история без вашего сообщения. Выберите процент пользователей, которым вообще не будет показываться сообщение.

Контрольная группа выбирается на шаге Кому отправлять и по умолчанию составляет 10%. Вы можете задать своё значение.

❗Важно: Вы можете задать процент контрольной группы даже если не настраиваете А/Б-тест. В этом случае можно проверить, как будет вести себя аудитория, вообще не получающая триггерное сообщение.

Обратите внимание, что у чат-ботов данные о контрольной группе собираются иначе.

💡Логика работы А/Б-тестов с контрольной группой

Например, вы создали 2 варианта сообщения (А/Б-тест), которые посылаются через 10 минут после регистрации всем пользователям из Москвы.

Из всех пользователей, которые зарегистрировались (выполнили триггерное действие) через 10 минут (заданный таймаут) выбираются пользователи из Москвы (аудитория). Если вы задали контрольную группу, в этой аудитории случайным образом выбирается группа заданного размера, которой не будет показываться сообщение. Так происходит при отправке каждого сообщения, вне зависимости от того, настроен на нём А/Б-тест или нет. Если теста нет, всей оставшейся аудитории отправится сообщение. Если А/Б-тест настроен, оставшаяся часть аудитории так же случайно делится 50:50. Контрольная группа не увидит сообщения вообще, первой группе покажется сообщение А, а второй — сообщение Б.

❗Важно: Пользователи из аудитории выбираются случайным образом, поэтому не обязательно, что сообщение будет показываться в порядке А-Б-А-Б-А-... На большой выборке соотношение аудиторий будет стремиться к 50:50, но не обязательно будет равным. Отклонение в ±3% считается нормальным.

💡Статистика

Цифры — наше всё. Именно по цифрам вы можете определить, какое сообщение предпочтительнее оставить. Мы не делаем это за вас, потому что для каждого сообщения могут быть свои показатели успеха. Какое сообщение оставить: где больше кликов или открытий? Решать только вам. Также вы решаете, когда наберётся достаточно данных (достаточно большая аудитория пользователей), чтобы сделать вывод и остановить А/Б-тест. 

Как всегда, в разделе "Статистика" вы можете посмотреть количество отправленных сообщений, сколько из них было доставлено, прочитано, на сколько из них ответили, в скольких перешли по ссылке, сколько человек пожаловались на спам и отписались.

Данные выводятся рядом, чтобы вы могли сравнить цифры, а также в виде графиков.


Самый сок в том, что вы можете посмотреть, сколько денег принёс вам каждый из вариантов (и контрольная группа). Для этого при настройке сообщения задайте цель (следующий шаг после Вид и Содержание). Это событие, которое должен выполнить пользователь после прочтения сообщения (например, купить). В статистике вы сможете увидеть конверсию достижения цели и, если вы указали ценность цели, полученный доход.

💡Завершение тестирования

Как только вы набрали достаточно статистических данных и выбрали сообщение-победителя, завершите А/Б-тест.

Для этого нажмите кнопку Завершить тест и выберите вариант сообщения, который хотите отключить. Например, вы недовольны работой варианта Б, тогда выберите его и нажмите завершить тест. Статистика по А/Б-тесту будет отправлена в архив, к которому вы можете обратиться в любой момент. При этом сообщение А остановлено не будет, и будет рассылаться всем пользователям, которые удовлетворяют критериям этого письма (попадают в аудиторию, которая выполнила триггерное событие).

Как только вы снова решите сравнить сообщение А с каким-либо другим, просто создайте новый А/Б тест на основе этого же сообщения. У одного сообщения может быть неограниченное количество А/Б-тестов. Историю всех закрытых А/Б-тестов можно посмотреть в архиве.

❗Важно: Если вы отключите сообщение целиком, а потом снова включите, А/Б-тест продолжится.


Работает на