A/B-тест (тестирование двух версий): какие задачи решает и как его провести

Представьте, что вам нужно утвердить один из двух вариантов дизайна сайта или понять, какое рекламное объявление быстрее приведёт клиентов. Выбирать интуитивно в подобных ситуациях — значит рисковать деньгами, временем и другими ресурсами. Принять более взвешенное решение помогает проверка двух версий. Объясняем, что такое A/B-тесты, зачем они нужны и как их запускать.

Главное в трёх пунктах

• A/B-тестирование — это метод количественного сравнения двух вариантов продукта, дизайна, креатива или текста, который показывает, как аудитория реагирует на каждую версию.
• Для проведения эксперимента необходимо выявить проблему, определить метрики для отслеживания результата, сформулировать гипотезу по оптимизации продукта, рекламы или креатива и подготовить изменения для проверки на пользователях.
• Исследование может показать ошибочный вывод, если сделать маленькую выборку, неверно распределить аудиторию или поспешить с аналитикой.

Читайте также Маркетинговые исследования: виды и методы В статье разбираем, что это такое, какие методы маркетинговых исследований бывают и как правильно их провести. Открыть статью

A/B-тестирование: что это такое в маркетинге и как работает

A/B-тестирование — это способ сравнить два варианта одного и того же объекта, чтобы понять, какая версия лучше привлекает целевую аудиторию.

Допустим, вы разрабатываете посадочную страницу для заказа продукта. Перед запуском вы проводите тест:

• создаёте два разных варианта дизайна страницы;
• собираете аудиторию и делите её на две равнозначные группы;
• одному сегменту пользователей показываете вариант А, другому — B;
• отслеживаете, в какой версии страницы люди быстрее находят нужную информацию, чаще нажимают на кнопки целевого действия и оставляют заявки;
• запускаете вариант, который показал лучший результат.

Тестирование двух версий относится к маркетинговому исследованию и требует аналитических навыков. Развить их и детально изучить искусство продвижения продукта можно в очной онлайн-магистратуре НИУ ВШЭ «Цифровой маркетинг». Онлайн-кампус НИУ ВШЭ сотрудничает с экспертами в области аналитики, рекламы, креативных индустрий. Вы будете практиковаться на реальных кейсах под руководством лидеров рынка, осваивать новейшие инструменты и методы маркетинга. Это поможет развить продуктовое мышление и научиться разрабатывать лучшие решения для бизнеса.

Какую пользу A/B-тестирование приносит бизнесу

A/B-тестирование помогает принимать решения, опираясь на реальные данные. Это снижает риски при масштабных изменениях, улучшает показатели и экономит ресурсы.

Представим, что сайт компании стал приносить меньше конверсий и на очередной планёрке команда решила обновить главную страницу. Дизайнеры предложили 2 макета: на одном — фотография товара, на другом — видеоролик с отзывами покупателей.

Маркетологи показали обе версии пользователям. Через 2 недели выяснилось, что страница с видео не увеличила продажи, так как люди не досматривали ролик. Вариант с фото, напротив, привёл к росту заказов. Компания внедрила дизайн со снимком продукта — решение, которое реально приносит прибыль, экономит деньги и время.

Какие задачи помогает решить А/В-тестирование и кому оно подходит

Для чего бизнес применяет тестирование двух версий продукта:

• оптимизация конверсии через проверку эффективности заголовков, текстов, призывов к действию, графики;
• снижение стоимости клика благодаря выбору лучших креативов, баннеров и настроек таргетинга;
• повышение читаемости рассылки после проверки разных тем писем, вариантов дизайна и времени отправки;
• выбор оптимального решения в спорной ситуации через тестирование двух и более идей от клиентов или специалистов.

Ключевые условия исследования — большой объём трафика и количественная метрика, чтобы можно было получить и оценить статистически значимые результаты.

Метод может быть неэффективен на старте бизнеса или когда результат нужно получить в сжатые сроки. В первом случае сложно собрать репрезентативную выборку из аудитории, а во втором — сделать полноценный запуск с реалистичными выводами. A/B-тестов также недостаточно, если маркетологи хотят детально понять мотивацию клиентов, например почему пользователи выбирают тот или иной вариант продукта. В этом случае стоит организовать встречи с фокус-группами или глубинные интервью.

Какие элементы можно тестировать

Проверять можно практически любые объекты, с которыми взаимодействуют клиенты:

• На сайте сравнивают заголовки, тексты, кнопки, формы регистрации, видео и фото, логику воронки продаж.
• В рассылках проверяют дизайн и темы писем, имя адресанта, время отправки, тексты уведомлений.
• При запуске рекламной кампании — креативы, баннеры, призывы к действию, настройки таргетинга.

Цена, условия акции и дизайн упаковки также подходят для A/B-тестов.

Какие существуют варианты A/B-тестов

Тестирования делятся на 4 группы в зависимости от количества и комбинации сравниваемых объектов.

Стандартный метод A/B

Классическое A/B-тестирование — метод сравнения двух версий объекта. Аудиторию разделяют случайным образом так, чтобы каждый вариант увидело равное количество пользователей. Этот способ подходит для оценки деталей интерфейса, текстов, структуры сайта и любых других параметров, где нет необходимости в глубоких выводах.

Мультивариантное тестирование (MVT, Multivariate Testing)

Метод используют, когда необходимо заменить набор элементов и проверить, как они работают в связке. Допустим, вы запланировали обновить страницу подписки и подготовили на выбор по три заголовка, баннера и кнопки. Вместо запуска нескольких A/B-экспериментов можно провести одно мультивариантное исследование.

Для теста нужно комбинировать контент, чтобы проверить все возможные сочетания и выбрать лучшее. Например, в нашем примере их 27: 3 заголовка × 3 баннера × 3 кнопки. Количество групп пользователей должно быть равным количеству комбинаций — 27.

Подход чаще всего используют в тестировании интерфейсов сайтов, посадочных страниц, приложений.

A/B/n-тесты и последовательные эксперименты

A/B/n — это расширенный стандартный метод: буква «n» означает любое количество версий. Например, можно проверить 3 идеи для заголовка на сайте или 5 видео для главной страницы. В отличие от мультивариантного метода, здесь вы сравниваете готовые цельные объекты, а не комбинацию элементов.

Этот способ принято использовать, когда есть много разных идей и хочется быстро понять, какая из них понравится клиентам.

Последовательные эксперименты — это тестирование замыслов по очереди. Сначала сравнивают варианты А и B: победитель проходит в следующий раунд с версией C. Такой способ хорош, если трафика мало, нужно снизить финансовые риски или гипотезы зависят друг от друга.

Тесты с контрольной группой

Как и в стандартном тестировании, здесь всего две группы пользователей для сравнения реакции, но эксперимент длится дольше, чем его классическая версия. В каждый сегмент необходимо собрать похожий состав людей по возрасту, географии, интересам и особенностям поведения. Одна часть аудитории увидит старый вариант объекта без изменений, а вторая — новый.

Например, вы переделали программу лояльности и провели классическое A/B-сравнение. Оно показало, что новые правила действительно увеличили количество повторных покупок, но это мог быть временный всплеск, вызванный интересом и рекламой. Дальнейшее наблюдение за обеими группами покажет, как пользователи ведут себя на постоянной основе и что происходит с прибылью компании.

Как проводить A/B-тестирование

Сначала нужно понять цель эксперимента, выбрать показатель для контроля и сформулировать гипотезы. Затем — подготовить варианты объектов и запустить тест на группы пользователей.

Цель и ключевая метрика

Цель должна быть связана с коммерческими результатами бизнеса. Например, руководитель онлайн-магазина одежды хочет увеличить средний чек на 15%. Он видит, что клиенты кладут в корзину 1–2 позиции и редко смотрят дополнительные товары. Маркетолог считает, что проблему можно решить созданием блока рекомендаций в карточках. Проверить это предположение — цель тестирования. К ней необходимо выбрать метрики для оценки.

В нашем случае, помимо основного показателя — среднего чека, есть смысл отслеживать количество товаров в корзине и время на странице. Эти данные помогут убедиться, что изменения не нарушили другие процессы. Например, долгий просмотр страниц без добавления товаров в корзину может говорить о том, что блок, скорее, отвлекает пользователей, чем мотивирует.

Разработка гипотезы

Теоретически блок «С этим товаром заказывают…» в каждой карточке должен увеличить число покупок за один раз. Так звучит общая гипотеза, из которой исходят две формальных:

• нулевая — изменение ничего не даст, и рекомендации никак не влияют на поведение клиентов;
• альтернативная — блок поможет прийти к желаемому результату, потому что покупатели увидят подходящую продукцию и захотят заказать больше.

Дальше необходимо выбрать тип теста: односторонний или двусторонний. Первый сосредоточен на поиске доказательств, что новая версия стала лучше. Второй — фиксирует любое значимое отклонение от изначального состояния.

Решение зависит от того, насколько критично вероятное негативное влияние обновлений. Используйте двусторонний метод, когда хотите удостовериться в любых значимых изменениях — положительных или отрицательных. Если уверены, что нововведения не навредят, применяйте односторонний вариант.

Подготовка объекта и выборки

Для объективного сравнения нужно, чтобы все варианты видели одинаковые по размеру группы людей, например, 550/550 или 225/225/225. Один и тот же человек должен взаимодействовать только с одной версией изменений.

Размер выборки зависит от уровня метрики, желаемого эффекта и других параметров. Лучше формировать большие группы от нескольких сотен человек: так результаты будут более репрезентативными.

Запуск эксперимента и сбор данных

Установите временные рамки. Для этого разделите общий размер выборки на текущий ежедневный трафик — значение покажет примерное количество дней. Тестирование проще всего запустить с помощью встроенных инструментов в рекламной системе.

Так, в VK Рекламе есть функция запуска двух версий объявления одновременно на одну аудиторию. В Яндекс Директе — шахматный порядок показа кампаний по часам: сначала работает одна, затем вторая, и так по очереди. Перед стартом эксперимента проверьте отображение всех элементов в версиях для смартфона и компьютера.

Не прерывайте тесты досрочно, иначе результаты будут ненадёжными. Дождитесь, пока пройдёт установленный срок, накопится и стабилизируется достаточное количество данных.

Как проанализировать результаты эксперимента

Если A/B-тестирование демонстрирует рост метрик, изменение внедряют на всю аудиторию. При уменьшении показателей формируют новую гипотезу и запускают повторный эксперимент. В случае нулевой разницы можно сегментировать выборку по платформам, географии и другим параметрам: иногда оказывается, что одна из версий сработала, но только для узких групп аудитории.

Чтобы убедиться в достоверности положительного результата, нужно посчитать статистическую значимость. Это параметр, который показывает степень случайности улучшений. Определить величину проще всего в специальном калькуляторе, например в Яндекс Директе. Если сервис покажет недостоверность, исследование повторят, но с большей выборкой.

Самые частые ошибки A/B-тестирования и как их не допустить

Часто ошибки случаются на этапах подготовки эксперимента. Поэтому, перед тем как проводить A/B-тестирование, уделите внимание формированию выборки, метрикам и версиям объекта.

Ошибочная выборка

Вы привлекли недостаточно пользователей или неравномерно распределили их по группам. Например, вариант A чаще видят люди, которые заказывают товар со смартфонов, B — с компьютеров.

Подготовьте равные сегменты, исключите ботов и сотрудников, проверьте пропорциональность географии, устройств и других параметров. Проще всего сделать это в системе рекламной платформы.

Неподходящая метрика

Вы исследовали показатели, по которым сложно определить коммерческий успех, или забыли оценить смежные метрики. Например, проверили только конверсию и проигнорировали коэффициент возврата клиентов.

Исходите из бизнес-целей и выбирайте то, что влияет на прибыль. Проверяйте положительный результат не только по основным, но и по побочным признакам.

Несоответствие вариантов и метода тестирования

В классическом методе, A/B/n или тесте с контрольной группой нельзя смешивать разнородные элементы. Так, сравнение кнопок и заголовков не даст внятного результата для анализа. В подобных случаях имеет смысл запускать только мультивариантное тестирование.

Слишком быстрый тест

Бывает так, что маркетолог завершает тест раньше срока после первых положительных результатов или изначально закладывает на эксперимент слишком мало дней. В таком случае данные будут ненадёжными.

Минимальная продолжительность теста — неделя, точный временной промежуток зависит от конкретной цели бизнеса.

Поспешные выводы

Иногда улучшение не связано с изменением, даже если эксперимент показал положительный результат. Обязательно рассчитывайте статистическую значимость и анализируйте полученные данные в связке с внешними факторами.

Читайте также Что такое разработка нового продукта (NPD) в маркетинге и как её организовать Рассказываем, как создать и вывести на рынок новый продукт с минимальными рисками Открыть статью

Чек-лист: как получить объективные результаты при A/B-тестировании

• Сформулируйте бизнес-задачу, которую должен решить тест. Например, повысить конверсию, увеличить средний чек, снизить стоимость клика.
• Выберите одну главную метрику и несколько дополнительных показателей, чтобы увидеть не только рост, но и возможные побочные эффекты.
• Опишите гипотезу до запуска теста. Что именно должно измениться, на какой результат вы рассчитываете и почему это должно сработать.
• Подберите подходящий тип эксперимента: классический A/B-тест, A/B/n, мультивариантный, последовательный эксперимент или проверку с контрольной группой.
• Разделите аудиторию на равные и сопоставимые группы. Пользователи в разных сегментах должны быть похожи по устройствам, географии, поведению и другим признакам.
• Не смешивайте разные изменения в одном простом тесте. Если одновременно меняются заголовок, баннер и кнопка, лучше использовать мультивариантный подход.
• Заранее рассчитайте срок эксперимента с учётом трафика и не останавливайте тест после первых результатов.
• Проверьте статистическую значимость, прежде чем внедрять вариант на всю аудиторию.
• Разберите результат в контексте. Учитывайте внешние факторы, поведение отдельных сегментов и смежные метрики, а при неясных выводах формулируйте новую гипотезу.