1

С помощью А/Б-тестов маркетологи могут быстро отметать неудачные идеи и экономить своё время и деньги компании. О том, как использовать А/Б-тесты именно в сфере недвижимости, рассказывает Мария Белоусова, руководитель B2C-маркетинга категории «Жилая недвижимость» в Авито.

Что такое А/Б-тест и когда он неэффективен

А/Б-тест ― это эксперимент, который помогает понять, какое из нескольких решений самое эффективное. С помощью А/Б-тестов можно сравнивать посадочные страницы, интернет-баннеры или сообщения для клиентов. Но есть случаи, когда А/Б-тестирование запускать не стоит:

❌ Для сравнения очень похожих вариантов. 

❌ На узкой целевой аудитории. 

❌ Если решение нужно принять в сжатые сроки.

Как правильно провести А/Б-тест

Вот что нужно сделать при запуске А/Б-теста, чтобы получить репрезентативные результаты:

Определить главную метрику. Например, если задача ― проверить, какой из двух баннеров привлечёт больше клиентов, в качестве основной метрики стоит выбрать количество лидов.

Выбрать прокси-метрики. Важно кроме основной метрики подбирать несколько дополнительных, которые косвенно укажут на изменения.

Определить время для теста. Если один вариант проверять при одних обстоятельствах, а второй при других, можно получить разные данные не из-за отличий в коммуникации, а из-за того, что рынок изменился. 

Сформулировать гипотезу. До запуска теста нужно однозначно понимать, что мы будем проверять. Гипотеза должна содержать элемент, который тестируем, и метрику, на которую работаем. 

Не забывать, что варианты в А/Б-тесте должны отличаться только одним параметром. Если тестировать сразу несколько идей, будет непонятно, какая из них сработала.

Как провести А/Б-тест, когда ресурсов мало

Часто А/Б-тестирование воспринимается как трудозатратная задача, потому что требует дополнительных ресурсов на подготовку, настройку и аналитику. Но польза для бизнеса от грамотных А/Б-тестов гораздо больше, чем ресурсы, которые уходят на подготовку. Вот чем можно воспользоваться, чтобы сэкономить время и деньги:

Конструкторы. Например, когда нужно сравнить между собой два лендинга или лендинг и квиз, можно обойтись без дизайнера и разработчика. Лендинг можно создать на Тильде, а квиз — на Марквизе.

Шаблоны баннеров. Если вы часто тестируете баннеры, необязательно привлекать дизайнера для подготовки каждого варианта. Закажите универсальные шаблоны, на которых сможете самостоятельно менять отдельные элементы.

Встроенные функции в рекламных кабинетах и CRM-системах. С ними можно проводить тесты без аналитика. К примеру, Яндекс.Эксперименты в РСЯ позволяют автоматически настраивать кампании на сравнимые однородные целевые аудитории и корректно оценивать результаты.

Как понять, что А/Б-тест удался

В каждом А/Б-тесте небольшой процент изменений заложен на ошибку. При выборке от 10 000 просмотров чаще всего можно считать статистически значимыми изменения от 5%. Если отличие в целевой или важной для нас прокси-метрике после теста выше погрешности, то эти изменения можно считать значимыми.

Коротко о том, как проводить и оценивать А/Б-тесты

  1. А/Б-тесты помогают выбрать более эффективные лендинги, баннеры и сообщения для клиентов.
  2. Не стоит использовать А/Б-тесты для сравнения очень похожих элементов, на узкой целевой аудитории и в случае, если решение нужно принять в очень сжатые сроки. В таких ситуациях не получится сделать корректные выводы.
  3. Чтобы А/Б-тест был успешным, важно соблюдать несколько правил: 
  • выбрать только одну метрику для KPI и как минимум одну прокси-метрику;
  • до начала теста оценить динамику этих метрик;
  • одним тестом проверять только одну гипотезу;
  • тестировать варианты, которые отличаются лишь одним параметром.

4.  А/Б-тест можно считать успешным, если при выборке от 10 000 человек на каждый вариант теста отличие в целевой метрике больше 5%.

Полная версия материала с кейсами по продаже новостроек — в блоге Авито Недвижимости.