Как провести A/B-тест аудиторий, а не только креативов

Проверка двух объявлений отвечает на вопрос, какой креатив лучше привлекает внимание. Проверка двух аудиторий отвечает на другой вопрос: какая группа пользователей реагирует на продукт выгоднее при одинаковом предложении и рекламном сообщении. Именно такой тест помогает понять, стоит ли менять сегментацию, а не подбирать картинку или заголовок.

Для этого в Meta Ads Manager создают эксперимент с двумя вариантами аудитории и запускают их параллельно. Оба варианта получают сопоставимый бюджет, показы, место размещения и другие настройки. Так рекламная платформа сравнивает реакцию выбранных групп, а аналитик видит, какой сегмент приносит больше целевых действий на каждый потраченный рубль.

Корректный тест требует заранее определить гипотезу, исключить пересечения, выбрать одну основную метрику и не останавливать кампанию при первом удачном дне. Отклонение хотя бы одного условия превращает сравнение в обычные тестовые кампании, результат которых трудно объяснить.

Что на самом деле проверяет тест

Сравнение аудиторий показывает, какая группа сильнее реагирует на конкретное рекламное предложение. Если пользователям из двух сегментов показывают одинаковые объявление, страницу и условия покупки, можно оценить влияние самой сегментации: например, сравнить широкую аудиторию с аудиторией по интересам или посетителей сайта с пользователями, недавно смотревшими видео.

В Meta Ads Manager для этого используют инструмент экспериментов, разделяющий аудиторию и бюджет между вариантами. В VK Реклама обычно создают две отдельные кампании с одинаковыми настройками и разными группами. Важно понимать, что результат зависит от периода, площадок и конкурентной среды, поэтому он описывает поведение сегмента в конкретных условиях, а не все его качества.

До запуска стоит определить, какое решение будет принято по итогам. Например, тест может определить, переносить ли бюджет из сегмента по интересам в lookalike-аудиторию. Если предполагаемый вывод не влияет на распределение средств, настройки кампании или дальнейшую стратегию, такой эксперимент лучше не запускать.

Как сформулировать гипотезу

Хорошая гипотеза связывает изменение аудитории с измеримым результатом. Формулировка может звучать так: если исключить из холодной аудитории пользователей с прошлой покупкой, стоимость нового заказа снизится при сохранении прежнего объёма продаж. В ней указывают сегмент, ожидаемое изменение, основную метрику и ограничения, которые нельзя нарушать.

За один тест меняют один параметр. Это могут быть широкая аудитория и отдельный интерес, разные источники lookalike-аудитории или окна ретаргетинга. Одновременная замена нескольких условий не позволяет определить, какой фактор вызвал результат. Практические ориентиры по сегментам даёт материал об аудитории для Facebook, но готовить гипотезу нужно под собственную продуктовую воронку.

Перед запуском проверяют размер и пересечение групп. Для каждого варианта должно быть достаточно пользователей для получения статистически устойчивого результата, а аудитории по возможности не должны включать одних и тех же людей. Иначе Meta может выбрать победителя из-за повторных показов части пользователей, хотя настройки сегментов различаются.

Какие параметры аудитории сравнивать

Наиболее очевидное сравнение — широкая аудитория против аудитории с интересами. Оно показывает, помогает ли дополнительное ограничение повысить релевантность отклика. Другие допустимые варианты: один интерес против их комбинации, разные возрастные или географические ограничения, а также аудитории, сформированные на основе разных исходных сегментов.

Для ретаргетинга проверяют источник поведения и временное окно. Можно сравнить посетителей товарной страницы с пользователями, положившими товар в корзину, или аудитории за 7, 14 и 30 дней. Отдельно оценивают качество lookalike-аудиторий: меняют процент похожих пользователей, источник исходной аудитории либо исключают из неё недавних покупателей.

Сложные тесты лучше поручать команде, которая отвечает и за настройку, и за проверку данных. Надёжную реализацию обеспечивают эксперты по таргетингу: они помогают изолировать один параметр, настроить события аналитики и не нарушить требования платформ к обработке пользовательских данных.

Как выровнять условия запуска

Креатив, текст, оффер, посадочная страница, место размещения, режим оптимизации и окно атрибуции должны оставаться одинаковыми. Иначе неизвестно, какой фактор повлиял на результат. Разрешено менять только аудиторию, поскольку именно её реакция является предметом эксперимента.

Бюджет разделяют по правилам инструмента сравнения, а при создании отдельных кампаний задают сопоставимые дневные лимиты. Тест должен охватывать полный недельный цикл, включая будни и выходные. Если откровенной разницы в частоте показов нет из-за слишком маленьких аудиторий, сначала увеличивают размер выборки, а не сокращают период наблюдения.

Сезонные различия хорошо видны на примере рекламы в чёрную пятницу: спрос в период акции зависит не только от интересов, но и от времени. Поэтому обе группы запускают одновременно и исключают из анализа дни, когда одна из кампаний была ограничена по показам из-за настроек или сбоев.

Для точного учёта результата используют разные идентификаторы источника и события. Пиксель и Conversions API должны передавать целевые действия без двойного подсчёта, а данные о покупках при необходимости сверяются с CRM. Так отчёт связывает расход с реальными заказами, а не только с кликами рекламы.

Как оценить результат

Основную метрику выбирают до запуска по цели кампании. Для продаж это могут быть CPA, ROAS или стоимость квалифицированного заказа, для лидогенерации — CPL и доля качественных обращений. CTR, CPC и количество кликов остаются вспомогательными показателями: они объясняют механику результата, но редко определяют победителя самостоятельно.

Сравнивать нужно не средние значения за весь период, а распределения и практическую разницу. Аудитория с немного лучшим CTR может проиграть, если её пользователи чаще уходят после перехода или совершают больше возвратов. Полезно также проверить качество лидов, средний чек и долю новых покупателей, если такие данные доступны в CRM.

Вывод принимают после накопления достаточной выборки. Низкая конверсия требует больше времени и показов, чем просмотр объявления, поэтому семи дней может оказаться недостаточно. Результаты рассматривают с учётом доверительной вероятности, объёма конверсий и стабильности показателей; единичный удачный день не считается победой аудитории.

Какие ошибки искажают вывод

Главная проблема — пересечение аудиторий. Один пользователь может увидеть оба варианта, купить товар после первого контакта и не сформировать новое целевое действие во втором. Чтобы этого избежать, применяют исключения, разделяют исходные списки и проверяют пересечение на уровне идентификаторов.

Нельзя без необходимости менять креативы, ставки, оптимизацию или дневной бюджет во время теста. Досрочная остановка, плановое повышение цены во время акции и дисбаланс рекламной конкуренции также искажают результат. Более широкий список причин раскрыт в разборе ошибок таргетированной рекламы, которые способны незаметно увеличить расходы.

Дополнительные риски связаны с данными и интерпретацией. Для аудиторий на основе пикселя, списков клиентов или поведения в приложении нужны корректные согласия и соблюдение требований 152-ФЗ и правил площадок. Если проверяются несколько гипотез одновременно, каждую следует разбирать отдельно: рост общих продаж способен скрыть проигрыш конкретной аудитории.

После завершения сохраните условия запуска, статистику по каждой группе, выбранную метрику и принятое решение. Отдельным документом зафиксируйте причины остановки теста, чтобы следующий эксперимент можно было спланировать без повторения прежних ошибок.

Начните с одного запуска: выберите две непересекающиеся аудитории, заранее задайте CPA или ROAS как основную метрику и проведите сравнение в течение полного семидневного цикла без изменений.