Сравнивайте контрольную и новую версии страницы на реальном трафике. Конви случайно делит посетителей между вариантами и показывает, когда разница в конверсии подтверждена статистически
Запустить бесплатноТри шага от установки Конви до первого эксперимента
Скопируйте код из личного кабинета Конви и установите его через Менеджер тегов Яндекса, Google Tag Manager или прямо в код страницы
<!-- Convee script start --> <link rel="preconnect" href="https://s.convee.ru" crossorigin> <script src="https://s.convee.ru/v2/WEBSITE_ID.js"></script> <!-- Convee script end -->
Создайте версию Б для этой же страницы: поменяйте оффер, структуру блока, CTA или весь первый экран. Версия А остаётся контрольной.
Проверяйте варианты страницы и выбирайте лучший по данным
Конви делит трафик между версиями А и Б, копит выборку и показывает результат после достаточного объёма данных.
Абукон отличает реальный рост конверсии от случайного колебания и переводит сложную последовательную статистику на понятный маркетологу язык
Частая проверка данных не создаёт ложных победителей и не ломает расчёт.
Абукон сообщит, когда эффект пересёк защищённый порог и направление подтверждено.
Необязательно заранее задавать ожидаемый uplift или точный размер выборки.
Движок корректно контролирует риск ошибки при сравнении нескольких вариантов.
A/B-тест отвечает на один конкретный вопрос: улучшило ли выбранную конверсию изменение страницы
Текущая версия страницы. Она показывает, как посетители ведут себя без проверяемого изменения
Версия с осмысленным изменением, которое должно повлиять на выбранную конверсию
A/B-тест подходит, когда после результата можно принять конкретное решение: внедрить вариант B, оставить контроль A или признать, что убедительной разницы пока нет
Сначала зафиксируйте вопрос и метрику. Варианты и статистический метод не исправят эксперимент, в котором непонятно, что именно проверяют
Начните со страницы, которая уже получает трафик и влияет на заявку, регистрацию или покупку. Выберите одно целевое действие, по которому будете сравнивать варианты
Если бизнесу важна отправка формы, рост кликов по кнопке ещё не доказывает рост заявок.
Запишите, что меняется, почему это должно помочь посетителю и какую метрику вы ожидаете улучшить. Сохраните текущую страницу как контроль A
Конкретные условия доставки рядом с CTA снимут сомнение и увеличат долю переходов к оформлению.
После единоразовой установки кода выберите элемент в визуальном редакторе и добавьте новый текст, изображение, кнопку или другой вариант блока
Незначительная правка оттенка или одного слова часто требует слишком большой выборки и даёт слабый вывод.
Откройте обе версии на мобильных устройствах и desktop, проверьте целевое событие и убедитесь, что один посетитель продолжает видеть назначенный ему вариант
Вёрстку, ссылки, форму, отправку конверсии и отсутствие других изменений на том же пути пользователя.
Конви равномерно делит новых посетителей между версиями, собирает выбранную конверсию и обновляет результат. Не выбирайте победителя только по временному отрыву
Подтверждён вариант B, подтверждён контроль A, данных пока мало или убедительного победителя нет.
Выбирайте изменение, способное повлиять на решение посетителя, и связывайте его с одной основной конверсией
Сравните общее обещание с конкретной формулировкой результата, срока, формата или важного условия
Учебный пример: «Автоматизируйте отчёты» против «Соберите отчёт по рекламе за 10 минут»
Проверьте текст CTA и пояснение рядом с ним. Посетителю должно быть понятно, что произойдёт после клика
Метрика: отправка формы или переход к оплате, а не цвет кнопки сам по себе
Сравните объём запрашиваемых данных, пояснения к полям или первый шаг формы. Для изменения сложной логики может понадобиться разработчик
Учебный пример: короткая заявка против формы со всеми вопросами отдела продаж
Замените декоративную иллюстрацию на скриншот продукта, фотографию товара или другое доказательство, связанное с решением посетителя
Меняйте одну смысловую идею, а не только кадрирование одного и того же изображения
Проверьте расположение кейса, условий, отзыва или ответа на возражение рядом с местом принятия решения
Метрика должна показывать следующий бизнес-шаг, а не просмотр самого блока
Если гипотеза затрагивает связку заголовка, оффера и CTA, соберите цельный вариант блока и сравните его с текущей версией
Для поиска комбинаций нескольких независимых элементов лучше выбрать MVT
Хороший дизайн эксперимента связывает проблему страницы, изменение и измеримый результат. Победителя не выбирают по самому красивому варианту
Убедитесь, что по итогам теста команда сможет принять однозначное решение
Учебный пример: на странице онлайн-курса сравнивают общий заголовок с вариантом, где указаны формат и срок обучения. Основная метрика — отправка формы, а не клик по кнопке
Способ расчёта отличается, но ни один метод не заменяет трафик и целевые действия
До запуска калькулятор определяет фиксированный размер выборки, после которого результат проверяют один раз
Абукон последовательно обновляет E-value и сохраняет корректность при каждом просмотре результата
MDE всё равно полезен для бизнес-плана: он показывает минимальный рост, ради которого изменение стоит внедрять. Чем реже конверсия и меньше реальный эффект, тем дольше копятся доказательства. При отсутствии разницы победитель может не появиться.
Метод выбирают под дизайн эксперимента и тип метрики. Не все подходы решают одну задачу и не все входят в текущий статистический движок Конви
В классическом fixed-horizon тесте решение принимают один раз после запланированной выборки. Если проверять обычный p-value каждый день и останавливаться на первом удачном значении, риск ложной победы растёт
В Конви: anytime-valid E-value рассчитан на повторный просмотр результата
Метод использует данные до эксперимента, связанные с будущей метрикой, чтобы объяснить часть естественного разброса. Это может повысить чувствительность оценки без изменения распределения трафика
В текущем движке Конви CUPED не применяется
Аудиторию заранее делят на однородные группы по признакам, известным до воздействия, а распределение или анализ учитывают внутри этих групп. Метод полезен, когда состав аудитории неоднороден
В текущем A/B-режиме Конви используется случайное, а не стратифицированное распределение
Дельта-метод приближённо оценивает разброс сложной метрики через более простые составляющие. В A/B-тестах его часто используют для ratio-метрик, например среднего чека или выручки на пользователя
Для основной бинарной конверсии Конви отдельный дельта-метод не нужен
Линеаризация преобразует ratio-метрику в пользовательские значения, с которыми можно работать как с обычной средней. Это упрощает проверку гипотез и применение методов снижения дисперсии
Текущий движок Конви сравнивает конверсии и не применяет линеаризацию ratio-метрик
Бутстрап многократно пересобирает выборки из наблюдаемых данных и по полученному распределению оценивает неопределённость метрики. Единицей пересэмплирования должна оставаться единица рандомизации
Абукон использует последовательный E-value, а не бутстрап для объявления победителя
Текущая конверсия помогает следить за экспериментом, но решение принимают по статусу статистики и направлению эффекта
Текущие цифры уже видны, но разница ещё может быть случайным колебанием
Доказательства пересекли защищённый порог, а направление эффекта определено
Ни один A/B-тест не гарантирует рост. Слабая гипотеза не становится сильной из-за алгоритма, а отсутствие подтверждённой разницы — нормальный результат, который защищает команду от необоснованного изменения страницы.
Ответы о запуске, выборке и результатах A/B-тестов в Конви
Выберите важную страницу, основную конверсию и изменение, которое посетитель действительно заметит
