A/B-тест (сплит-тест) — это метод проведения контролируемого эксперимента, при котором две (или более) версии одного элемента (продукта, интерфейса, алгоритма, текста и т.д.) сравниваются между собой с целью определения, какая из них эффективнее достигает поставленных целей. В классическом виде сравниваются две группы:

• Группа A — контрольная (без изменений);

• Группа B — тестовая (с изменением).

Пользователи случайным образом распределяются между группами, и поведение в каждой группе измеряется и сравнивается по ключевым метрикам.

Зачем проводят A/B-тесты

• Повысить конверсию (регистраций, покупок, кликов и пр.);

• Улучшить пользовательский опыт (UX);

• Проверить гипотезу, прежде чем внедрять изменение;

• Снизить риски, связанные с развертыванием новых функций;

• Научно обосновать принятие решений.

Как проводится A/B-тест

1. Формулировка гипотезы
   Пример: “Если изменить цвет кнопки с красного на зелёный, то количество кликов увеличится”.

2. Определение метрик успеха
   Какие показатели будут измеряться (например, CTR, CR, ARPU, время на сайте и т.д.).

3. Выбор целевой аудитории и случайная выборка
   Пользователи должны быть рандомно распределены между группами — это снижает влияние внешних факторов и сохраняет чистоту эксперимента.

4. Определение длительности теста и необходимой выборки
   Обычно рассчитывается через power analysis, чтобы определить размер выборки, необходимый для получения статистически значимого результата с заданной вероятностью ошибки (например, 95%).

5. **Запуск теста и сбор данных
   **

6. Анализ результатов
   Сравнение средних значений, построение доверительных интервалов, использование статистических тестов (например, z-тест, t-тест, chi-square) для оценки значимости различий.

7. Выводы и действия
   Если тестовая версия статистически лучше — она внедряется. Если нет — остается контрольная, или формируется новая гипотеза.

Основные метрики, которые важно отслеживать

Поведенческие метрики

• CTR (Click-Through Rate) — доля пользователей, кликнувших на элемент (баннер, кнопку и т.д.)
  CTR=число кликовчисло показов×100%CTR = \frac{\text{число кликов}}{\text{число показов}} \times 100\%
• CR (Conversion Rate) — доля пользователей, выполнивших целевое действие (регистрация, покупка, подписка)
  CR=число конверсийчисло пользователей×100%CR = \frac{\text{число конверсий}}{\text{число пользователей}} \times 100\%

• Bounce Rate — доля пользователей, покинувших сайт, не совершив взаимодействий.

• Retention Rate — сколько пользователей вернулись через день/неделю/месяц после первого визита.

• DAU/WAU/MAU — активные пользователи за день/неделю/месяц.

• Time on Page / Session Duration — среднее время, проведённое пользователями на странице или в приложении.

Финансовые метрики

• ARPU (Average Revenue Per User) — средняя выручка на пользователя.
  ARPU=Общая выручкаЧисло пользователейARPU = \frac{\text{Общая выручка}}{\text{Число пользователей}}

• LTV (Lifetime Value) — ожидаемая выручка от одного пользователя за весь срок его жизни как клиента.

• Churn Rate — доля пользователей, ушедших за определённый период.

Статистические метрики

• p-value — вероятность получить наблюдаемый (или более экстремальный) результат при условии, что нулевая гипотеза верна.
  Обычно A/B-тест считается успешным при p < 0.05.

• Statistical Power — вероятность обнаружить эффект, если он действительно есть. Обычно стремятся к 80% или выше.

• Confidence Interval — диапазон, в который с определённой вероятностью попадает истинное значение метрики. Это помогает понять разброс результата, а не просто его точечную оценку.

Какие ошибки могут быть при проведении A/B-теста

1. Нарушение случайности
   Если группы отличаются по времени/географии/поведению, это может повлиять на результат.

2. Недостаточная выборка
   Если пользователей мало, даже большие различия могут быть статистически незначимыми.

3. Остановка теста раньше времени
   Преждевременное принятие решений может привести к ложноположительным результатам (p-hacking).

4. Множественные тесты без коррекции
   Если параллельно проводится много экспериментов, увеличивается риск случайных ложных находок. Нужна коррекция (например, Bonferroni correction, False Discovery Rate).

5. **Неучёт сезонности, внешних событий и багов
   **

Расширенные варианты A/B-тестирования

• A/B/n-тестирование — сравниваются более двух версий (A, B, C, D...).

• Мультивариантное тестирование (MVT) — одновременно тестируются комбинации нескольких факторов.

• Sequential Testing — анализ проводится пошагово на протяжении теста с контролем ложноположительных результатов.

• Bandit-алгоритмы (например, Thompson Sampling) — адаптивные методы, которые динамически перераспределяют трафик в пользу лучших версий.

• Split URL testing — при котором пользователи направляются на разные URL с разными версиями страницы.

Где применяют A/B-тесты

• Изменение цвета/текста кнопок, блоков CTA;

• Вариации маркетинговых писем;

• Ранжирование и логика работы алгоритмов;

• UI/UX-тестирование навигации;

• Ценообразование;

• Функциональные изменения продукта (например, новые фичи).

A/B-тест — мощный инструмент для принятия решений на основе данных, но его эффективность зависит от корректной постановки гипотез, грамотного анализа результатов и соблюдения статистической строгости.