Расскажи про случай, когда ты провалил фичу. Что ты узнал?


Один из показательных примеров провала фичи связан с запуском функции персонализированных рекомендаций в e-commerce-приложении. Цель фичи заключалась в том, чтобы увеличить конверсию за счёт отображения пользователю товаров, основанных на его истории просмотров и покупок. Проект на первый взгляд казался простым и логичным, но на практике дал неожиданный результат.

Исходная гипотеза и мотивация

Исходя из анализа поведения пользователей, команда сделала вывод, что многие покупатели тратят время на поиск нужных товаров. Мы решили упростить этот путь и повысить вероятность покупки, внедрив блок «Рекомендовано для вас» на главной странице и карточке товара.

Предполагалось:

  • увеличить среднее время сессии;

  • повысить CTR на карточки из блока;

  • увеличить коэффициент конверсии.

Реализация

Фича строилась на простой модели: собирались просмотры товаров за последние 7 дней, и на их основе подбирались другие товары с похожими тегами, категориями и ценами. Также учитывался регион пользователя. Запуск проводился через feature flag, с A/B тестом на 50/50 трафика.

UI выглядел как горизонтальный скролл с каруселью рекомендаций.

Что пошло не так

  1. Ошибка в UX-позиционировании
    Блок рекомендаций был размещён в середине страницы, между промо-баннером и поисковой строкой. Он отвлекал внимание, но не вёл к переходам. Пользователи воспринимали его как баннер, а не как «часть полезного» — баннерная слепота.

  2. Переобучение модели
    Мы не учли, что данные о пользователях были крайне слабо выражены: большинство приходили по рекламным кампаниям, не имели истории, и рекомендации строились на очень скудных сигналах. В результате рекомендации казались случайными и неуместными.

  3. Проблемы с трекингом
    Во время эксперимента возникла ошибка в аналитике: часть кликов с блока не фиксировалась, из-за чего результаты выглядели лучше, чем есть на самом деле. Это привело к преждевременному решению «выкатить на 100% трафика».

  4. Негативное влияние на конверсию
    После масштабного запуска начали снижаться общие показатели: CTR на товары из других блоков упал, а bounce rate немного вырос. Пользователи тратили больше времени на бесполезный просмотр нерелевантных рекомендаций, не переходили дальше и уходили.

Реакция команды и откат

После 2 недель с момента полного запуска стало понятно, что гипотеза не сработала. Был созван «post-mortem», где:

  • мы откатили фичу до тестовой версии;

  • пересмотрели подход к персонализации: отказались от упрощённого правила tag-based фильтрации;

  • усилили аналитику: добавили логику отслеживания cold-start сегментов, ввели логи по кликам, не только по переходам.

Что я узнал:

  1. Персонализация — это не просто фильтрация
    Нельзя делать выводы о предпочтениях по 1–2 кликам. Особенно в e-commerce, где пользователь часто просто сравнивает или ищет подарок. Нужна модель, понимающая поведение, а не просто пересекающая теги.

  2. UX важен не меньше логики фичи
    Даже если логика работает, но визуальное восприятие похоже на рекламу, — фича будет игнорироваться. Нужно проводить тестирование восприятия интерфейса, прежде чем запускать.

  3. A/B тестирование — не панацея, если метрики кривые
    Ошибка в аналитике или неправильная интерпретация может привести к тому, что продуктовая команда примет ложноположительное решение. Мы добавили в процесс двойную проверку событий — через внутренние логи и сторонний инструмент (например, Mixpanel/Amplitude).

  4. Важность сегментирования пользователей
    Нельзя рассматривать метрики в среднем: пользователи с историей и без истории — это два разных мира. Надо строить фичи, начиная с тех, у кого уже есть активность, и потом адаптировать под «холодных».

  5. Итеративный подход — ключ
    Мы пытались сразу сделать «умную» рекомендацию без поэтапной проверки каждой гипотезы. Лучше было бы начать с простой карусели «Популярные товары в категории», оценить кликабельность, а уже потом вводить персонализацию.

Этот провал стал точкой входа для более зрелого подхода к фичам: с явным разбиением на MVP, предварительными UX-тестами, валидацией метрик, сегментацией пользователей и аналитикой. Через 3 месяца мы смогли вернуть рекомендательную систему — уже на модели с history-based алгоритмом, с повышением CTR на 17% и удержания на 8%. Но именно первый провал сформировал основу для будущих успешных экспериментов.