Данные и окно — одни и те же (snapshot 29.06, 12.06→28.06). Переключатель меняет только способ оценки тех же биномиальных метрик.
Вердикт (17.06)
Победителя пока нет, картина 3 слоёв держится (без разворотов vs 16.06):
- Intent-воронка (PostHog): ничья, все шаги n.s. (p>0.6). Чекаут-намерение точечно чуть выше у value-first (+0.3 п.п.), но шум.
- Реальная оплата буста (ClickHouse, арм↔покупка по backend uid, джойн покрывает 93% плательщиков): value-first впереди — CR Маркет→оплата 2.48% vs 1.69% (+0.79 п.п.), $287 vs $186 (+$101). Направление устойчиво по всем 4 метрикам, но при n=24/33 ещё не значимо (p=0.147). Это разворот сигнала vs intent.
- Retention guardrail (PostHog, единая когорта рег 12–13.06, одна база): value-first ниже контроля на D1/D2/D3 (~−2 п.п. каждый день), но ни один день не значим (p>0.08, n≈0.9K/арм). Прежний «D2 значимо» снят — был артефактом несопоставимых когорт (тенурный control из канареечной раскатки 100% c 05.06). Кривая теперь монотонна. Флаг «следить», не деградация.
Итого: гипотеза «ценность раньше цены → больше покупок»
держит первое подтверждение на реальных деньгах, но недонабрана (за сутки payers 21→24 / 30→33, значимости всё нет); параллельно —
guardrail-наблюдение по удержанию (направление вниз, незначимо). Решение — дозреть до ~18–21.06.
Выборка control
4 634
uniq в Маркете за окно
Выборка value-first
4 548
uniq в Маркете за окно
CR Маркет→реальная оплата
6.04% / 5.92%
control / value-first · CH, фиат
Лидер по оплате
value-first
−0.12 п.п. CR, n.s. (p=0.824)
Воронка покупки буста по армам (uniq person_id, строгий порядок шагов)
● Control — price-first (сначала цена)
● Value-first (сначала заработок)
Конверсия шаг-к-шагу и дельта между армами
| Шаг | Control | value-first |
CR ctrl | CR vf | Δ абс (п.п.) | z | p | значимость |
База конверсии — uniq(person_id) на шаге «Зашёл в Маркет». CR ст.→ст. указан в воронках слева. Δ абс (в процентных пунктах) и p-value — для конверсии шага от Market_Appear (2-proportion z-test, two-sided).
Конверсия Маркет → чекаут-интент по дням
Воронка по шагам (% от Маркета)
Покупки бустов по армам реальная оплата · ClickHouse
Что это
PostHog даёт только намерение (Checkout_Buy_Tap). Здесь — реально оплаченные бусты из ClickHouse
(фиат, gate через paygate-webhook status=paid). Арм берётся из PostHog, мапится на backend uid (distinct_id=mongo user_id) и джойнится с покупками в CH — джойн покрывает 100% плательщиков (491/491), поэтому разрез по армам корректен (детали покрытия — в оговорках ниже).
Сигнал обратный intent-воронке: по реальной оплате value-first впереди (CR 2.48% vs 1.69%, +0.79 п.п.), хотя при n=24 vs 33 это пока не значимо.
| Метрика | Control (price-first) | value-first | Δ абс | z | p | значимость |
| Зашли в Маркет (база, матчимые uid) | 4 155 | 4 051 | — | — | — | |
| Уник. плательщики буста (фиат) | 251 | 240 | −11 | — | — | |
| Кол-во фиат-покупок буста | 253 | 242 | −11 | — | — | |
| Выручка, $ (USD-эквив.) | $1864.82 | $1781.39 | −$83.43 | — | — | |
| CR Маркет → купил буст фиатом | 6.04% | 5.92% | −0.12 п.п. | -0.22 | 0.824 | n.s. |
| Выручка на 1 зашедшего в Маркет | $0.449 | $0.440 | −$0.009 | — | — | |
Оговорки.
(1) Фиат-only: только external + непустой fiat_asset, internal $DOPPY не считается.
(2) Покрытие джойна (важно, чтобы не путать два числа): по плательщикам — 100% (491 из 491 фиат-плательщиков буста за окно несут арм; 0 не в эксперименте/pre-Identify, $0.00 — теряем не 37%, а ~0% денег). По знаменателю (зашедшие в Маркет) — ~89% (4 155/4 634 ctrl, 4 051/4 548 vf), почти симметрично по армам (90% / 89%) → минимальный bias знаменателя. CR считается на матчимой субпопуляции; pre-Identify трафик и cross-arm юзеры исключены.
(3) Малый n: 24 vs 33 плательщика. Направление в пользу value-first устойчиво по всем 4 метрикам (payers / purchases / $ / CR), но p=0.147 — значимости нет. Дозреет с накоплением трафика.
(4) Окно CH = 12–16.06 (полные дни, paygate settled). 17.06 в реальной оплате не берём — paygate-данные за сегодня неполные.
Retention D1–D3 по армам strict day-N · PostHog
Что это — ЕДИНАЯ фиксированная когорта (исправлено 17.06)
Методология переделана. Прежняя версия считала D1/D2/D3 на разных сужающихся окнах и брала «первый день попадания в арм за окно» — что подмешивало в control тенурных юзеров (флаг у control раскатан 100% с 05.06, у value-first — канарейка до 11.06). Их кламповало как «свежие», завышая retention контроля; кривая выходила немонотонной (D3>D2), а D2 ложно-значимым.
Теперь: одна когорта = юзеры, чей первый в истории показ флага пришёлся на 12.06–25.06 (сбалансированное окно 50/50, без канарейки/тенурных), и НЕ экспонированы до 12.06. Один знаменатель на все дни (день+3=28.06 полностью дозрел на 29.06). Активность = Session_Start по person_id, strict day-N.
| Метрика | Control | value-first | Δ абс (п.п.) | z | p | значимость |
| D1 | 22.4% (1075/4794) | 21.2% (1009/4760) | −1.2 п.п. | -1.45 | 0.147 | n.s. |
| D2 | 15.7% (751/4794) | 14.7% (701/4760) | −0.9 п.п. | -1.28 | 0.201 | n.s. |
| D3 | 12.5% (600/4794) | 11.7% (556/4760) | −0.8 п.п. | -1.25 | 0.211 | n.s. |
Кривая монотонна (как и должно на одной когорте): control 22.4% ≥ 15.7% ≥ 12.5%; value-first 21.2% ≥ 14.7% ≥ 11.7%. База D1=D2=D3 = 4 794 / 4 760 на арм — одна и та же.
Оговорки.
(1) Направление — вниз, но НЕ значимо ни на одном дне. value-first ниже контроля на D1/D2/D3 (−1.2 / −0.9 / −0.8 п.п.), но при n=4 794/4 760 все p>0.14. Прежний «D2 значимо p=0.019» был артефактом раздутых баз (window-clipping давал n≈2.5K/арм и ложную мощность) — на сопоставимой когорте значимости нет. Трактуем как guardrail-флаг «следить», не деградацию.
(2) Малая когорта: только рег 12–13.06 (2 дня сбалансированного сплита, ~0.9K/арм), чтобы день+3 был зрелым. По мере дозревания 14–16.06 база растёт, дельта уточнится. MDE при текущем n ~по D1 ≈ 5 п.п.
(3) Когорта = первый в истории показ флага в 12–13.06, экспонированные до 12.06 исключены; cross-arm (na>1) исключены; активность в окне 12–17.06.
Методология и оговорки
Что считали
- Шаги: Market_Appear → Offer_Glasses_Appear (карточка буст-оффера показана) → Offer_Glasses_Buy_Tap (тап «Купить» на карточке) → Market_Checkout_Buy_Tap (намерение оплаты).
- Метрика: uniq(person_id) на каждом шаге, строгий порядок (timestamp шага ≥ предыдущего).
- Арм:
properties['$feature/ANDROID_GLASSES_OFFER_VALUE_FIRST_ENABLED'] = true (value-first) / false (control).
- Буст = glasses: в Doppy покупка буста реализована как покупка NFT-очков, карточка оффера = Offer_Glasses_*.
Brand-фильтр Doppy
Сам флаг = чистый Doppy-фильтр. События с флагом: 100% Android, $app_name ∈ {Doppy, Swipix} — ноль Cheelee. Флаг оценивается только в Android-приложении Doppy/SWIPIX, доп. прокси не нужен.
Оговорки (flag-weakness-upfront)
1. Окно 12.06–16.06. Флаг раскатывали поэтапно: control с 05.06 (100% трафика), value-first сначала канарейкой (7 юзеров 05.06 → 261 — 11.06), сбалансированный 50/50 только с 12.06. Сравнение на полном периоде было бы смещено pre-experiment-трафиком контроля → берём только сбалансированное окно.
2. Intent-only в PostHog → оплату берём из ClickHouse через backend_uid-джойн. В PostHog НЕТ success-события покупки (Market_Checkout_Success = 1 юзер/арм за окно), воронка обрывается на намерении (Checkout_Buy_Tap). Реальные оплаченные бусты и деньги — в ClickHouse (paygate, фиат), там A/B-флага нет. Поэтому арм связывается с покупкой через backend uid (PostHog distinct_id после Identify = mongo user_id в CH) — это и есть блоки «реальная оплата по армам» выше. Покрытие джойна асимметрично по сторонам воронки: по знаменателю (зашедшие в Маркет) матчится ~89% (4 155/4 634 ctrl, 4 051/4 548 vf — почти симметрично 90%/89%, минимальный bias знаменателя); по числителю (плательщики) — 100% (491 из 491 фиат-плательщиков буста за окно несут арм; 0 не в эксперименте/pre-Identify, $0.00). Так что CH-разрез по армам не «невозможен» и не теряет 37% — он почти полон по плательщикам, считается на матчимой субпопуляции. Главная оговорка — малый n (251/240), p=0.824, значимости нет (см. блок «реальная оплата» и п.3).
3. Выборка незрелая и underpowered. 5 полных дней сбалансированного сплита (12–16.06), ~1.8K/арм. MDE по intent при текущем n ~36% rel. По реальной оплате n=24/33 плательщиков — направление в пользу value-first держится, но значимости нет (p=0.147). Дозреет ~18–21.06.
Вердикт — байесовская оценка
Резюме на языке решений (29.06):- Деньги (главная, CR Маркет→оплата): с вероятностью 41% value-first лучше контроля → то есть с ~59% он хуже. Ожидаемый аплифт -0.12 п.п., 95% CrI разницы [-1.14; +0.91] п.п. — уверенно пересекает ноль, эффекта нет. Expected loss выбрать value-first ≈ 0.27 п.п.
- Интент-воронка: слабая склонность в пользу value-first (P(B>A) 57–75%), но CrI у всех включают ноль и до денег не доходит.
- Retention (guardrail): единственный реальный сигнал — с вероятностью ~93% value-first снижает удержание (D1–D3, E[B−A] отрицательный). CrI пока чуть заходит за ноль, но масса вероятности — против.
Итого: по деньгам катить value-first смысла нет (вероятность выигрыша 41%, риск-ошибки ≈0.27 п.п.); решение Байеса совпадает с частотным «значимости нет», но добавляет: retention скорее РЕЖЕТ → не раскатывать, дать когорте дозреть.
Как читать
P(value-first > control) — апостериорная вероятность, что у value-first доля выше, чем у control
(Beta-Binomial, приор Beta(1,1) uniform). 50% = монетка/нет данных; ближе к 100% = уверенно лучше, к 0% = уверенно хуже.
Δ (пп) ± 95% CrI — ожидаемая абсолютная разница долей B−A в процентных пунктах и интервал, в котором она лежит с вероятностью 95%.
Если CrI пересекает ноль — разницы пока не видно.
Expected loss (B) — ожидаемая «недополученная» доля (пп), если выбрать value-first, а правда — на стороне control. Чем ближе к 0, тем безопаснее ставка.
Беta-Binomial по всем биномиальным метрикам
| Метрика | CR control | CR value-first |
P(B>A) | Δ E[B−A] (пп) | 95% CrI (пп) | Expected loss (B) |
Метод: приор Beta(1,1) + наблюдённые (успехи, попытки) → постериор Beta;
200 000 сэмплов, фикс. seed 20260629 (детерминированно, без Math.random — пересчитывается в daily-refresh).
Числа (n и конверсии) — те же, что в частотной вкладке. Частотные p оставлены там для сравнения.
Главная — «CR Маркет → купил буст (ФИАТ)» (реальные деньги из ClickHouse).
Интент-воронка = намерение в PostHog. Retention — guardrail (единая когорта, strict day-N).