E-01: 측정/검증

담당: 윤재님 상태: draft 우선순위: P0 성격: 개발 X, 데이터 분석/검증 작업

WHY (왜 필요한가?)

현재 문제

S52에서 3가지 핵심 가설을 실험했지만, 아직 효과 판정이 안 됨.

[S52 가설-실험 현황]

가설 1: 온보딩 팝업 → 연동률 ↑
        E-11에서 구현, 배포됨
        → 효과 측정 필요

가설 2: 순이익 번역 → 행동률 ↑
        E-04에서 구현, 배포됨
        → 효과 측정 필요

가설 3: Surface Layer → 이탈 억제
        S51~S52에서 구현, 배포됨
        → Guard Rail 확인 필요

왜 중요한가?

[검증 없이 진행하면]

1. 효과 있는 기능 → 방치 (강화 기회 상실)
2. 효과 없는 기능 → 유지 (리소스 낭비)
3. 다음 스프린트 방향 → 감으로 결정

[검증하면]

1. 효과 있으면 → 유지/강화 방향 도출
2. 효과 없으면 → 피벗 방향 도출
3. 학습 축적 → 다음 가설의 정확도 향상

전략적 의미

S53의 One Question은 "핵심 해자를 강화하면 만족도/신뢰가 높아지는가?"

이 질문에 답하려면 S52 실험 결과부터 확인해야 함.

WHAT (무엇을 검증하는가?)

검증 대상 가설 (3개)

#	가설	실험 (S52)	Before	Target	성공 기준
H1	온보딩 팝업 → 연동률 ↑	E-11 온보딩 팝업	6.7%	20%+	Target 달성
H2	순이익 번역 → 행동률 ↑	E-04 순이익 번역	9.1%	30%+	Target 달성
H3	Surface Layer → 이탈 억제	S51~S52 Surface	8.75%	≤10%	Guard Rail 유지

가설별 상세

H1: 온보딩 팝업 → 연동률 ↑

WHY: 가입 후 연동까지 98% 이탈. 가입 직후 연동 유도로 개선 가능한가?

측정 지표:

주 지표: 가입→연동 전환율
보조 지표: 팝업 노출수, [연동하기] 클릭률, [나중에] 클릭률

측정 방법:

[GA4 이벤트]
- onboarding_popup_shown: 팝업 노출
- onboarding_popup_link_clicked: 연동하기 클릭
- onboarding_popup_dismissed: 나중에 클릭

[전환율 계산]
가입→연동 전환율 = 연동 완료 수 / 가입 수

[비교]
- Before: S52 팝업 배포 전 (6.7%)
- After: S52 팝업 배포 후

판정 기준:

결과	판정	다음 액션
20%+ 달성	✅ 성공	팝업 유지, UX 개선 검토
10~20%	🟡 부분	팝업 개선 (카피, 디자인)
<10%	❌ 실패	다른 연동 유도 방법 탐색

H2: 순이익 번역 → 행동률 ↑

WHY: ROAS만 보여주면 셀러가 판단 못함. 순이익으로 번역하면 행동하는가?

측정 지표:

주 지표: 조언 행동률 (Intent Rate)
보조 지표: 카드 펼치기율, 조언 클릭률, 업무노트 "적용" 클릭

측정 방법:

[GA4 이벤트]
- advice_card_expand: 조언 카드 펼치기
- advice_action_clicked: 조언 행동 버튼 클릭
- worknote_applied: 업무노트 "적용했어요" 클릭

[행동률 계산]
조언 행동률 = 조언 행동 이벤트 / Surface Layer 진입 수

[비교]
- Before: 순이익 번역 전 (9.1%)
- After: 순이익 번역 후

판정 기준:

결과	판정	다음 액션
30%+ 달성	✅ 성공	번역 수준 강화 (Level 4)
15~30%	🟡 부분	조언 문구 개선, A/B 테스트
<15%	❌ 실패	번역 방식 재설계 or 피벗

H3: Surface Layer → 이탈 억제 (Guard Rail)

WHY: 새 기능이 오히려 이탈을 유발하지 않는지 확인

측정 지표:

주 지표: 이탈율 (월간)
보조 지표: 구독 취소율, 무료→유료 전환율

측정 방법:

[이탈율 계산]
이탈율 = 이탈 사용자 수 / 활성 사용자 수

[비교]
- Baseline: 8.75% (S51 말)
- After: S52 이후

판정 기준:

결과	판정	다음 액션
≤10% 유지	✅ 안전	현 방향 유지
10~15%	🟡 주의	이탈 원인 분석, 개선 우선
>15%	❌ 위험	긴급 원인 분석, 롤백 검토

HOW (어떻게 검증하는가?)

검증 프로세스

[Phase 1: 데이터 수집] (D+1~2)
├── GA4 이벤트 수집 상태 확인
├── 필요시 이벤트 보정/추가
└── 측정 기간 데이터 추출

[Phase 2: 분석] (D+2~3)
├── Before/After 비교
├── 코호트별 분해 (신규/기존, 플랜별)
└── 이상치 확인

[Phase 3: 판정] (D+3~4)
├── 성공/부분/실패 판정
├── 원인 분석 (왜 이 결과인가?)
└── 학습 정리

[Phase 4: 문서화] (D+4~5)
├── 검증 보고서 작성
├── 학습 문서 갱신
└── S54 방향 제안

측정 기간

가설	배포일	측정 시작	측정 종료	비고
H1	2026-01-27	2026-01-28	2026-02-03	7일
H2	2026-01-27	2026-01-28	2026-02-03	7일
H3	-	2026-01-01	2026-01-31	월간

필요 데이터 소스

소스	용도	접근 방법
GA4	이벤트 데이터	MCP ga4
DB	가입/연동/결제 데이터	MCP prod-db
채널톡	VOC (정성 보조)	MCP channel-io

산출물

1. 검증 보고서 (3개)

각 가설별 검증 보고서:

.context/sprints/s53/validation/H1-onboarding-popup.md
.context/sprints/s53/validation/H2-profit-translation.md
.context/sprints/s53/validation/H3-churn-guardrail.md

보고서 구조:

markdown

## 가설
## 측정 결과
## 판정 (성공/부분/실패)
## 원인 분석
## 학습
## 다음 액션

2. S52 학습 문서

통합 학습 정리:

.context/sprints/s52/learnings.md

학습 문서 구조:

markdown

## Sprint 52 핵심 학습

### 가설별 결과 요약
### What Worked (효과 있었던 것)
### What Didn't (효과 없었던 것)
### Surprises (예상 밖 발견)
### S53+ 방향 제안

3. KR 진행 현황 갱신

.context/metrics/business.yaml 갱신
S53 context.md에 반영

성공 기준 (E-01 KR1)

지표	목표
가설 판정 완료	3개 모두 판정
학습 문서화	learnings.md 작성
다음 방향 제안	S54 방향 1개+ 도출

의존성

의존	설명	상태
S52 배포	E-04, E-11 배포 완료	확인 필요
GA4 이벤트	측정 이벤트 정상 수집	확인 필요
측정 기간	최소 7일 데이터	S53 시작 후

리스크

리스크	대응
데이터 부족 (샘플 적음)	측정 기간 연장 or 정성 분석 보완
GA4 이벤트 누락	D+1에 이벤트 수집 상태 확인
외부 변수 영향	코호트 분해로 혼재 요인 분리

일정 (예정)

날짜	작업	담당
D+1	데이터 수집 상태 확인	PO
D+2	H1 온보딩 팝업 분석	PO + Danny
D+3	H2 순이익 번역 분석	PO + Danny
D+4	H3 Guard Rail 확인	PO + Vicky
D+5	학습 문서 작성, S54 방향 제안	PO

참고 자료

S52 Context: .context/sprints/s52/context.md
S52 E-04 순이익 번역: .context/sprints/s52/tracks/track-04/
S52 E-11 온보딩 팝업: .context/sprints/s52/tracks/track-05-1/
검증 보고서 템플릿: .context/templates/validation-report.md
Guard Rail 템플릿: .context/templates/guardrail.md

생성일: 2026-01-27최종 수정: 2026-01-27

E-01: 측정/검증 ​

WHY (왜 필요한가?) ​

현재 문제 ​

왜 중요한가? ​

전략적 의미 ​

WHAT (무엇을 검증하는가?) ​

검증 대상 가설 (3개) ​

가설별 상세 ​

H1: 온보딩 팝업 → 연동률 ↑ ​

H2: 순이익 번역 → 행동률 ↑ ​

H3: Surface Layer → 이탈 억제 (Guard Rail) ​

HOW (어떻게 검증하는가?) ​

검증 프로세스 ​

측정 기간 ​

필요 데이터 소스 ​

산출물 ​

1. 검증 보고서 (3개) ​

2. S52 학습 문서 ​

3. KR 진행 현황 갱신 ​

성공 기준 (E-01 KR1) ​

의존성 ​

리스크 ​

일정 (예정) ​

참고 자료 ​

E-01: 측정/검증

WHY (왜 필요한가?)

현재 문제

왜 중요한가?

전략적 의미

WHAT (무엇을 검증하는가?)

검증 대상 가설 (3개)

가설별 상세

H1: 온보딩 팝업 → 연동률 ↑

H2: 순이익 번역 → 행동률 ↑

H3: Surface Layer → 이탈 억제 (Guard Rail)

HOW (어떻게 검증하는가?)

검증 프로세스

측정 기간

필요 데이터 소스

산출물

1. 검증 보고서 (3개)

2. S52 학습 문서

3. KR 진행 현황 갱신

성공 기준 (E-01 KR1)

의존성

리스크

일정 (예정)

참고 자료