컨텐츠 기반 A/B 테스트 구현 사례

Data Service 개발팀 허서윤

2016.09.29 @tech

Contents

Concept

System Architecture

A/B Test

Configuration

Flow

Report

Performance Evaluation

Future Task

Concept

Concept Default A Group B Group

Concept

Group Segmentation

Batch

회원 목록 직접 업로드

Real-time

API 요청 비율

회원 비율

System Architecture

A/B Test Configuration

누구에게? 어느 영역에?

어떤 컨텐츠를 노출할 것인가?

A/B Test Configuration

A/B Test Configuration

A/B Test Configuration

A/B Test flow

A/B Test Report

TrackingCode

A/B Test Report

A

B

A/B Test Report

Performance Evaluation

System Goal Performance: 500tps

Environment 6 Provision Server (cpu: 2.2GHz x 2ea / mem: 4GB)

Plamosaic Cache Cloud

Future Task

CES (Contents Experimental System)

• A/B Test 등록/관리 기능 지원

• 사용자 피드백 로그 수집 및 통계 결과 제공

• 범용 서비스 지원을 위한 컨텐츠 전송 기능 강화

• MAB(Multi-Armed Bandit) 기능 지원

Q&A