Leading People to Longer Queries

+ CHI 2013-Elena Agapie, et al./정다미x 2014 winter

AUTHOR

Elena AgapieHarvard University->Microsoft Research Fuse Labs

Gene GolovchinskyFX Palo Alto Laboratory, Inc.

Pernilla QvarfordtFX Palo Alto Laboratory, Inc.

INTRODUCTION

✴ 좀 더 긴 키워드 쿼리가 정보요구를 상세히 표현할 수 있고 원하는 것만 나올 수 있게 검색 결과를 좁힐 수 있어 좋은 검색 결과로 이끈다

✴ 하지만, 사람들은 짧은 쿼리를 입력하려고 한다

✴ 검색창 비쥬얼라이제이션이 검색어 입력에 영향을 미치는지 실험-> 검색창 디자인에 변화를 주어 더 긴 쿼리를 입력하게 하고자 함

USER INTERFACE

✴ 검색어 길이에 따라 검색창 주위로 여러 색깔의 후광(halo)가 나타나게 함

✴ long queries -> 7개 단어 이상

✴ animating color change

Halo

Search Tasks

✴ Search puzzles (A-Google-a-day, agoogleaday.com)

EXPERIMENT1

Task 1. 세계최초 삼단돔(triple-domed) 성당을 만든 건축가가 런던 대화제 이후 지은 교회의 수는?

Task 2. 포유류가(영장류 제외) 식용으로 삼는 나무는?

Task 3. 비결정성 고체 형태의 저녁식사 아이템을 만들기 위해서는 라임, 소다와 함께 어떤 재료를 섞어야 하는가?

Task Question

Experimental sw/design

✴ web-based system

어디서 정보 발견했는지 기록하게 함 -> 추측, 이미 알고있는 지식으로 답하는거 방지

1

3

2

2. Answer & Evidence

3. Query Box & SearchResults

1. Task Question

BING search API

Filtering ‘google’, ‘google a day’

puzzle question 그대로 쿼리로 입력하는 것 금지

EXPERIMENT1

Experimental design

✴ 2 X 2 factorial between-subjects experiment design

✴ Subjects through Mechanical Turk / 100 participants -> 61 completed

✴ Analysis of 451 query

Halo O Halo X

Instruction X Group 1 Group 1

Instruction O Group 1 Group 1

1 3

2 4

EXPERIMENT1

Hypotheses

H 1. 검색창 주변의 halo visualization이 길이가 긴 쿼리를 입력하게하는가?(the halo visualization around the query box would result in people typing longer queries)

H 2. 긴 쿼리 입력에 대한 효과에 대한 명시가 사람들이 입력하는 쿼리 길이에 영향을 끼치는가?(instruction about the effect of longer queries would result in longer queries)

EXPERIMENT1

Results

Halo 있을 때가 없을 때 보다 더 쿼리 길게 입력 (F(1, 447) = 5.1, p<0.05)

Instruction 쿼리 길이에 영향 안끼침 (F(1,447) = 3.4, p=0.064)

-> Halo와 Instruction 사이에 유의미한 차이 있음 (F(1,447) = 41.7, P<0.001)

✴ two-way ANOVA

EXPERIMENT1

Results

Halo + No instruction 이 가장 좋은 결과(쿼리 가장 길게 입력) 나타냄

아무것도 없는것이, No Halo+Inst. 보다 더 낫다 (p < 0.01)

✴ 사후 검증 Tukey HSD test

EXPERIMENT1

Search Tasks

✴ Goal : Halo효과가 단지 특정 색깔 때문인지, 인터랙티브 측면 때문인지 검증

✴ Experiment1에서와 task, 피실험자 모집 비슷

✴ Google-A-Day에서 좀 더 복잡해보이는 문제로 새로 고름

Task 1. I’m a serious piece of music known for comedy. I was played by a famous cat. I’ve been played by a woodpecker, dueling ducks and two vaudevillian brothers. Who composed me?

Task 2. There may be 39 signatures on the U.S. Constitution, but there were only 38 signers. Which state’s absent delegate had his name signed by a colleague?

Task 3.You are standing in the farthest west U.S. town with a population of one person. What is the speed limit?

EXPERIMENT2

Experimental design

✴ one factor between-subject design

✴ factor : color

1) Halo : red -> blue

2) Inverted : blue -> red

3) Static : static blue

4) Control : no halo

EXPERIMENT2

Hypotheses

H1. 인터랙티브한 Halo가 더 긴 쿼리를 입력하게 할 것이다

<- 색깔의 변화가(인터랙티브) 사람들이 계속해서 검색창을 주목하게 한다고 가정(the change in color was responsible for people’s continued attention)Halo, Inverted가 Static, Control보다 더 좋은 결과 낼 것

EXPERIMENT2

Results

✴ 84 participants, 1077 queries

✴ one-way ANOVA

-> 인터랙티브 color 변화가 쿼리를 더 길게 쓰게 만듦(F(3,1073) = 3.876, p<0.05)

정적인 검색창

인터랙티브 검색창

EXPERIMENT2

Results

✴ 사후 검증 Tukey HSD test

(Halo와 Inverted 사이에 유의미한 차이 없음)

Halo가 가장 더 길게 쿼리 입력하게 함 (p<0.05)

EXPERIMENT2

DISCUSSION

✴ Red -> Blue halo 효과 있었음: 실험1에서처럼 Instruction 있고 반대의 경우(Blue -> Red)에 대해서는 검증 못함: 문화적 규범 때문일 수도

✴ 실험1에서 halo / control 비교와 (6.6 / 4.2 words)

실험2에서 halo / control 비교의 (6.52 / 5.73 words) 검색어 길이 차이는? -> 실험2가 더 어려웠음, 정답률도 낮음(실험1 0.69 vs 실험2 0.39)

✴ 더 많은 토픽에 대해 실험할 필요 있음

CONCLUSION

✴ Search에서의 persuasive technology 적용

✴ 새로운 인터랙션 기술로 쿼리를 더 길게 입력하게 하였고, Mechanical Turk로 실험함

✴ Evaluation 결과는 이 분야 더 조사할만한 것이라고 제안

DISCUSSION POINT

✴ 논문 검색할 때, 내가 찾는 주제와 관련된 키워드를 생각해내고 검색하는게 어렵지 않나요?

✴ 나만의 논문검색 노하우는?