K2 Internet S.A.

Badania użyteczności portalu dla dzieci Euroman.gov.pl

Case Study

2

O czym będzie

Prezentujemy case study z projektu badawczego serwisu euroman.gov.pl z listopada 2011. Będzie o:

Wyznaczonych celach badania

Zastosowanych metodach badawczych

Obserwacjach z badania

Oczywiście! Przeprowadzimy badania z dziećmi, a zdobytą wiedzę uzupełnimy ekspercką analizą użyteczności

Zaprojektowaliśmy edukacyjny serwis dla dzieci o Funduszach Europejskich – euroman.gov.pl Chcemy dowiedzieć się czy jest użyteczny i dopasowany do potrzeb użytkowników. Potraficie to zrobić?

3

www.euroman.gov.pl to edukacyjny portal internetowy dla dzieci i młodzieży szkolnej w wieku 6-17 lat, poświęcony propagowaniu informacji o Funduszach Europejskich w Polsce

Wygląd serwisu w czasie badań

4

Celem portalu jest dotarcie z informacją o

Funduszach Europejskich do dzieci i młodzieży szkolnej oraz rozpowszechnianie wiedzy w zakresie zmian jakie dokonują się w otaczającej nas rzeczywistości dzięki środkom unijnym.

Wygląd serwisu w czasie badań

5

Serwis jest podzielony na trzy obszary, przeznaczone dla poszczególnych grup wiekowych dzieci i młodzieży (6-10 lat, 11-14 lat, 15-17 lat).

Wygląd serwisu w czasie badań

6

W każdej części portalu znajdują się interaktywne narzędzia edukacyjno-rozrywkowe – gry, kolorowanki, puzzle, komiksy, krzyżówki, quizy

Wygląd serwisu w czasie badań

Cele i plan

8

źródło

Cele badania 1. Określenie sposobu funkcjonowania strony w interakcji z użytkownikami

2. Ocena zrozumiałości i atrakcyjności całości portalu i wszystkich poszczególnych jego elementów dla grupy docelowej

3. Ocena portalu pod kątem zgodności architektury informacyjnej i zastosowanych rozwiązań graficznych portalu z obowiązującymi standardami budowy użytecznych serwisów internetowych dla dzieci

4. Wskazanie możliwych zmian w obrębie obszarów dedykowanych poszczególnym grupom wiekowym

9

Zarekomendowaliśmy 2 metody

Badania z dziećmi Wywiady i obserwacje w laboratorium K2 UX

Analizy eksperckie Lista kontrolna Cognitive walkthrough

Cel

Zobaczyć najważniejsze:

czy użytkownicy potrafią korzystać z serwisu?

czy treści są dla nich interesujące?

czy wiedza przekazywana jest w sposób zrozumiały?

Cel

Uzupełnić obserwacje o szczegółową ocenę wszystkich funkcji, a przede wszystkim tych, które nie zostały przetestowane z dziećmi.

10

Plan projektu

Przygotowaliśmy dokument zawierający:

Cele badania i szczegółowe pytania badawcze

Kryteria rekrutacji respondentów

Szczegółowy opis kolejnych etapów badania z dziećmi – wraz z listą zadań i pytań do wywiadów

Opis metodyki audytu eksperckiego oraz listę heurystyk do oceny serwisu

Harmonogram projektu

eksperckie Audyty

12

Lista kontrolna

Trzech ekspertów oceniło serwis w oparciu o

listę heurystyk, czyli ogólnych zaleceń

dotyczących użyteczności serwisów

internetowych.

Listy kontrolne są tworzone z myślą o

serwisach, mających umożliwiać dorosłym

użytkownikom wykonanie konkretnych

zadań. Na potrzeby testowania serwisu

dla dzieci, mającego dostarczać rozrywkę i

jednocześnie edukować, odpowiednio

dostosowaliśmy kryteria oceny.

13

Cognitive Walkthrough

Ci sami eksperci przetestowali również kilkanaście najczęstszych

scenariuszy użycia serwisu i oceniali go w kontekście realizacji

najważniejszych celów. „Wchodzili w skórę użytkowników”, wykonywali zadania

i na każdym kroku zastanawiali się: „czy użytkownik będzie wiedział co zrobić dalej?”

źródło

z dziećmi Badania user experience

15

Młodzi respondenci

Na badanie zaprosiliśmy 12 dzieci – 6 chłopców i 6 dziewczynek

6 – 10 lat 11 – 14 lat 15 – 17 lat

wiek 6 7 8 9 9 11 12 13 14 15 16 17

5 osób 4 osoby 3 osoby

Kryteria rekrutacji

Minimum roczne doświadczenie w korzystaniu z Internetu

Korzystanie w domu, przynajmniej 2 razy w tygodniu, przez min. 0,5h

W miarę płynne, samodzielne czytanie

16

Poczekalnia dla dzieci Od samego początku staraliśmy się stworzyć atmosferę zaufania, aby młody respondent poczuł się swobodnie – w poczekalni przygotowaliśmy kolorowanki i komiksy.

W czasie gdy dziecko oswajało się z nowym otoczeniem, opowiadaliśmy opiekunom na czym będzie polegało badanie. Następnie rodzic decydował, czy chce przebywać z dzieckiem w czasie całego badania.

17

Kwestionariusz rodzica W międzyczasie rodzice wypełniali kwestionariusz, w którym pytaliśmy:

Jak dziecko korzysta z Internetu, jakie serwisy odwiedza, czy korzysta z serwisów edukacyjnych

Preferowane metody nauki oraz rozwoju

Wiedza dziecka o Funduszach Europejskich

18

Etapy badania z dzieckiem

Rozmowa wprowadzająca

Obserwacja użytkowników

Poznanie doświadczeń, potrzeb i oczekiwań związanych z wykorzystywaniem Funduszy Europejskich

Obserwacja dzieci w czasie swobodnego eksplorowania serwisu i wykonywania określonych zadań

Karty reakcji Ocena serwisu za pomocą kartek z przymiotnikami, wspomagającymi wyrażenie opinii

Wywiad końcowy Podsumowanie wrażeń i oceny serwisu przez respondentów

Obserwacja użytkowników

Badanie prowadził moderator – rozmawiał z dzieckiem, dawał zadania do wykonania, dopytywał o wrażenia, odpowiadał na pytania. Drugi ekspert pełnił rolę obserwatora i prowadził notatki z przebiegu sesji badawczej.

Foto: Natalia Borkowska

20

Procedura

Postawiliśmy głównie na swobodną eksplorację serwisu, umożliwiającą

obserwację naturalnego sposobu korzystania z serwisu – w jakiej kolejności

zapoznają się z kolejnymi działami, co je realnie zainteresuje, a co znudzi.

Przygotowaliśmy również listę zadań. Zazwyczaj dzieci wykonywały czynności,

na których nam zależało. Jeśli jednak respondent samoczynnie nie zrealizował

zadania, moderator prosił o wykonanie go.

Zadanie Obszary zainteresowania Pytania

Komiksy

Obejrzyj wybrany komiks [Po obejrzeniu] Jak przeszedłbyś teraz do innego komiksu?

Sposób wyboru komiksu Sposób zmieniania slajdów Sposób przejścia do innego komiksu Czy przegląda komiks do końca? Ile komiksów ogląda?

Co myślisz o obejrzanych komiksach?

21

Zachowanie i emocje

Większość dzieci z zainteresowaniem przejrzało cały serwis. Najmłodsi poświęcili

na to średnio 50 minut, a najwięcej czasu spędzili nad opowiadaniami i

komiksami. Starsi bardziej zainteresowali się krzyżówkami i quizami.

Ważnym źródłem oceny serwisu były emocje wyrażane:

mimiką twarzy, postawą ciała

ogólnym nastrojem w czasie badania

spontanicznymi komentarzami

Uuuła, krzyżówka, uuuła. Ja sama nie wiem, ja nie umiem krzyżówek… - Marlena, 9 lat

Oooo koniec, koniec kasy! O jej, nie mam forsy! Całą forsę straciłem! Nie udało się zbudować drogi :( - Olek, 6 lat

22

Piramida potrzeb

Analizowaliśmy wszystko w oparciu o piramidę potrzeb serwisów edukacyjnych – w zachowaniu, emocjach i wypowiedziach badanych szukaliśmy wskaźników, dotyczących każdego z 4 wymiarów (zainteresowanie, użyteczność, zaangażowanie, edukowanie).

edu

zaangażowanie

zainteresowanie

użyteczność interakcja z serwisem,

napotykane problemy

co robią, emocje,

spontaniczne komentarze

emocje, poświęcony czas,

chęć korzystania, polecanie

odbiór treści edukacyjnych,

zrozumienie, przyswajanie wiedzy

23

Odbiór treści edukacyjnych

Ważnym celem badania było również określenie w jakim stopniu serwis

przekazuje wiedzę o Funduszach Europejskich.

Wśród wielu wypowiedzi, pojawiły się również te, dotyczące sposobu

przekazywania wiedzy.

Pierwszy [komiks] był taki trochę banalny, no, ale w drugim widać już, na co idą fundusze – co jest dla mnie ciekawe, bo sama nie wiem właśnie, a teraz przydałoby się dowiedzieć. - Daria, 15 lat

Gra w sumie ok. Takie trochę klikanie. Ale no ogólnie wiadomo, o co chodzi i tak jakby się nasuwa na myśl, na co idą Fundusze Europejskie - Olga, 16 lat

Ciągle mówi o tych funduszach europejskich… - Olek, 6 lat

Przy 9 komiksie, ze znudzeniem w głosie:

Karty reakcji Po zakończeniu korzystania z serwisu prezentowaliśmy dzieciom karteczki z 24 przymiotnikami. Badani wybierali te przymiotniki, które ich zdaniem odnosiły się do serwisu Euroman. Następnie decydowali się na 3 najlepiej opisujące stronę.

25

Łatwo się po nim poruszać - Paulina, 11 lat

Nie widziałam jeszcze takich stron z grami o Funduszach Europejskich - Zuza, 8 lat

Można się czegoś dowiedzieć o Unii - Marlena, 9 lat

Uzasadniali wybór słów

pomocny

Coś nowego, z czym się nie spotkałam, dobry pomysł - Daria, 15 lat

26

Analiza kart

Przymiotniki wybierane przez dzieci również analizowaliśmy w odniesieniu do piramidy potrzeb – wybór danego przymiotnika mógł wskazywać na dobrze spełnioną funkcję serwisu na jednym z wymiarów (szczebli). I tak wybór przymiotników „fajny” i „zabawny” wskazywał na pozytywna realizację szczebla „zainteresowanie”.

edu

zaangażowanie

zainteresowanie

użyteczność

27

Wywiad końcowy

Po obserwacji i wykonywaniu zadań, przeprowadzaliśmy krótki wywiad

podsumowujący wrażenia dziecka z korzystania ze strony.

„Co myślisz o tym serwisie?”

Spełnia swoje zadanie, bo pokazuje, na co tak naprawdę fundusze europejskie idą i jak wygląda cały proces z nimi związany - Olga, 16 lat

No dobrze, tylko ta strona uczy tylko o Europie, jak wydaje na jakieś sklepy te fundusze i to tylko tyle - Szymon, 9 lat

Ten serwis jest bardzo ciekawy i przydatny ogólnie mówiąc, ponieważ inne dzieci może nauczyć o… Unii Europejskiej - Paulina, 11 lat

Efekty

29

9 godzin 31 minut nagrań z badania

217 godzin pracy specjalistów

253 strony raportu

194 slajdy prezentacji

239 rekomendacji zmian

30

Dostarczyliśmy

Raport, zawierający opis interakcji użytkowników z serwisem oraz wyniki audytu eksperckiego

Prezentacja, przedstawiająca wyniki badania w sposób skrócony, wzbogacona fragmentami video z badania

Pełne nagrania video oraz fragmenty „the best of”

31

Zaplanowane przez Ministerstwo Rozwoju Regionalnego i przeprowadzone przez firmę K2 Internet S.A. badanie miało na celu ocenę, a następnie przedstawienie propozycji usprawnień i modyfikacji serwisu dla dzieci i młodzieży www.euroman.gov.pl. Badanie zostało przeprowadzone zgodnie z obowiązującymi standardami i z zachowaniem zasad specyfiki badań z dziećmi. Uzyskane wyniki stanowią obszerne kompendium wiedzy o zaletach i wadach serwisu, a wdrożenie szczegółowych rekomendacji pozwoli jeszcze lepiej spełniać stawiane przed Euromanem cele i zadania.

Departament Informacji, Promocji i Szkoleń

Opinia Klienta o projekcie

Lubi badania K2 User Experience

33

Mamy masę metod badawczych

Wywiady IDI

Obserwacje użytkowników (testy zadaniowe w laboratorium)

Badania etnograficzne (contextual inquiry)

Współprojektowanie z użytkownikami (participatory design)

Eyetracking

Cardsorting

Clicktracking

Testy struktury

i wiele wiele innych…

34

Badamy na różnych urządzeniach

Laboratorium Posiadamy własne laboratorium badawcze z eyetrackerem, lustrem weneckim, nagłośnieniem i podglądem. Zapewniamy pełną obsługę procesu badawczego od rekrutacji respondentów do przeprowadzenia badań i analizy wyników

36

Robiliśmy już badania dla

Dziękujemy za uwagę K2 Internet S.A., al. Solidarności 74A, 00-145 Warszawa

tel. +48 22 4487000 , fax. +48 22 4487101, www.k2.pl, biuro@k2.pl

NIP: 951-19-83-801 Regon: 016378720 KRS: 0000059690

Wysokość kapitału zakładowego: 2.026.000,00 PLN

Pytania do raportu? paulina.makuch@k2.pl