Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Eurostat
Projektowanie kwestionariuszy
Prezentacja
• Paweł Lańduch
• Urząd Statystyczny w Poznaniu
Projektowanie kwestionariuszy
Moduły
• Moduł główny,
• Projektowanie kwestionariuszy elektronicznych,
• Edycja danych podczas gromadzenia,
• Testowanie kwestionariuszy.
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane mają na ogół naturę ilościową, znajdują się w systemach danych;
– Dane zbierane są bez udziału ankietera. Osoba wypełniająca tylko wypełnia dane jako reprezentant.
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– W przeciwieństwie do badań społecznych mają charakter obowiązkowy,
– Definicje i pojęcia mają charakter techniczny, złożony, często wywodzą się obowiązującego prawa. Praktyka i standardy są często okolicznością, którą trzeba brać pod uwagę, np. standardy księgowe. W związku z tym często kwestionariuszom towarzyszy rozbudowana instrukcja.
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– Rozkład danych jest asymetryczny na korzyść dużych przedsiębiorstw,
– Czas jest często bardziej istotnych czynnikiem niż jakość.
– Długofalowy charakter badań jest jednym z czynników powodujących niechęć do zmian.
Projektowanie kwestionariuszy
• Proces odpowiedzi
Definicja - rezultat interakcji pomiędzy respondentem a kwestionariuszem (Edwards & Cantor, 1991, Measurement Error in Surveys)
Badania społeczne badania przedsiębiorstw
indywidualny organizacyjny
pamięciowy baza danych
zrozumienie zrozumienie+organizacja
wyszukanie wyszukanie + baza danych
• Pojęcia i zmienne (przykład)
Statystyka krótkookresowaq
– Pojęcie – Produkcja sprzedana w cenach bieżących (Sa)
– Zmienne Przychody ze sprzedaży (Sw)
Wartość produktów niezaliczonych do sprzedaży (Sz)
Podatek akcyzowy (Da)
Dotacje przedmiotowe (Dp)
Sa=Sw+Sz-Da+Dp
Projektowanie kwestionariuszy
• Wybór metody zbierania danych
- Z udziałem ankietera
- samodzielnie
- Tryb mieszany
- Wpływ technologii komputerowych – Internet - Faktyczne obciążenie a obciążenie odczuwane
- Dane ilościowe
- Jedna z najbardziej obciążających faz – wyodrębnienie danych
Projektowanie kwestionariuszy
• Prototyp
– Zawartość merytoryczna i informacje towarzyszące Pisma wprowadzające,
Aspekt kognitywny,
Wygląd,
nawigacja
instrukcje
Wyzwania technologiczne
– Istotność instrukcji
– Podręcznik - wytyczne (przykład: Economic Directorate Guidelines on Questionnaire Design. Washington, DC: U.S. Census Bureau (2008).
Projektowanie kwestionariuszy
– Inne przykłady podręczników: Forms Design Standards Manual, Australian Bureau of Statistics (2010),
– Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System, Eurostat (2006)
- Standardy projektowania dla rozwoju, testowania, oceny oraz dla elementów technicznych
- Przykład (środowisko WWW – aspekt holistyczny, dynamika, jedno miejsce gromadzenia danych, jeden wzorzec dla wszytkich ?)
- Błędy pomiaru – Jakość
- Koszt - obciążenie odpowiedzi – satysfakcja użytkownika
Projektowanie kwestionariuszy
• Wpływ na proces odpowiedzi
• Wpływ na obciążenie odpowiedzi
• Wpływ na jakość
• Nowe cechy, możliwości oraz wyzwania
• Porównanie – forma papierowa i elektroniczna
Forma wizualna – stronicowanie, skrolowanie, podobieństwo do wersji papierowych ?
Edycja – element bliskości z respondentem, redukcja kosztów, zmniejszenie obciążenia, lepsza jakość
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
Automatyczny routing – eliminacja błędów, wcześniejsze odpowiedzi determinują prezentację następnych pytań,
Podsumowania – oczekiwane przez użytkowników, są elementem kontroli i spójności,
Wskaźnik zaawansowania – możliwość oceny stanu zaawansowania, ale istnieją argumenty przeciwko,
Nawigacja – łatwy sposób poruszania, możliwość przerwania i kontynuacji
Instrukcje – łatwo dostępna, na żądanie użytkownika , np. jako link
Zabezpieczenia – ważna szczególnie w statystyce przedsiębiorstw
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
Testowanie „użyteczności”
- Psychologia Gestalt jako przykład dla projektowania wizualnego
- Psychologia kognitywna
- perspektywa projektanta a użytkownika
- projektowanie z użytkownikiem w centrum
- przygotowanie na popełnianie błędów
- mapowanie,
- standaryzacja
- podejście heurystyczne (Jacob Nielsen)
)
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
Przykład: Kwestionariusz papierowy i elektroniczny
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
Pakiet programów MS Office jako przykład standaryzacji
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
Efekt automatycznego routingu (luka w numeracji)
- Możliwość przeniesienia części edycji danych na poziom
zbierania danych.
- Redukcja kosztów, a także podniesienie jakości
- Możliwość zmniejszenia obciążeń respondenta
- Reguły edycji wbudowane w kwestionariusz
- Dwa rodzaje reguł – błędy i ostrzeżenia
Oczekiwanie:
Zebrane dane wolne od błędów i wysokiej jakości
Pytanie: Czy tak jest ?
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
Przykłady prezentowanie komunikatów
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
Wykorzystanie ikon
Błędy
Ostrzeżenia
Przykłady
)
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
Przykłady reguł dla różnych typów danych:
- Tekst – długość, określony format
- Liczba – zakres, zależności algebraiczne,
- Zdefiniowana lista odpowiedzi
- Pole wymagane
- Reguła dopuszczająca określony typ danych, np. numeryczny
- Sprawdzenie relacji między elementami
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
Strategia wybory liczby reguł i ich zakresu
- Ile reguł nie spowoduje braku odpowiedzi ?
- Podejście konserwatywne a ekstensywne
- Jaki sposób prezentacji będzie efektywny ?
- Jeśli reguła będzie zauważona to czy zrozumiała ?
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
Wybór strategii (c.d.)
- Co z danymi, które pomimo sygnalizacji nie zostały poprawione?
- Jak testować reguły edycji ?
- Czy pozwolić przesłać dane, które nie spełniają założonych
reguł?
Przesłanki:
– Narzędzie powinno być pod kontrolą użytkownika
– Sposób formułowania komunikatów powinien unikać
kategorycznych stwierdzeń
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
Przesłanki (c.d):
– Komunikat powinien być wyzwalany możliwie szybko z
możliwością powtórzenia,
– Ważne są atrybuty lokalizacji błędu
– Możliwość dodania komentarza dla użytkownika
– Namysł nad prezentacją danych z poprzednich okresów
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
– Europejski Kodeks Praktyk, Zasada 8, wskaźnik 8.2: W przypadku
badań statystycznych, kwestionariusze poddaje się systematycznym
testom przed rozpoczęciem gromadzenia danych
Ciągły proces
– Wstępny projekt przegląd wstępne testowanie poprawa
– Gromadzenie danych ocena rewizja testowania
– Wstępny test / test w produkcji
Projektowanie kwestionariuszy – Testowanie
Projektowanie kwestionariuszy – Testowanie - CASM Cognitive aspects of survey methodology
- „podmiot” proces myślowy odpowiedzi
Głośne myślenie wywiad pogłębiony
badanie społeczne badania przedsiębiorstw
w siedzibie przedsiębiorstwa
wizyty przed podjęciem badania
rozszerzenie wywiadów
kognitywnych
Badania sposobu przechowywania danych
- Jedna z najbardziej obciążających faz – kwerenda wymaganych
danych
- Dane mogą nie istnieć w systemach danych
- Dane mogą być przechowywane w różnych miejscach
- Podłoże kognitywne
- Różne uprawnienia dla różnych osób
Projektowanie kwestionariuszy – Testowanie
Skutek problemów z uzyskaniem danych
oszacowanie
oszacowanie mało precyzyjne
fałsz
brak odpowiedzi
Testowanie użyteczności
Aspekty wizualne – Czcionka, Grafika, „Wizualne
przepełnienie”
Interface użytkownika - Nawigacja, Mapowanie, informacja
zwrotna
Projektowanie kwestionariuszy – Testowanie
- Użyteczność (c.d.) Software
Procesy (planowanie, analiza, implementacja, ocena, zamknięcie)
testy funkcjonalne (black box)
testy strukturalne (white box)
- Testy w fazie produkcyjnej (po zgromadzeniu danych) Testy pilotażowe
Wywiady z respondentami – formalne i nieformalne
Rozmowy z personelem obsługującym badanie – formalne i nieformalne – jako
pośrednika między respondentem i instytucją prowadzącą badanie
Projektowanie kwestionariuszy – Testowanie
• Testowanie w fazie produkcyjnej (po zebraniu danych) Ocena jakości zebranych danych,
– Pomiar braków odpowiedzi
– Detekcja wartości odstających
– Danych niespełniających reguł edycji
– Porównanie z danymi z innych źródeł
Projektowanie kwestionariuszy – Testowanie
Projektowanie kwestionariuszy – Testowanie
Metody jakościowe
Testowanie wstępne i testowanie kognitywne mogą prowadzić do lepszej budowy
Metody ilościowe poszukiwanie oceny
wprowadzonych zmian
Ustanowienie standardów testowania
• Standardy minimalne
• Standardy rozszerzone
• Dobre praktyki
Filarem testowania może być proces odpowiedzi:
• Oparty na poszczególnych fazach procesu
• Oparty na wyselekcjonowanej liście pytań
• Oparty na jakościowych metodach testowania
Projektowanie kwestionariuszy – Testowanie