17
1 HCI 440 – Usability Engineering Project 4: Usability Test Plan – ParkNSeek Team 5: The Interaction Design Demons Joseph Howerton Afolake Oritsejafor Oksana Kresnina Kathryn Wozniak

Park and Seek Mobile app (usability testing documentation)

Embed Size (px)

Citation preview

Page 1: Park and Seek Mobile app (usability testing documentation)

 

 

HCI 440 – Usability Engineering 

Project 4: Usability Test Plan – ParkNSeek 

    

 

Team 5: The Interaction Design Demons 

Joseph Howerton 

Afolake Oritsejafor 

Oksana Kresnina 

Kathryn Wozniak  

Page 2: Park and Seek Mobile app (usability testing documentation)

 

 

Table of Contents  

I. Executive Summary .................................................................................................................................... 3 

II. Methodology ............................................................................................................................................. 3 

III. Test Script ................................................................................................................................................. 4 

IV. Post Task Questions ................................................................................................................................. 5 

V. Post Test Questions .................................................................................................................................. 5 

Contributions ................................................................................................................................................ 6 

Appendix A: Project 3 Prototypes ................................................................................................................. 7 

Appendix B: Nielsen’s Heuristics ................................................................................................................. 16 

 

 

Page 3: Park and Seek Mobile app (usability testing documentation)

 

I. Executive Summary ParkNSeek is an application that ensures motorists never have to search for a place to park or find the location of their parked vehicles again. This document includes our plan for conducting an informal usability test and an analytical evaluation of our ParkNSeek prototype (see Appendix A for Project 3 Prototypes).  

Our goals for this usability test are the following: 

1. Identify and evaluate efficiency and learnability: weaknesses in navigation structure; ease of identifying application's main functions; and clarity of icons and supportive text. 

2. Identify and evaluate user expectations: what functionality user expects from an application such as ours; did we meet, exceed or fail any of the expectations. 

II. Methodology • Number of Participants: 12 

• Participant Demographic:  Motorists, middle ‐aged (25‐50), professionals, smartphone owners/users, people on the go. 

• Test Locations and Time: Because of the study’s informal nature, the test will take place in various locations with friends and family. Each group member will conduct the test in a variety of environments at different times/days of the week in an effort to model real‐world environments where the product will be used. 

• Usability Test Type: We will be conducting an informal Usability Test, using a think‐aloud protocol and heuristic evaluation (see Appendix B for Nielsen’s Heuristics). We chose these approaches as they fit within our time and resource constraints and will provide us with rich data to inform our goals. 

• Recording: Each team member will take notes during and after each session. 

• Prototype: We will be using the high‐fidelity prototype we created in Project 3 (see Appendix A). We will use colored printouts of each screen for each step of the use case. 

• Session Details: Each team member will conduct three 15‐minute sessions, one session for each participant. Each session will include three tasks in the order outlined in Project 3. Scripts will be prepared for each use case to ensure participants are given the same instructions. Using the test script, we will give participants a brief overview of the purpose and function of ParkNSeek before beginning the Usability Test in an effort to familiarize them with it. Testing will begin after the overview with each participant starting with ParkNSeek’s home page and receiving other printouts (or feedback) based on their actions. We will provide the participant verbal feedback as needed. 

Page 4: Park and Seek Mobile app (usability testing documentation)

 

• Questions about Tasks/Test: We will ask the participant a set of pre‐determined questions about the application before and after the test. Further, we will ask questions, as necessary, between tasks. See Test Script and Post Task/Post Test questions in Sections III‐ V below. 

• Data Collection: We will collect a combination of qualitative and quantitative data about the participant and the participant’s experience using the mobile application: 

o Demographic information (age, years using a smartphone, years driving) o Time spent completing each task o Number of times using a specific button/function  o Number and type of errors per task o Overall experience with application 

We will remove any identifying information, create codes for our test questions, and collate the Usability Test data/responses in an Excel spreadsheet. 

III. Test Script Script to greet participants 

Thank you very much for participating in this evaluation. 

This is a group project for a Graduate course in Human Computer Interaction at DePaul University. The goal of this project is to evaluate the interface of our ParkNSeek mobile application, and to coordinate the findings into a framework for analysis. The results of our evaluation will be summarized and presented to our internal team, and then to our Usability Engineering professor David Burns.  

We will ask you to engage the ParkNSeek application to resolve specific parking needs and objectives. We will ask you to “think aloud” as you navigate the ParkNSeek interface to complete the specified tasks we give you. We will provide you with verbal cues if required, but please remember that there is no right or wrong way to use this application. Your interaction and feedback regarding the application will provide us with valuable information for modifying and/or improving it. 

We will be taking notes on what you say or “think aloud” as you navigate the interface to complete the tasks. Only your interactions with the application will be recorded in our notes. Your identity will remain anonymous. 

 We need you to review and sign this statement of consent. Please let me know if you have any questions about it. 

Introduction This evaluation is to assess the usability of a new mobile application called ParkNSeek. ParkNSeek is an application that allows motorists to easily find parking or their parked car.  

Imagine that:  

• (‘Find Parking’ Use Case) You are looking for a parking garage in downtown Chicago. 

Page 5: Park and Seek Mobile app (usability testing documentation)

 

• (‘Save Location’ Use Case) You are at O’Hare airport parking your car before leaving for a long trip. You need to ensure that you remember where you parked it when you return.  

• (‘Find My Car’ Use Case) You have finished shopping downtown and you’re looking for your car, which you parked earlier in the day. 

Let’s start. You are at the home screen of the application, (give them home page printout), how do you proceed? 

(Let participant walk you through their each step with the application.) 

IV. Post Task Questions Post task Questions for “Find Parking” use case: 

• What worked well/didn’t work well when executing this task? 

• What worked well/didn’t work well when you used the list view? 

Post task questions for “Save my Location” use case: • What worked well/didn’t work well when executing this task? 

Post task questions for “Find my Car” use case: • What worked well/didn’t work well when executing this task? 

• What worked well/didn’t work when you used the map view? 

• Was it clear why “Find my car” option was highlighted when executing this task? 

V. Post Test Questions • On a scale of 1 to 5 (1 being confusing and 5 being very clear), how would you rate the 

organization of information on the screens you viewed? 

• On a scale of 1 to 5 (1 being confusing and 5 being very clear), how would you rate the prompts for input on the screens you viewed? 

• On a scale of 1 to 5 (1 being confusing and 5 being very clear), how would you rate your overall experience with the mobile application? 

• What would you say you liked most about the application? 

• What would you do to improve this application? 

• What is your understanding of the “Help” text? 

• What is your understanding of ParkNSeek icon? 

• What is your understanding of “List View” / “Map View” icons? 

Page 6: Park and Seek Mobile app (usability testing documentation)

 

Contributions   

Team 5 – Interaction Design Demons  Afolake Oritsejafor–POST TEST QUESTIONS, EXECUTIVE SUMMARY/METHODOLOGY 

Kathryn Wozniak –EXECUTIVE SUMMARY/METHODOLOGY, COMPILER & EDITOR 

Joseph Howerton –TEST SCRIPT, METHODOLOGY, PROJECT MANAGER 

Oksana Kresnina – POST TASK QUESTIONS, EXECUTIVE SUMMARY/METHODOLOGY 

 

Brief Description   All team members attended two project conference calls, each about an hour long. During the calls, team members collaborated on, viewed, critiqued and discussed every portion of the project.  All team members were engaged in the drafting and final review of the project. 

Page 7: Park and Seek Mobile app (usability testing documentation)

 

Appendix A: Project 3 Prototypes  

Prototype: Use Case #1 

Planned Outing with Secure Parking George has a planned outing with four friends in 3 vehicles at the theater district. They’d like to park in a secure location within the same proximity because of how late the show will run.   

 

 

 

Step #1: 

Access ParkNSeek Mobile Application on Smartphone 

 

   

Page 8: Park and Seek Mobile app (usability testing documentation)

 

Step #2: 

Select ‘Find Parking’ 

 

Step #3: 

List View of parking locations appear based on current location. Select desired parking location from list provided. 

*if a map view is preferred the ‘Map 

View’ icon is selected. 

       

   

Page 9: Park and Seek Mobile app (usability testing documentation)

 

Step #4: 

The directions are listed on your screen. Click ‘Share with a Friend’ to send to others in your party. 

 

 

   

 

 

Page 10: Park and Seek Mobile app (usability testing documentation)

10 

 

 

Prototype: Use Case #2 

Remember My Car Location at O’Hare  A business woman is on her way to O’Hare Airport to catch a flight to Japan for a meeting with a client. Once she gets to the airport, she parks her car in the Long‐Term Parking garage. After parking, she realizes she is a bit behind schedule and may miss her flight, but she doesn’t want to forget the car’s location when she returns from Japan (as has happened on many business trips). She quickly opens her iPhone, opens the ParkNSeek application, and selects the “Remember My Car Location” function on her iPhone. She ends the application and heads to the main terminal, knowing she will not have to worry about finding her car when she returns from her trip. 

 

STEP # 1: Access ParkNSeek Mobile Application  on Smartphone 

  

Page 11: Park and Seek Mobile app (usability testing documentation)

11 

 

 

 

STEP # 2: Choose ‘Save My Location’ 

 

 

Page 12: Park and Seek Mobile app (usability testing documentation)

12 

 

STEP # 3: Confirm that location is saved.  &  STEP # 4: Close ParkNSeek Application 

 

  

Page 13: Park and Seek Mobile app (usability testing documentation)

13 

 

 

 

Prototype: Use Case #3 

A Weekend of Christmas Shopping in the City: Find My Car Location  Mary and Joseph have driven into Chicago from the Far West suburbs for a weekend of Christmas shopping along Michigan Avenue. They are staying at the Hotel Intercontinental, and they are planning on shopping down Michigan Avenue on Saturday, and up Michigan Avenue on Sunday, so they parked their car in‐between Illinois (where the hotel is situated) and Oak street (where the Magnificent Mile ends or begins). They found a cheap outdoor parking lot on Superior which is exactly between Illinois and Oak, just East of Michigan Avenue. 

Step #1: Open ParkNSeek Mobile Application on Smartphone  

 

Page 14: Park and Seek Mobile app (usability testing documentation)

14 

 

Step #2: Select FIND MY CAR (If you have a saved location, the button will be displayed in RED. 

                  

  

   

Page 15: Park and Seek Mobile app (usability testing documentation)

15 

 

    Step #3: The default view will be an interactive map view of directions to their parked car.   The user’s current location and the location of their car are displayed in RED text.  

   

Page 16: Park and Seek Mobile app (usability testing documentation)

16 

 

 

Appendix B: Nielsen’s Heuristics  

Visibility of system status 

The system should always keep users informed about what is going on, through appropriate feedback within reasonable time. 

Match between system and the real world 

The system should speak the users' language, with words, phrases and concepts familiar to the user, rather than system‐oriented terms. Follow real‐world conventions, making information appear in a natural and logical order. 

User control and freedom 

Users often choose system functions by mistake and will need a clearly marked "emergency exit" to leave the unwanted state without having to go through an extended dialogue. Support undo and redo. 

Consistency and standards 

Users should not have to wonder whether different words, situations, or actions mean the same thing. Follow platform conventions. 

Error prevention 

Even better than good error messages is a careful design which prevents a problem from occurring in the first place. Either eliminate error‐prone conditions or check for them and present users with a confirmation option before they commit to the action. 

Recognition rather than recall 

Minimize the user's memory load by making objects, actions, and options visible. The user should not have to remember information from one part of the dialogue to another. Instructions for use of the system should be visible or easily retrievable whenever appropriate. 

Flexibility and efficiency of use 

Accelerators ‐‐ unseen by the novice user ‐‐ may often speed up the interaction for the expert user such that the system can cater to both inexperienced and experienced users. Allow users to tailor frequent actions. 

Page 17: Park and Seek Mobile app (usability testing documentation)

17 

 

Aesthetic and minimalist design 

Dialogues should not contain information which is irrelevant or rarely needed. Every extra unit of information in a dialogue competes with the relevant units of information and diminishes their relative visibility. 

Help users recognize, diagnose, and recover from errors 

Error messages should be expressed in plain language (no codes), precisely indicate the problem, and constructively suggest a solution. 

Help and documentation 

Even though it is better if the system can be used without documentation, it may be necessary to provide help and documentation. Any such information should be easy to search, focused on the user's task, list concrete steps to be carried out, and not be too large.