24
Human Computer Interac/on CS4826 Project Sharon Brosnan 0651869 Digital Media Design This paper is an inves;ga;on into the usability of Google Calendar using Heuris;c (Expert) and Coopera;ve (User‐Centred) Evalua;on techniques. The processes of the evalua;ons from an inves;gator’s point of view as well as from the users are documented. The system’s usability flaws and posi;ve features are outlined through a heuris;c evalua;on and coopera;ve evalua;on. A heuris;c evalua;on is an assessment of a user interface design from an end users point of view. A coopera;ve evalua;on is a research technique that allows designers to discover usability problems in a system while allowing the designer and users to work together. It was found that there are several usability problems with Google Calendar and several solu;ons that could greatly improve this. Spring Semester 08 A Usability Evalua;on of Google Calendar Using Heuris;c and Coopera;ve Evalua;on Techniques

A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

Embed Size (px)

Citation preview

Page 1: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

H u m a n   C o m p u t e r   I n t e r a c / o n    C S 4 8 2 6   P r o j e c t  

Sharon Brosnan 0651869 Digital Media Design  This paper is an inves;ga;on into the usability of Google Calendar using Heuris;c (Expert) and Coopera;ve (User‐Centred) Evalua;on techniques. The processes of the evalua;ons from an inves;gator’s point of view as well as from the users are documented. The system’s usability flaws and posi;ve features are outlined through a heuris;c evalua;on and coopera;ve evalua;on. A heuris;c evalua;on is an assessment of a user interface design from an end users point of view. A coopera;ve evalua;on is a research technique that allows designers to discover usability problems in a system while allowing the designer and users to work together. It was found that there are several usability problems with Google Calendar and several solu;ons that could greatly improve this. 

Spring Semester  08 

A Usability Evalua;on of Google Calendar Using Heuris;c and Coopera;ve Evalua;on Techniques 

Page 2: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  1 

 

Introduction 

Google Calendar 

 Google Calendar is a web application offered by Google. It is a free online sharable calendar. It allows scheduling, organizing and time‐management available online. It can be viewed in day, week or month mode and allows the user to scroll through time. It’s available in over 15 languages and offers many features, such as Quick Add: the user can click anywhere on the calendar instantly type in phrases which it Google Calendar understands and enters into the schedule.  It allows Calendar Sharing: it is possible for the user to share their schedules with friends and family. Google Calendar offers the function of sending invitations to family and friends through the application, allowing comments to be made on the event and RSVPs to the event. There is a search function in the calendar, which can be used to Jind a certain agenda item, or the user can even search public calendars to Jind public events. To use Google Calendar the user does not have to be a Gmail user but if they are Gmail recognizes events in the users inbox and adds the events to the calendar. Events can be imported from other calendar programs such as Microsoft Outlook calendar, making Google Calendar very versatile. Multiple calendars can also be formed in Google Calendar for different aspects of the users life, such as for work, college, social life etc. There is also mobile reminder service available, Google texts the users mobile phone ten minutes previous to the event on the calendar.   

(Google 2008)  A usability evaluation of Google Calendar would be constructive as it is a recent application and has become very popular in since its launch in 2006. As it is a new application one would expect many usability problems but has been described as the easiest scheduling system to use.  

We think [Google Calendar] is the simplest calendar out there.

(Mashable! 2006‐2008) Google’s marketing of the Calendar also claims this.   Using Google Calendar, you can add events and invitations effortlessly, share with friends and family (or keep things to yourself), and search across the web for events you might enjoy. It's organizing made easy.

(Google 2008) 

 

Page 3: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  2 

Evaluation Techniques 

In order to conduct an assessment of the user interface and usability issues with Google Calendar, I am performing a Heuristic Evaluation and Cooperative Evaluation on it.  Heuristic evaluation is a popular method when conducting research into the usability problems. It is cheap and easy to perform. The guidelines for performing this type of evaluation are laid out and straightforward (Jacob Nielson 2005) few resources are required when carrying out the evaluation, and no formal training is required to do the evaluation and it can be used early in the development process. (Usability Professionals' Association (UPA) 2005)  

Cooperative evaluation is a cost effective technique for identifying usability problems in systems and software. It can be used at any stage of the system development. Users thoughts and actions can be acquired using this technique. This type of evaluation can be performed with little to no training on the investigators part. 

By combining the heuristic evaluation and cooperative evaluation we can learn a lot about Google Calendars. Both techniques use different method to gain the results, which can lead to more thorough conclusions. Cooperative evaluation promotes communication between the user and investigator, while in heuristic evaluations the investigator takes on the role of the user to learn about the system. Making use of these two systems together can teach more about more about the system and the usability issues throughout. 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 4: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  3 

 

Heuristic Evaluation 

A heuristic evaluation is the assessment of a user interface design. It is easy and cheap to do. The purpose of conducting one is to Jind the usability problems in the design from an end user’s point of view. The interface is examined and is reviewed using a set of recognized usability principles. There are usually several evaluators who examine the user interface individually and then communicate their Jindings to each other. Their results are recorded. There is then a user test in which the evaluator observes the user’s actions to understand the usability issues in the interface design. 

(Jacob Nielson 2005) 

Heuristic Evaluation (expert review) is a diagnostic method in which experts take the role of less experienced users and describe the potential problems they see arising in a system or interface for those users. The review is based on compliance with a set of principles (heuristics).

(Society for Technical Communication 1998‐2004) 

 

There is a set of ten principles that the evaluation is based on 

1. Visibility of system status 2. Match between system and the real world 3. User control and freedom 4. Consistency and standards 5. Error prevention 6. Recognition rather than recall 7. Flexibility and efJiciency of use 8. Aesthetic and minimalist design 9. Help users recognize, diagnose, and recover from errors 10. Help and documentation 

 (Jacob Nielson 2005) 

  

            

Page 5: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  4 

  Heuristic Evaluation  1. Visibility of system status The system should always keep users informed about what is going on, through appropriate feedback within reasonable time. 2. Match between system and the real world The system should speak the users' language, with words, phrases and concepts familiar to the user, rather than system‐oriented terms. Follow real‐world conventions, making information appear in a natural and logical order. 3. User control and freedom Users often choose system functions by mistake and will need a clearly marked "emergency exit" to leave the unwanted state without having to go through an extended dialogue. Supports undo and redo. 4. Consistency and standards Users should not have to wonder whether different words, situations, or actions mean the same thing. Follow platform conventions. 5. Error prevention Even better than good error messages is a careful design, which prevents a problem from occurring in the Jirst place. Either eliminates error‐prone conditions or check for them and present users with a conJirmation option before they commit to the action. 6. Recognition rather than recall Minimize the user's memory load by making objects, actions, and options visible. The user should not have to remember information from one part of the dialogue to another. Instructions for use of the system should be visible or easily retrievable whenever appropriate. 7. Flexibility and efJiciency of use Accelerators ‐‐ unseen by the novice user ‐‐ may often speed up the interaction for the expert user such that the system can cater to both inexperienced and experienced users. Allow users to tailor frequent actions. 8. Aesthetic and minimalist design Dialogues should not contain information, which is irrelevant or rarely needed. Every extra unit of information in a dialogue competes with the relevant units of information and diminishes their relative visibility. 9. Help users recognize, diagnose, and recover from errors Error messages should be expressed in plain language (no codes), precisely indicate the problem, and constructively suggest a solution. 10. Help and documentation Even though it is better if the system can be used without documentation, it may be necessary to provide help and documentation. Any such information should be easy to search, focused on the user's task, list concrete steps to be carried out, and not be too large.      

Page 6: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  5 

  A Heuristic Evaluation of Google Calendar  I set out a series of test to evaluate the main features of Google Calendar: 

 • Add an event to calendar • Change event 

 Once signed in the user is taken directly to the calendar. There is a monthly view of the calendar as well as a weekly schedule in the main screen.     Add an Event to Calendar  

1. Visibility of System Status To add an event the user clicks ‘Create Event’, this link takes the user to a new screen in order to input details on the event to be scheduled.  This screen uses simple everyday language, for example, ‘What’, ‘When’, ‘Where’ and ‘Description’.  

 Figure 1­Add Event 

 To add an event quickly the user clicks on the time of the day they want. A pop up window appears promptly with a text input box for details, there is even an example under the box so the user can understand what the system is asking for.  

Page 7: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  6 

 Figure 2­Quick Event Add 

  A button marked ‘Create Event’ is below. Once clicked the pop up item disappeared and the event entered into the schedule immediately. There were no observable delays, with the tasks being done within the second. Once clicked there was also a highlighted piece of text informing me that the task was done, “Your event was created.” However this was small. 

 Figure 3­Event Created 

 

Page 8: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  7 

 2. Matches Between System and Real World The language used is easy to understand and straightforward. If one wants to place an event in the calendar one clicks the ‘Create Event’ button. The calendar options appear in a natural order, with the main options at the left side of the screen and the search button at the top. The order of the options makes sense in the real world making choices easy to Jind. On data entry the tasks are described in terminology familiar to the user, using clear language avoiding computer jargon.   3.  User Control and Freedom There is user control throughout the system. When creating an event through the ‘Create Event’ link the user is taken to a new screen where they can add an event, after entering in the details necessary the user can choose to ‘Save’ or ‘Cancel’. As this can be considered a serious option it is useful to be prompted to conJirm the command or cancel out of operations if necessary. These buttons are located at both the bottom and top of the screen. 

 Figure 4­Save, Cancel Option 

 

However if the user added an event using the ‘Quick Add’ system it is more difJicult to delete/edit the event as it is entered into the calendar at once. It is possible to delete/edit the entry if the very small upper section of the event is selected. This selection item is very small and the user is likely to click on the bigger lower section Jirst, which takes them to a screen, which describes the event but does not give options to edit. 

Page 9: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  8 

 Figure 5­Event Details 

 

4. Consistency and Standards 

The system is very consistent, using the same vocabulary throughout the process. The layout for the screen standardized also. The “Exits” or ‘Save’/’Cancel’ buttons appears at both the top and bottom of the screens where necessary. And the label Jields are consistent from one data screen to another, such as the menu to the left of the screen. 

5.  Error Prevention 

In order for the user to add an event in the ‘Create Event’, they have to choose a time. The choice is a scroll down menu. To choose a date the scroll down menu changes into a mini calendar allowing the user to click on a speciJic date. The menu also has more scroll down menus for reminder preferences as well as so the user can see their choices clearly before saving the event to their calendar. This can omit human error to a great extent. 

 Figure 6­Scroll Option 

 

6. Recognition rather than recall As mentioned above there is the option to add a quick event, this entails clicking on the time and date on the menu box on the screen in front of them. This is a very visible structure, as the user doesn’t have to go to extra menus/options. It is quick and simple. 

Page 10: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  9 

When creating an event, the input boxes are in the same places along with short details as to what should be entered into the text box. This is an effective measure for recognition for the user. 

 

7. Flexibility and efJiciency of use There are several accelerators or keyboard shortcuts: 

c        Create Event /  Search p or j  Previous date range n or k  Next date range t  Jump to "Today" d  "Day" view x  Customized view w  "Week" view m  "Month" view a  "Agenda" view q  Quick Add s  Settings Esc or u  Back to calendar Enter  Expand Tab  Next Jield Alt then s  Save Esc or u  Back to calendar 

(Google 2008)  

These can help the user speed up their interaction with the system. Both new and experienced users would Jind these useful. 

  8. Aesthetic and minimalist design The input text boxes have only one word indicators, “What”, “Where” etc. These are simple and uncomplicated. An example for one box is a clear sentence describing a task that may be done, “Example: Dinner with Michael 7pm tomorrow”. The information shown is relevant. 

When creating an event the date input box has an example of the format necessary for the key in, the time input has the same objective. 

 

9. Help users recognize, diagnose, and recover from errors There were no errors encountered.  

10. Help and documentation Although the system can be used without documentation, help documentation is provided. There is a link to ‘Help’ at the top right of the screen, which opens into 

Page 11: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  10 

a new window. At the left hand side of the screen there is a ‘Tour’ of the system a user can use which would be useful for people just introduced to the system. In the ‘Help Centre’ a user can look in three main headings for a problem/task, “Learn The Basics”, “Fix A Problem”, “Learn More”.  At the right  Any such information should be easy to search, focused on the user's task, list concrete steps to be carried out, and not be too large.   

(Google 2008)   

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 12: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  11 

Cooperative Evaluation 

 

a. Method 

a.i. What is Cooperative Evaluation 

Cooperative evaluation is a research technique that allows designers to discover usability problems in software. The users and investigators work together to evaluate the system. 

The technique encourages design teams and users to collaborate in order to identify usability issues and their solutions.

(Emmus 1999)  When carrying out this investigation, users are asked to perform tasks laid out by the investigator. These tasks are chosen to let the user explore the system, which will be related to their needs. The users are asked to use the “Think Aloud” method, in which they talk about what they are doing, what they except to happen etc.   

A method for studying mental processes in which participants are asked to make spoken comments as they work on a task.  These thoughts will be recorded and collected for later analysis.  The method is useful in most stages of the design. In early stages to evaluate the prototype, for feedback in order to redesign if necessary, and detect usability problems early. Or in a later stage to develop the product further. The purpose of cooperative evaluation is to help develop the product. 

It is to help you identify the most important improvements to consider with the minimum of effort.  

(Haber) 

The user’s thought process when using the system can be gained during the evaluation and the investigator can help the user in using the system if necessary. This method can also be implemented with little training involved. It is an informative method of evaluation. 

There are limitations to the technique however. It can result in large amounts of Jindings which all have to be analysed. 

(Emmus 1999)  

   

This method is not useful in the earliest stages of the design process as the tasks may not be available to carry out during the evaluation. It cannot determine the 

Page 13: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  12 

quality of the system as the designer is the one carrying out the evaluation and this type of assessment is should be carried out but an unbiased third party.  

(Haber) 

 

a.ii. Conducting the Cooperative Evaluation 

In conducting the cooperative evaluation, the Jirst step was to recruit users. Google Calendar has a wide range of potential users. For my assessment, I decided that University students involved in the committee of a Club or Society would be the best choice as these students generally have busy scheduales and many need a schedualing system in order to keep track of lectures, meetings etc. The students all have different scheduales and have different roles in their respective club or society. They also have no previous experience with Google Calendar or any other schedualing software. These are typical potential users of the system. 

I decided three users would be practical to test as this would give me the overview of the system I was looking for and learn if problems were found between the three users or subject only to one.   The tasks I laid out are the most functional of Google Calendar. They are typical of the main tasks that Google Calendar offer and the most used. They are also what the recruited users would be using the software for. The tasks are speciJic and limit the users to the main calendar and will keep the users in focus while completing the tasks. The task list is a set of goals that are to be completed by the user. (See Appendix B‐Task Layout) The subjects were given 45 minutes to complete the tasks laid out. This session will be sufJicient time for the initial assessment to be done.  The evaluation took place in an empty room on campus. I booked a room in the Students Union to carry out the evaluations. The room was comfortable and reasonably quiet.  Before the user entered the room I had a laptop set out with the internet explorer opened and a task list next to the laptop where the user would be sitting. In order to record what the users were doing and saying I took notes on their actions on screen and recorded their audio using the recording software on my mobile phone, which was placed on the table out of their way.   When the users entered the room I put them at ease. I explained what a cooperative evaluation is to them in an informal manner, and how I expected them to use the system (while not revealing how to use the system). I explained that I was looking for mistakes that the system causes and not the mistake that they may make, emphisising that I was evaluating the system and not the user. I explained what I expected them to do in terms of the ‘Thinking Aloud’ method, and how long the evaluation would last. I then gave the user the task sheet and started recording.  

Page 14: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  13 

While the mobile phone recorded what the user was saying, I took notes on what the user was doing, user mistakes, hesitations, unexpected behaviour, correct choices etc. When the user had a problem I encouraged them to Jind their own solution, and also encouraged them to tell me what they were thinking while carrying out the tasks. I also asked several question throughout the process, ‘What were you expecting to happen?’, ‘What has the system done now?’. These questions were used to promote the ‘Thinking Aloud’ method.  

a.iii. Ethical Treatment of Participants 

Several steps were taken to ensure the ethical treatment of the participants. I was truthful when brieJing the users on what they were expected to do and how the information obtained would be used. This was done in several steps. 

• Honest and trustworthy with the representation of tasks • Aware against discrimination toward participants • Participants allowed to decline in taking part in evaluation at any time • Privacy was respected‐All information is conJidential, participants are not 

to be identiJied or identiJiable in any way • Emphasis that the system was being evaluated and not the participant • Participants were entitled to not have their data included in the report • Participants were asked to read and understand the Declaration of 

Informed Consent (See Appendix A‐ Declaration of Informed Consent)  

(Association for Computing Machinery, Inc. 2008)  

b. Analysis 

 

Task 1‐Login to Google Calendar using the given Username and Password  This task was relatively simple. All participants found the login fast and straightforward. All three have had experience logging in to Google or a system similar to Google. 

Task 2‐Locate the Google Calendar  The participants were taken straight to the calendar page, and so located the calendar without any hesitation. 

Task 3‐Change calendar view to see only the next 4 days 

Participant 2 found the tab to change the view quiet quickly, she knew precisely where to look to Jind the viewing option. Participant 1 found it quite easily as well assuming that the tab was in the top right corner. Participant 3, however, took some time in locating the tab.  He let his tab hover over the left hand menu before spotting the options on the top right; he noted “the viewing options should be nearer the small calendar [mini‐calendar]”. 

Page 15: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  14 

Task 4‐Add this event to your calendar 

The participants were given an event to add to the calendar. Participants 1 and 2 used the same option when adding the event. With no hesitation they clicked on the speciJied date to add the event. Participant 1 stated, “it was a guess, but the obvious choice all the same.” Participant 2 felt similar to this. Participant 3 took a different route however, he clicked the ‘Create Event’ option in the left hand menu, and he spotted it as he read over the page earlier in the evaluation. All three found the feedback sufJicient, as a read marker appeared on the time that the event was taking place. Overall, to add an event to the calendar is a very easy task. 

Task 5‐Edit this Event 

Participant 2 and 3 found the edit option quite quickly by clicking the event and clicking ‘edit event details’ in the pop‐up menu. Both were quite happy with this method of editing the event. Participant 1 was not sure how to edit the event, and took a series of hit and miss efforts. She tries Right‐Clicking on the event, this brought up no Google Calendar options however. She then tried highlighting the event to no avail. She then clicked on the event to Jind the edit option. After she stated, “Clicking on it was the most obvious thing to do, but I thought it seemed too easy!” 

Participant 1 noted how clear the edit menu is and that the two ‘Save’ buttons (one at the top of the screen and one at the bottom) made the editing much faster as she did not have to scroll down to the bottom of the screen to save and exit. 

When editing the event Participant 2 did not read the instructions next to the input boxes, entering the location of the event in the wrong input box. She soon saw her mistake and subsequently read the instructions on the page. She also found the feedback for this change after clicking save was not obvious. 

Task 6‐Find another way to add this event  

Participant 3 was the only participant who found this task easy, he immediately clicked the ‘Quick Add’ function in the left menu. He said this was because he had read it earlier when he was doing the ‘changing view’ task, and assumed it would add an event to the calendar. Participant 1 and 2 did not Jind an alternative as easy. Participant 1 maneuvered the mouse over the header, mini‐calendar and calendar views, and could not Jind it. She asked for help after two minutes of searching. Participant 2 took several failed attempts at clicking on the calendar (which was her original way to add an event) before scanning the page more thoroughly for the alternative. She found the ‘Create Event’ button quite swiftly after. 

Task 7‐Add the above event to the calendar for the next 3 weeks  The participants all found this task easy to initiate. All participants clicked on the task they wished to repeat and went into the ‘Edit’ window. Participant 3 stated, “There’s no other place I would’ve thought to look for it.” Participant 2 and 3 found 

Page 16: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  15 

the process straightforward, and carried the task out without any problems. Participant 1 however found the layout confusing. Although she found the edit menu easily, she was slightly puzzled by the options for the repeats, “It was hard to make sense of it, but once I thought about what they’re asking, it’s alright.”  Task 8‐Search for Event  All three participants found this task very simple. They all brought the mouse up to the search bar at the top of the screen without hesitation. Participant 1 found it typical stating, “It’s just like Google.”, with participant 3 in agreement, “The searching is usual of most sites.”  The only problem the participants found was, if they pressed ‘Enter’ Google would search the ‘Public Calendars’ and not their personal ones, the feedback when searching their personal calendar was quite well however.  Task 9‐Delete this event  Participant 2 and 3 realised how to delete the event straight away and said this task was very easy. Participant 1 trial clicked on the event, only to Jind the ‘Delete’ button. She said that she was not positive as to where the ‘Delete’ button would be.  

 b.i. Performance Analysis 

Although Google Calendar does have a lot of obvious and simple to use attributes, there are some aspects of the system that could do with clariJication.  There are three ways to add an event to the calendar, however two of the participants could one Jind a second method of adding an event after much searching.  This could be due to a lack of an icon; one participant stated she could not Jind the tab because “it’s just plain text.” Although the feedback is usually quite good in the system, after editing an event the users were not sure of the changed they had implemented had been saved. Participant 2 asked me if her changes had been applied, and had to go about and check if they had been.  

 

 

 

 

 

 

 

 

 

Page 17: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  16 

Conclusions and Recommendations 

Google Calendar is an easy to use system with very small usability issues. With both the heuristic evaluation and the cooperative evaluation I found the system to be quite useful and simple on the usability scale. Google Calendar is an understandable system, using everyday language in a layout that is not cramped in anyway. There is a quick and almost immediate response time after inputting data with feedback throughout. 

The system has recognition as learned with both evaluations. The participants knew how to do several tasks through recognition. The system, overall, is exceptionally useable, giving the user complete control over the calendar and it’s functions; there are, however, a few design issues throughout. 

a. Feedback 

The feedback in the system could be better. When an event is created there is obvious feedback, as a coloured tab covers the date and time that the event was created for, letting the user know that the event has been saved. The other feedback in the system is not as obvious however. See Figure 7‐Feedback 

 

 Figure 7­Feedback 

This is the feedback throughout. I believe the users would beneJit from a bigger or more obvious feedback system, possibly where the user clicks ‘Save’ (Figure 8‐Save Now), it could change to ‘Saved’ and to a different colour before going to the updated calendar. (Figure 9‐Changes Saved) 

 Figure 8­Save Now Option 

 Figure 9­Changes Saved 

 

b. Adding an Event 

Creating an event is a usability issue. Although there is the obvious choice to click the date and time on the calendar of when the event is to take place, sometimes this is not possible if the date is months ahead and so the user will have to enter the event in a different way. There are two buttons in the left 

Page 18: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  17 

menu, these are not clear to the user if the user does not know where to search for them. See Figure 10‐Add Event Buttons‐Green Box, the labels within the green box are the only other two ways to add an event. 

 

 Figure 10­Add Event Buttons­Green Box 

If a logo or icon were designed to be placed next to the buttons the usability of this system would improve greatly. 

 Figure 11­An icon to the left of the labels would improve usability 

 

If these two design setbacks were re‐evaluated it would greatly improve the system in all respects. It would make for faster usage, as users would not have to go back and check their changes are saved and users won’t have to search for the option to add an event. 

 

 

 

 

 

 

Page 19: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  18 

Discussion 

The heuristic evaluation and cooperative evaluation were excellent assessment methods for Google Calendar. Google Calendar is a simple tool, designed for most people, and I found it interesting to investigate how well design it was using these methods. Heuristic evaluations and cooperative evaluations are both cheap and easy methods to use, but both give thorough results when implemented correctly.  Usability in systems in general is needed to give fast and non‐frustrating system operation. People are more likely to make use of usable systems if they are well designed.  Designing with the users in mind is the most important part of design, the users are the people who will potentially pay money for this product and will need it to work according to their life style. If the system is not designed for the users needs it might as well not be there at all.  By combining the expert and user‐centred evaluation techniques one can learn a lot about the system. By Jirst using the expert evaluation (heuristic) I learned how the system worked and what I wanted to learn from the users. It gave me the initial questions that began the cooperative evaluation (user‐centred). There may be some unavoidable issues that have had a bearing on my evaluation. Since a heuristic evaluation is usually done with a team of investigators I may have had a bias in my work, or possibly have missed a design feature that a team of more than one person would not have missed. Within the cooperative evaluation I found that users sometimes became absorbed in their work and stopped talking, this was dealt with by asking “What are you doing now?”, however I could have stopped this from happening in the Jirst place by asking them questions as they spoke, or reminding them to speak to me. Overall the evaluations were a success, I learned how to conduct usability evaluations and that systems can be improved immensely with just one or two small changes.  

 

 

 

 

 

 

 

 

 

 

 

Page 20: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  19 

References 

 Jacob Nielson (2005) ‘Heuristic Evaluation’ [online], available: http://www.useit.com/papers/heuristic/ [accessed 09/03/08] 

Society for Technical Communication (1998‐2004) ‘Usability Techniques: Heuristic Evaluation Activities’ [online], available: http://www.stcsig.org/usability/topics/articles/he‐activities.html [accessed 09/03/08] 

 Jacob Nielson (2005) ‘Ten Usability Heuristic’ [online], available: http://www.useit.com/papers/heuristic/heuristic_list.html [accessed 09/03/08] 

Google (2008) ‘Google Calendar Tour’ [online], available: http://www.google.com/intl/en/googlecalendar/tour.html [accessed: 09/03/08] 

 Google (2008) ‘Welcome To Google Calendar’ [online], available: http://www.google.com/intl/en/googlecalendar/overview.html [accessed: 09/03/08] 

  Mashable! (2006‐2008) ‘40+ Tools For Google Calendar’ [online], available: http://mashable.com/2007/08/30/google­calendar/ [accessed 09/03/08] 

Association for Computing Machinery, Inc. (2008)  ‘ Code of Ethics’ [online], available: http://www.acm.org/about/code­of­ethics [accessed: 25/04/08] 

Emmus (1999) ‘Cooperative Evaluation’ [online] available: http://www.ucc.ie/hfrg/emmus/methods/coop.html  [accessed: 25/04/08] 

Habar, J. ‘Cooperative Evaluation: How to Do it.’ 

Usability Professionals' Association (UPA) (2005) 

 

 

 

 

 

 

 

 

 

Page 21: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  20 

 

Appendices 

Appendix A. 

Declaration of Informed Consent I,  the  undersigned,  hereby  declare  that  I  am willing  to  take  part  in  a  research project  that  is  part  of  a  fourth  year  course  assessment  for  the CS4826 module Human‐Computer  Interaction  at  the  University  of  Limerick.  The  nature  of  this study is as follows: 

 

Title: A Heuristic Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques 

 

Purpose: In this study we intend to evaluate Google Calendar in terms of it’s usability. This  involves asking users  to perform certain  tasks offered by  the  system  or  product  that  are  representative  of  the  types  of  tasks users  would  normally  perform  using  this  system  and  give  feedback  in terms of how usable or otherwise the system or product is.  

 

I declare that I have been briefed on the nature of this study and my role in it and have been given the opportunity to ask questions before agreeing to participate. I understand that my role in this evaluation is as a co‐evaluator and that this is not  an  evaluation  of  my  ability,  knowledge  or  intelligence,  rather  it  is  an evaluation of the computer system or product in terms of its design. 

 

The particular tasks that I will be required to perform have been explained to me and I understand them. I also understand that that I will be required to “think‐aloud”  while  performing  these  tasks.  The  “thinking  aloud”  method  has  been explained  to  me  and  I  understand  that  no  personal,  private  or  conJidential information is required from me.  

 

I  fully understand that  there  is no obligation on me to participate  in  this study and  that  I am  free  to withdraw my participation at any  time without having  to explain  or  give  a  reason.  I  also  understand  that  I  am  also  entitled  to  full conJidentiality  in  terms  of  the  details  of  my  participation  and  my  personal details.  I  understand  that  some  or  all  of  the  recorded  data  (verbal  and behavioural)  may  be  used  (quoted)  in  the  report  on  the  evaluation  for illustrative purposes but  I  shall  not  be  identiJiable  from  this  data  either  in  the body of the report or in appendices. 

Page 22: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  21 

 

I also understand that my participation in this study may be recorded by video or audio means  as well  as  through  notes  taken  by my  co‐evaluators  running  the evaluation only with my consent.  I am entitled to copies of all recordings made during the session if I so wish to have them.  I acknowledge the fact that deception and concealment are inappropriate for and not required in this study and that no attempt will be made to elicit information or actions from me using these means.     ________________________________              ______________________  Signature of participant                Date  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 23: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  22 

 

Appendices 

Appendix B. 

 

Task for A Heuristic Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques 

 

Task Layout  

 

Please carry out the following tasks on Google Calendar http://www.google.com/calendar/ 

When carrying out the tasks speak out loud about what you are doing, using the “Think Aloud” method, speaking your thoughts about the system, what you are doing and how you are performing these tasks.  

 

 

1. Login to Google Calendar using the given Username and Password  

2. Locate the Google Calendar  

3. Change calendar view to see only the next 4 days  

4. You are meeting Mary for coffee on the 7 June from 2‐3pm for a reunion in Java’s. Add this event to your calendar 

 

5. Edit this Event so the time is now 4.30pm  

6. Find another way to add the event – College Lecture 11.00am in EG010  

7. Add the above event to the calendar for the next 3 weeks  

8. Search for event ‐ babysitting  

9. Delete this event  

 

 

Page 24: A Usability Evaluation of Google Calendar Using Heuristic and Cooperative Evaluation Techniques

  23 

 

Appendices 

Appendix C. 

 

Questions on Task 

 

(These questions I found useful when taking notes on what the user was saying. These were for my beneQit when evaluating the systems and listened for the answers when the user was “Thinking aloud”) 

 

What did you think about the feedback of Google Calendar? (Was it clear/unclear that the task you have set in motion has worked?) 

 

Did you Jind tasks easy/difJicult to carry out? How so? 

 

Did you feel you had complete control over the system? Did anything happen that you did not intend on happening? 

 

Did you Jind the editing/deleting of events easy/difJicult? 

 

Was the system consistent? 

 

Did the system have an obvious/complicated layout? (Is it standardised?) Please explain. 

 

Do you Jind the layout of the system relevant/irrelevant in what you intend to accomplish? 

 

Recovery from errors.