30
81'(567$1',1*0$&+,1(6)52008/7,0(',$$1' +<3(50(',$35(6(17$7,216 0DU\+HJDUW\ 1+DUL1DUD\DQDQ 3DP)UHLWDV 'HSDUWPHQWRI3V\FKRORJ\8QLYHUVLW\RI&DOLIRUQLD6DQWD%DUEDUD&$ 'HSDUWPHQWRI&RPSXWHU6FLHQFH6RIWZDUH(QJLQHHULQJ$XEXUQ8QLYHUVLW\ $XEXUQ$/ What is the best way to communicate to someone how a complex system, such as a mechanical or biological system, works? 7KHWUDGLWLRQDOZD\LVWRSURGXFHDSULQWHGERRN WKDWFRPELQHVWH[WXDOGHVFULSWLRQVZLWKGLIIHUHQWNLQGVRILOOXVWUDWLRQVSUHVHQWHGRQ VHTXHQWLDOSDJHV:LWKWKHDGYHQWRIPXOWLPHGLDFRPSXWHUVDQGK\SHUPHGLDDXWKRULQJWRROV KRZHYHUZHQRORQJHUQHHGWREHFRQILQHGWRWKLVWUDGLWLRQDOPHGLXP)RUH[DPSOHZHFDQ QRZFKRRVHWRSUHVHQWYHUEDOLQIRUPDWLRQDVZULWWHQWH[WRUDVDQDXGLRFRPPHQWDU\ 6LPLODUO\ZHFDQSUHVHQWGLDJUDPVDVVWDWLFRUDQLPDWHGDQGLPDJHVDVVWLOOSKRWRJUDSKVRU YLGHRFOLSV0XOWLPHGLDSUHVHQWDWLRQVFRPELQLQJVRPHRUDOORIWKHDERYHPHGLDDUH EHFRPLQJLQFUHDVLQJO\DYDLODEOHDVHGXFDWLRQDO&'520VDQGRQWKH:RUOG:LGH:HE )XUWKHUPRUHZLWKWKHDYDLODELOLW\RIQHZDXWKRULQJWRROVZHGRQRWKDYHWREHFRQVWUDLQHG E\WKHOLQHDUIRUPDWRIWKHSULQWHGERRNLQZKLFKLQIRUPDWLRQLVSUHVHQWHGDQGW\SLFDOO\ UHDGLQDVHTXHQWLDORUGHU,QK\SHUPHGLDV\VWHPVLQIRUPDWLRQLVSUHVHQWHGLQDFROOHFWLRQ RIK\SHUOLQNHGGRFXPHQWVVRWKDWLQIRUPDWLRQFDQEHEURZVHGLQDQ\RUGHU These technological advances present a tantalizing spectrum of choices to authors of instructional materials. However, there are few empirically validated guidelines for how to choose among the various capabilities for optimal design of hypermedia presentations. 7KHUHDUHVRPHZLGHO\KHOGEHOLHIVDERXWWKHHIIHFWLYHQHVVRIWKHVHQHZGHYHORSPHQWVIRU H[DPSOHWKDWGLDJUDPPDWLFUHSUHVHQWDWLRQVDUHEHWWHUWKDQVHQWHQWLDOUHSUHVHQWDWLRQVWKUHH GLPHQVLRQDOUHSUHVHQWDWLRQVDUHEHWWHUWKDQWZRGLPHQVLRQDORQHVDQLPDWHGGLDJUDPVDUH PRUHHIIHFWLYHWKDQVWDWLFGLDJUDPVDQGLQWHUDFWLYHJUDSKLFVDUHEHWWHUWKDQQRQLQWHUDFWLYH Appears as a chapter in J. Otero, J. A. Leon & A. C. Graesser (Eds.), The Psychology of Science Text Comprehension, Lawrence Erlbaum, 2001.

naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

  • Upload
    vothuan

  • View
    215

  • Download
    1

Embed Size (px)

Citation preview

Page 1: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

�������������� ����������������������

����������������������

������������

������������� � �

�����������

�������� ����������������� ������������������ ������ ������������ �!"#$%

�������� ��������&������� ���'����(����) �� ���� ��� &�&� �� ��������

&�&� �� *�"%+,!�

What is the best way to communicate to someone how a complex system, such as a

mechanical or biological system, works? -�����.��� ���(�����������.&�������� �.����/

�������� ����0&���.�������� ��(���.������ �/� .��������&����� �������� �.��

��1&� �����������2�������.�� �����&����.�������&����� .��������.����&���� ������

��(������(�� ���� ���� ��.�������� �� �.���������.��� �����.�&��������0�������(����

�(��������������� ��������� ������� ����(��� ��0�������� ��&.�������� ����

�����������(���� ������ �.�������������������� ����.��� .�����������������������������

��.������������������������� ��� �������� � ����������������������������.�������

������ ��� ������ ������������������.&���� �����345���� .�� ����2���.�2�.��2���

�&����������(��������������������� �(��&���� ��������(��.�� �������������� ���� �.

�������� ������������������� �.����/��� �(������ ������� ��������� �.�� .���������

���.�� �����1&� ������.����6 ��� ���������������� ������� ��������� �.�� �����������

���������� /�.�.��&�� ���������� ������� ��� �������(��.�� �� ����.���

These technological advances present a tantalizing spectrum of choices to authors of

instructional materials. However, there are few empirically validated guidelines for how to

choose among the various capabilities for optimal design of hypermedia presentations.

-��������������(�.�������.������������&������������ ������������ �(�.�������� ������

�0����������.������������������ ��� ������������� ��� � ����������� ��� �������

.��� ��� ���������� ��� ������������� �(�3.��� ��� ���� ����� ����.�.�����������

���������������� ������.��������� .�� ���������������������������� � � 3� �������

Appears as a chapter in J. Otero, J. A. Leon & A. C. Graesser (Eds.), The Psychology of Science Text Comprehension, Lawrence Erlbaum, 2001.

Page 2: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

���������7�������'�4�������#!!%8�����(������������������������������� ����� ����.

�������������

-�����������.����������������������������� �(�����(��.���� �.���������.�� .

����&��.��������������� ��������������.�������� ��� ��0���� � ����(�������� ����

������(��/���� ���&����&�����������.������������������������ �����������������&��� �

����� ���&����������������.���� �����������.�������� ��� ���� ����������.����0���� � �

� ��������0�������������0��������������������������&����������&�� �����&������������

6 ������������������������9����(�������������.��&���&�.��� ��������.�������� ���

� ��������� ����� ���������&�������������7�������� �� �������#!!+:��� �� �

������������� .������ � �#!!+8�� .�(�������&��� ����0� .� ���&���������������

.���� ���������������

Our design process (illustrated in Figure 1) begins with a review of research on

multimodal comprehension, leading to a preliminary model of this process. An initial

design for a hypermedia presentation is derived from this model. Then basic research is

conducted to refine and elaborate this model. At the same time, the design principles are

used to create an initial presentation, which is evaluated by assessing how people interact

with the presentation and how well they understand the mechanical systems it explains.

The experimental research and evaluation therefore proceed in parallel. The results of the

evaluation can be used to redesign the presentation and to suggest further experimental

studies (e.g., to examine the causes of particular comprehension failures). The results of the

experiments can refine the model that forms the basis of the next design cycle. This

process can be repeated to iteratively improve both the design of the hypermedia manual

and the model of comprehension upon which it is based.

This design process makes two types of prescriptions about instruction. First it

specifies the content of instruction -- what information should be communicated in the

hypermedia presentation and in what order. Second it makes prescriptions about the format

of instruction -- the media and modalities in which different types of information should be

presented. Many studies of the effects of new media and visualizations in education

investigate situations in which a new medium is used in the context of a novel method of

instruction, such as discovery or collaborative learning (e.g., Edelson, in press; White,

1993). Effects of instruction are compared to learning from traditional lecture and textbook

Page 3: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

formats. In these situations it is difficult to evaluate whether differences in learning

outcomes are due to the new media used, the instructional method, or instructional goals

embodied in different pedagogies. In our research, we attempt to design instructional

treatments that systematically vary the content and the format of instruction, so that we can

evaluate the separate effects of each.

5&������������&��.��� ����� �����������0��� � ������� .��� ��& .���(����

�&����.���� ��&��� �����������������7������������'����� ���#!!+:��������&��:�������

#!!;:�����.���'��&��������#!!;�:�#!!;�:�Mousavi, Low & Sweller, 1995). �����0������

������� .������������&�����������( ������&.� ������ ������������0�� .�.����������

�����.����&���� .��������� ������� ��������� �.����������������������� �������7������'

<���� ���#!!$8���������������� ����������������������� ����� �������������������� ��.

������&�� �&������� ������7������'�������#!!,8�� .��������������� ����������������

������&����.���� ������� �������&���� ������� �� .��������� ������� ���������� �.��

.������ ���.�������7������'����� ���#!!+8�����������������.���'��&�������7#!!;��

#!!;�8���������( �����&.� ������ ������������������������������������ ��.���

����� �������������&����&����&����������(��� .���������� ��.��(�������� �� �����

������ ������������.������������������.�������.�� ��������� ������5&����������

�..���������.������ �1&���� ���2����/�(�������&����.�������� ��� ���� ��&.� �

� ����� �������� ������� .�������� /������.���.������ ����� � ���&��������������.��

��.��� ������ �.���.���(�� ������� �� ���������� ������� �� .�(�� ��������

.���� �.������.� ������������������������������.��.��&�.��� ���

������������������� ��� ����!����� �����"#��������$ ��!

Explaining how machines work using the printed book is a well-established craft

since the 15th century (Ferguson, 1977). This medium consists of written text interspersed

with various kinds of illustrations, for example schematic diagrams, cross-sectional views,

exploded views and realistic depictions of machines. Popular books like How Things Work

(George Allen & Unwin Ltd., 1967) and The Way Things Work (Macaulay, 1988) are

excellent examples of this medium. Readers of such books typically have some specific

comprehension goal in mind. For example, a reader might want to understand how the

machine operates so that he or she can predict its behavior, operate it, or troubleshoot it.

Page 4: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

5&�������������.������� �����������.����� &���(������������ ��&������.��

7���� ����������/�� ������8������������������& .���� .� ��������� ��������0�� .

.��������7����� � �� .��������#!!+:���������=&������������ � ������1&���� .

���� ����#!!!8���-������.����� ������� ����� ��0� ��� ������ ��&������������������0

�������� ��7������>� ����#!++8��(��������(��������� ��� ��������������� �(�������

�������� .���&���������������������/ �(��.���������.���� �� .�� ���������(�����

����� �.�� ������� ����� ��&������ �����.�����������9��������&��� �.�������.���6

�..��� ����0��������� ��� ��/�������&����.����������������������� ��� ����.��� .�

� ���������/���������� ����� ��� ������� �� ��0�� .������������ .�� ��.� ��� .�� ����� �

� ������� ��������������.��������7�������� .������#!!,:��������� .�>�?��� �/��

#!!!8�

����.� ����������.������������� ��&������ �����.��������.� �������������

�����.�������� ����� ��������������� � ���������� �������� ����/���& .�/ �(��.��

���&����������� � ���� .��� ������ ��.� ����������� ��7�������� .����� ��8

��(�� ������ � ������ ��&����������� �����.�����������&��� ���-������ ��� ����

� ���������������� �����.������� ��&����/� �����@.� ������� �����.��������

�������2�����&��������� �����.����� ��&��� �& .������������&��� ������1&�������

�����(� ��������� ���&���(����������� ���.����(����/ �(��.�������������� ����(���

�����������.�� �������.���

�%����������������!�#����&'����$ ����� !��$������������������� ����

�������������.��&���������� �������������&���������� ��������������� .����� .�����(����

������� ���9�����&���������� ���������� .�&�����-������������� ��������� ��� �����

����������� ���.�.�������� ������������ ������������������& ���� ����.���������

�������� .����&������ � ������������� �����������

(%� ��!# )�#��$����#�#������#���������&'���*��$���� �!��#�#�����

�����#���!%�-������� .������� ��&��3��.����������� ��� �� ���������/� �

������������� ���� ��� ����������� ���������� � ���.� ����.�� ������#��-��������

� ���������/� ��(������������ ���� �A�7#8��� ���� ����������/ �(��.���� .�7B8

�� ���� �������������� ��� ��������������� ������� � ��

Page 5: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

���������&�����&���.� ������������ � ������������/���� ���� ����(�� ���

.���������������� ���.� ����.��������#�� .����������3(���.������� ���������0������

���&���������������� ���������� ����������� �������� �������������������� ���������

������/ �(��.����� �����������.���..��� ���� ������� ����&������ � ����&������(��

�������������������.������ .�(������������������.�������0������-����� ������� ���

���&������ ���/� ��� ���� �������&���(������ � �������� .��� ���� ����������C�

����������

���� .�����&�����&��������� ����������������� ����(�� �.������ ������ �

����� � ������&��.� ���� ���� ����(�� ����������� ��� ��������������� � �

7������'�������#!!,8���6 �& .���� .� ����(�������� ��(��/���� ������� ����&���

������������� ����(�� ������ ���������� � ���������������������� ���� �������&���

���� ���������� � �������&��������������������� ��.����� ����(������ � �������

� .��� ���� ����������C������ ��

%���*��$����� ��#���� �����#���!��2�� �.������������������� ��.�����0�

� ��..��� ��������� ��������� ��� ����������������� ���������� �����(�� ����(�

��.������������/� �������� ������ /����(�� ��� �& ��������� �����0�7������D������� D8

� .����.�����������& �����.��������������� �7������������ ���8�7���/��#!!E8��-���

���������&��������� ��&�� ��� �� �����.�������� ��� ������������ ������� ������

�0�� .�.�������� �����������������.������������&�����3������������� ��� ���������0

� .�.�������

�%���#� �����$�#��� �)!��� ���������+��#!%��2�� ���/�.������.��������������

�������� �������������.����������������� .�������� ����&������ ��������� ���� ����

.������ ������&������������� �� ��������� ��7��������#!!B:������ � ���&(��'

���.���#!!,:�#!!E8��-����������(����������?������&������������������� ��� ���

� ��������.� ���� ��������� ������&�������� �������� ��� ����������� ������������ ��

���D�� ���������� D�� ��������� ��

�%�� ��!# )�#��$����'���������#���������&'����#������)��#���������)��,

&�!������ ����%��-����� ������������������� ��� ������������ ��&�� ����.� ����

�� �����.�������������� ������������������ ��� ������(��������� � �������� .

�� ���� ����������C������ �(�� ��������� ������ �������� ���5&��������&����������

Page 6: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

7��������#!!B:������ � ���&(��'����.���#!!,:�#!!E8��&������������������ ����

� ��������� ������� �������������.��������������������(�����(��������� ���� ����� �

����&��� �����.����� .��������������.� ����&���������������� �� ����� ������������

(������������� ����� ��.������������ � ������&��������� .���.&�����������������

� ��&� ������� ��� �������� �����������&�� ��������������������� .��� �������.���

�� ��.�����(������������������������ �0������ � �����&�������� ������&�������� ��6

.��� .��� �����������/ �(��.���7�������&������������ ��������������������������

1&���� 8�� .�����������&���?��� �����������

��#������!�$��������'�� ���������)��

6 ������� �������7����� � �'���������#!!+8��(���.� ����.���� ������&�������

�������� ��� ����������&����������� ��& ���� ���������������������� ��� ��� .

.�������.��������.���.���� ��&�.��� ���� � .�.������������������.�����&�������-����

(����������.���.������������������������.����� &�������0���� ����(��������� /�7�

��&��� ������� 8�(��/���� ���&���������������������.����������� ���(��/� ������� �

� &������������&���6��������������������0������ ��(����� ��&�����������(�����&�&

�����������&�����(����� ����������� /�� .���(����� ������������������������ /����

��� �0�&�����)0���� � ������&��� ������� ������ ��� ����� �������� ���������&�������

����&������������� �� �������(����&�������� �������� ��������&��� �� .����&���������

�����������.��� .� �� �������������-��������&���������� /��0���� �.�� ��&���� &��

7���( �� ����&���B8�������� �� ��������� ������� ������ ����� ��1&���� ������(��

�0���� �������������������� ������� ������ �0�����0���� � ����(����������������� ��(��/��

-���� �����.���� ������&���������.����� &����� �� �.����� ������ ��.���� �.��

�&�.��&��������&����������������������� ��� �� ��&����.��������&���B��� �� ��� ������

���������� ������������������� ���������� &���

���#����-.�/�� #!01�-�������������9������������������� ���������������&�����

.�������� ���������� ��� ���������� � ��� .��&��.� �������� ������ ���� ����(��

����� ������0�� .�.����������������&������������������ �.��&����.���������������

& .����������.�� ��������.�� ���� �� �� �&���� ������� �������&�������.� ����(�����

(������������ ���.�& ���� ���.�������������� �����������9������������������� ���

��9���7���/��#!!E8�������0���������.������������ ���&���������� ��������������� ���

Page 7: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

�.������� ���9�������� ���9���������7������8���&����������������� ���������� �����(��

�0�� .������������ ��������&��������������� ��� �.�����&���7�������#!+!:�������'������

#!!,8���-�����������&������ ������������������������������ ��������� &�������� ���

�����3����� ���.������������������� /��� �(�����.���������� ������������.���������� �

���.������ ��& ��� �������� � ����������� � ������� �.������ ���������� .��������(� �

&�����������/�� �������������� ������� � �� .�������������� � ����������.�� ���

.�������7�������&���B8�

���#����2.�/�)&!'!#��!01�-���.���������� ����������� �����������������

���������������&�������������������/��.�( �� ���& ��� ����&���������(�������

����������������/� �.�( �� ������������ ��������� � ���-�����9�������������� �B

���������������.� ���� ������& ��� ����&����������(������������� � ������ � �����

(�����&�&�������� .����(����� �&��������-������������� ��� �� ���������� �����

���������.�������(���������� �� ���0�����&�� �����������&���&�������������

����� ��� /��-��������� ��� ����������(�����&������� ������ ��0���.�.����(������

� /�� �(��������� �&�� .��&�&�������������������.�� ��������6 �(���&����

����� ��� ������&�������(��.����������������� ���������� � ��������������&�&

������� .��� ����� �&�������������������� ��.�����0�.������� ������& ��� ������

������ ��&�������

���#����3.�/ �����#���!01-�����9�������������� �"����������������� ��&���

������������ �����.�������������� ���-����� ��&.����.� ���� ���������3(���.

����� � ����(�����.�������& ����������� .�������� ��������/ �(��.������&�����

����� � ��7(�������������.�������������� ����������������� �����8���-����� ������� ���

��� ��&.�.�� ���������������?�.�.������ ����&���� ��������������������� ���� �������&

��(��������� ��(��/��7���(��?�'�����/��#!!%8��6 ���������� �����&����������( ��

�����3����� ������(������������� /�� .��/� �� ����&�.�.��&������������� � ����-�0

.������������������������� � ��� �&� ����� � ���&������ /�����������������

����� � ���� .������� ������� ������� ����������� ����.���������&����������������

��������� �� .��& ��� ��5 �������0����&�� ������� � ���������������������� .�����.

����� ��&��� ���������� ������ ���� ����������� � �� �1&���� �������������.�� ���

.��������� �&��� ���(����������� ��� ��������0&���.�������� �

Page 8: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

���#����4.�/5)�!#���!01��-��������� ����.���� �.���� ��&��������&�����������

���&������&������� .�.� ����������������� ����������&������������������( ������

�� ����� �����.�����������3�0��� ��� ��������������� � ��7�����.�*��&(�����&�'

*�F� ������#!!,8���-���������� ������&���&�.��� ���������&��������&�.����� ��&����.��

�� ������ ������������� ��7���������������.��������������8�������������������(

� ����� ����������&�������� �� .������� ������������ ��������� �,�.����������

����� � ��&�����(�����������.��������� .����������&�������������1&���� ��� �(����

&�����������/�.�������� ������������ � �������������������� ��� ������� �(���� .

����������.�����(�� ���������� � �������������(����������� �����������������

���.���/�� ������� �(����

���#����6.�/ �)!��� ����01�-����&������������������ ��������������&�����

& .���� .� �������������� ������&������� ����� ��������� ����6��� �� ��� ��&.��

����� ����.������� ������������ ������������� /���0���� � ����&�������������

(��� �� .�����������(�����&�&�� .�(����� ����&����������� ���� �?�.�(�����

����� ���������������� .� ������� � ��� .�����������&������������� ����

���������.�� ������������������.�������� �G�0���� ������ ���� �����H��&� ������

&������������ ������������.�������� ��������& .��� �������������� ������& .����� ����

������� �������(�����&�&�������3��������� �7��������� �;8�

���#����7�/��+����#01-�����9������������������ �������� ������(���

����� ����&����������������.������� ��� .����(� ����������� ������������� � ����6

� ��&.������������&.���������� ������������ �E��� �� ����� �� �(�������������� �

���������������� �&��� ������( ��� � &�&��������������&������������� �������.�����

.&�� ����������� ���� ����� .�������� �����.�� ����� ��&����������������� ���

������� �����������(� �������� �� ����� �� �G�0���� ������ ���� �����H��&� ����� ������

&������������ ������������.�������� ������(�������� �(��/��

���#����8.�/����������01�-����&������������������ �������0���� ����& .��� ��

����������� ������& .����� �������������������������� /�3��������� ��6��� �� ���

���������.������������������ ��(����������� ������� .���������������.��-����0

.�����������(�������� �(��/��� .���(����������������������� �������(�����&�&

������������������ /���������� ���������(������� �� ����� ������������ ��������-���

Page 9: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

����� ���� ��������������1&� �����������&�������� ���������� &����6 ���.������

������.����������� ��E����%��� ������ �������&��������/� �����G�0���� ������ ���� �����H

�&� �

��+�$�#��������)��������-�����.����������� ���������� ��� ��&�� �.������

�&����������1&� �������������� ��� ���������&������������������������������

����(���.��� .� �� ��&������&���������� ���������������� ����6 ������&����

������� ��� �������������������� ����(�� �.����������� � ��7������3B8����.��� .�

� ������.�������� ������������ ��� .���.&�������� � ��7����� 8��� .������������

�� .� ���� ���������� �� .��� ��&�� ����/� �������� �����.���7��������� .�)8����

.��� .� �� ��&������&���� ��&��� �������������.�������������� ��7��������� .��8�

-����������� ����� ����������� ��������������.�������� ��� ��(���� ���� �.� ������� �

�������&.��.��������� ���������� &���� ���.�������� ��(�������� �#�7G����H8��

�0����� ����������(��.����������(�������� �;�7G�������� H8��(�������&�.�����������.

���� ��������������� �E����%���5 ������&������.���� �������� ������������(�������(�.��

��&� �������� �������������������.�.����������� �������� �&�� ��� ���������G���H���

����������.����� &����(��������(�.���� ������������������ ���������� &���� .�(��

��������.�.������(�&�����������&��� �������� ������������������� �����������.

�����.���&.��.��� .��������� ���������(��������(�.������������� ������ �����7���

���&������������ ���������&���"8������� ������������(�������������.�� .����������&��

�� ����������.�� ����&���C��������������������/� ��� �������� �(���� ����&������&������

(����� ���� �(�������� ������� ��� ���� ��

���� ������#)���!�����)�#������������'�� ������ ��� ����!���

2�� �(��&�����?��������&���������������0������ ��.���� �.�������&���.������

��������������������.�������� ��� ��������(���0��� ��(����������������� �.������ ��

������������.�������� ��� ���� ��&.� ��������� /��� .�� ����� ����������.������ �.

�� &������ �� � �������������&���� .��������� ������� ������ .�(����/�(������������

���� �.������ ���������������.�������� ��� �����.������������ ��������(���

� ������� �� ��������������.������������.���������������(������ ������� ���-���.��(�

��/�(����������������� ������������ �� ����� ����������� ���������������������������

�� ������ ��������������

Page 10: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

������������� ������� ��#�'�� ����'�� ������� �!��#�#���!.������ ���#��� ��#��

��#� ���!����#�����$�#���!�������� ��#���9

-���� ������������.����� &���.���� �����.��.��&�.��� ������&�������������

� .������ � ����� ��&��� ���-�����������(��������� �������&�����������������������

������.������ ����� .��� � �.������ ������(�� ��&���� &���� .��������� ��&��� ��

���������������������������.����� &���.������.�������� .��.���� �.��� &����� ���

���������� ��&��� �33���� ��&.�.�.� ���������� ����������� ���� �.� ������� �

������� /��� .�� ����� ��������� ������������� ������� ���.�&���6 ����������0������

���(��.��������������(����������������� � ���&���������� ����� ��(�����

�������.����� &���������������&.�� ����� �.��0�� .�.���������� �� � ���������

�� � �

�"�� ����#�-�%

��������=&������������ � ������1&���'����� ��7#!!!8��������.����� � ������

����������.�������� ��� ��.�������.��������������� � ������������������ �&��������0

� .�.��������&��.�� ������ &���7(�����(��(�������������������&����0��� .��� 8��� .

���� � ������������������ �&�������������.�.������������������� /�������� ��.���

��� �.��0�.������� ����������� ������������ � ��� ���.�����������&�������� �7��

��&�����0��� .��� 8���-������ �.������ ������(�� �����������.����� &���� .��&����0

�� .��� ��(����������� ������������� /��� .�� ����� ��� �����&����0��� .��� �� .���

����� ��� ��������������.�������� ���������&�������� �� .������� ��������� � ��

(�����(�������� �.����&���������0��������� ��&.���������-������ �.������ �����(��

����&����0�� .���&�����0��� .��� ��(�����������&�����0�.�.� ��� ��&.���������� �

�0����������� � ���&�����&�������������������� /�������� ���� ����(��

����� � ��� .��������������������� ������������ � ��

-(� ��& .�����.&����&.� ���&.��.���(��������� /�(��/������������ &����B$

������&.� ���&.��.�����&����0��� .�B$�������&.� ���&.��.������&�����0�� ��

�&.� ��(�������.���������&.��.�������������� ���(��.���������������� ��� �(��

���.�(�����������(� ����������1&���� �A

���#��������#����:)�!#���!��(�������1&���.����������.�����(�������� � ������

������(�&�.�������� ������� ����� ���������� � �(������� ��� �����������.

Page 11: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

(����������0�������� ��1&���� ���/�.�G6���� ������� ��� ����.�������� ��&��

2����������� � ���������������IH�

�)��#����5)�!#���!��=&���� �����&�����& ��� ����������� � �� ����������������

G2����������& ��� ������������� .���������I

/��)�#,&���+�� 0�:)�!#���!��(�����.�������.��������&������&��� �������� � ������

������� .���/�.��������� �������.�����(����������(�&�.���������������G��(

(�&�.����� /��& ��� ����������.�������� ���������(����&�/�� ����(����� �������I

7������������������ �(���8H�

/� �)&��!���#��$0�:)�!#���!.�(�����.�������.���&������������������������� .

��/�.�(�������� � ������������&���������G�&����������������&��� �������������&

��������(��������� � &�&�����& � ��� ������ /��2�����&�.����(�� �I�7�������

���������� �(���8�H

����/���& .�1&���� �������/�.��������� ��������� ����&�����������.��/� ��

�������������� ������������ ������ �� ���� ���������� ������� ����������������������

���������.������.������������ .��������������(������������.���������.�����0��������

��� ����������� ����������& ����/���.��� ���� ���������(������/�.�������� ������������#���;

��(�� ����� ��������&��������������(���7(���#���� � �� ��� ����� ��������� .�;

��� � �������� ����� �8�

��!)�#!%�-������ �.������ �����(�� ������������&���(���� �������&.��������-��

��&�������&����� ��������������&.�� ��������������7,�%B��� &�������J�#�+!8� ���&��

����&����0�� .��������.����� &������&����������.����������� � �������������&�

��� ��� ����7#,�E;��� &�������J,�$!�8��� �����&����0����&��7#$�,"��� &�������J

"�"!8���-����������������������� � ��� .�� ����� ��(����������&���� �������� .���

��������������� ����.������(����(������ ����� ��� ������ ��E�� .�%��������� &���

-������ ����� ��(���������.������� �� ��������(���������������(����� �������

�/� ������.���������� ��0�� .�� ��������(������.�������� �����&����0��� .��� ��6

������������������������������� �� .&��.��������������.�������� ��� ����(��������

�������� ��&��� �.�.� ��� ��&� ����������� �C���� ������� ������ ��������������-��

��� ���� ��,�$E���������������.������&���,�#$���������&����0����&��� .�,�"$�������

��&�����0����&��

Page 12: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

-�����.������ ����� ��&.�������.�.� �����.���.������ ����� ��������� ��� ��-����

(���� ����� ����� �.������ ������(�� ������������&���� �� ���������������� ���

����&�����-���� ������������������/ �(��.���(���� ������ ���� ����� �1&���� ��33

�������� ��(������������������0����� ���(�������� ���7����������(�����.������.��

����������������� ��8���.���������� ���� ����� ��������7#B�#B�����J�,�B%8��������.��

�����(������������������0����� ���7!�;"�����J�B�EB:���7#��E,8�J�%�B,����K��$E8���� ����

�������&���������� � ������0����� �����.���� ����� �� ������ ��(������������

� ��&��� ��&����� ��������.������ ���������� ��&��� �(���� ��.������ ��������������

����� .���.&����(���.������ ����& �����������/ �(��.�������0����� ���

��!�)!!���%�6 ��&��������)0������ �#�����(�.� ��.������ ����� ����� � �

�&��������(�� ������������&����.������.������ ����� ��&.��������-��������������

�������� �����(�� �����&����0�� .��������.������&���� .���������(������������

���(�� ������� �� �������&�������� ����� ��������� �����(������������.���� ������

� ��&.� ��������� /�.��0�� .�.���������������� ����.� ����� �.����������� .����(

� ����� ��(�������� �������������� �������0�� .�.��������.���� ���������� �����

�������� ����� � ��������������-�������&���&��������������.���� .���.����������&��

(������ ������� ��������� �.�.�� ���������������� ��� ��(�� ����� ��&��� ���

.���� �.������.� �����&���������� ��� ���.���

���������� ��������&����0�� .��������.������&���(��������&�����0����&��

������������� ��.������ ����� ����� � ���&�������-�����&����������0��������.������� ����

�& ��� �������������� /��&�������������� ���� ����(�� ������ � ��� .���

����������������� ������������ � ��.���� ��������������C�����������& .���� .���

��&�������� ����/� �������������.��������5 ��������� ������������������� ��.�����

��� �����������&��������������.������(��������������������������������.�.������������

.�����������.�.����������� ��� ������&�����0��� .��� ������.�.��&������ �� �������

���&����.���������� �������.�������� .����������������� ����(�� ������ � ����

�������..��� ����0�.������� ��������������������������(����&�����&�&����&���������

�� ����������� /��������&�����.�������������� �����������������.����� ����������(��

����& ��� ��� .������������������ �����������������������..��� ���� ������� ��

������������ �����&����0�� .��&����.����� .��� ��7����� �"��������� &��8������

Page 13: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

�������� ��&�����&�&�����������������7#!!!8���������.��������&��� �(���&����

�0������ ���� �(������&.� ������ �.����&��������/���� .������������&����� ��..��� ��

��������� /��� .���� ��������� �����?�����������������������������.�������

�"�� ����#�-&%

)0������ �#��� .����.������������.���� .���.����������&���(����

� ������� ��������� �.�.���� ���������������� ��� ��(�� ����� ��&��� ����.���� �.

�����.� �����&���������� ��� ���.����6 ������� ���0������ ��(���������.��������.��

� .���� �.������� ������&���� &������������.���� .���� �.�� ��&��� �� ������������

�����&��� ������� ������������������������������������.���� .��&����.�������� ��� ��3

3��G-���2���-�� ���2��/H�����/�� .���345���������.�����&����7����&�����#!++:

#!!+8��-�����0������ ����������(�.�&���������������� � ��������&����������������� � �

�����������������(����.���� �.������.� �������� &��� ������ ��(��.3(� � ��.���� ���

�&�(�����(���� ��� �����.�����&���������� ��� ���.���

6 ������0������ ��������������� ������ �.�������������� �����&���������.��

�� &����(�����(���������.������.� ����������&�����& .������������������#!!!������&��

(����& .�����&.� ������ �.�����&�������������&�����0�������������&����0��

)0������ �#��������(������.������ �"������������ �������� ��� �� ����������.

�� &����-���������.��� &�������� �.������ ��#�� .�B������������ �����.���������

�&.� ���������(���������3����� ���.�������������(�����������7���� ������ �#������

����� ����� &��8���� ���(���.��������.��� �����(�����&�&�� .�(����� ���������

7(�����������& ��� �����.�������.�� ������ �B������������ ����� &��8��� .��� �(���

����(�.�������/�� �� .���.&�������� � ��� .�������������������.�� ����.�������7����

����� �#������������ ����� &��8��-���������.��� &������������� �.������ ��E�� .�%���

�������� ����� &�����������&.� ����(�� �� ����� �������������� �(������&��������

����� � ��� ������&�������� �(������� �.��&��&�� ������.�����(���������(����.�������.

� ����������� �� ������� ����7�������(��&����������.����������& ��� ������

�&������������������ ��� ������ �E������������ ����� &��8��-��������.������.����

��� �������&�����.��������.���� .��&�������7#!!;�:�#!!;�8���.������&.� �C��� �� ��

����������������&�������� ��� ���������� ��.�������.�� �����&.���������� �����-��

�� &��������������.�,������ �:�� �� ���������� �������(�.����������������

Page 14: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

.���������� �����������������1&���� ������� �7�.� ������������ �,������������ ��

�� &��8���������� ������ ��� �(������&�������������� � ��� ������&�������� �(���

� .����.�(���� �����(��� .��������� ������ �7�.� ������������ �;������������ ��

�� &��8�

5�����&.� ������ �.���������.�������� ������������� /�� ������������

��������/������345��7����&�����#!++��#!!+8��-���.�������� �� �������/����(���

������������.�.������������������� /�(�����.������.���������.�������� ����&���B�� ���

�����(�.�������.�.��� ��� �� .������������(���������.������ �����(� ��������(���� �

� ����� /��� .��������� ���� ��� ����������������������������.���������������( ���

� ������������ �.��������5 �����(������.�����(��������������(� ����������� ������

� /��(����������(����������� ����������� �� .������������ ��.�����0��0���� � ����(

������� �(��/���� .��������������(�.������ �������� ������&��� ������������� �� .����

������� ��.������.�������� ���������&��� �����������-�����345�������� ����(����

�����������������.�.�������� ������ ��������� �����0���������������&��������������� ���

����/� ��� �(��G�����H���� ���� �����(�������� ���������� ���������� ����(� ���

���������.������������������� /�������� ����.�� ������ ���������&�������/��-���

� ����� �������������7�/��� ��������� �����&����������� .�8�� .���� ��������� ��.�����

����� ���������/� ��� ���������G�����H���� ���� ������&������������� �.������� ����(

������� �(��/���(�������������������� ��.������.�������������&������ �� �����

��#���%�#E�& .�����.&����&.� ���&.��.��&���������.����� &����#%��&.��.��

��������� �&��������0�� .�.��������&��.�� ������ &����#,��&.� ���&.��.���

�������.�������� ��� �� ���������� /������G-����(�2���-�� ��2��/H���345�

7����&�����#!!+8�� .�#%��&.� ���&.��.������������ .� ����������������G-���2��

-�� ���2��/H����/�7�����&�����#!++8�

���(��.��������&.� ��(������.�������� ������(����.������(��/�.��-����(���

� ��&��.�������� ����������&���.�( �� ������ .��������������� /�� .�.������������

�������(�������� �������������������������������� /��������&������-�� ������ �(���.

�& ��� �1&���� ��� .���&�������� ��1&���� �����.�������.�� �)0������ �#��������

�� ���������(�����.�� �����.�������������������&���?��� ��������L�������������.� �

-�0�7)/��������� ��������� �'������ ��#!;%8�

Page 15: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

��!)�#!�

�&.� �� ��� � � � �������� !�$%� �� &��� �&.�� �� ��� �������.��� �� &���� %�#+

�� &����&.�� �������� �.������� ��������� &����E�"B��� &����&.�� �����G2���-�� ��

2��/H���345��� .�,�;!��� &��� �&.�� �� ��� G2���-�� ���2��/H����/��-�����(��� �

��������������� � ��&��� �� �������� ��.����������(� ��� ����� � /�(��/�.�� �&��� ��� ��

�&.� ��(������� �.������������������.�������.������.� �����&���������� ��� ���.��

.�������.������������ ������&�������� �7#B�B$��������������������.������&���#B�BE�����

���� ����� (��� �������.� ��� ��� �.���������8� �� � �&.� �� (��� ���� �.� ����� ��� G2��

-�� ��� 2��/H� ��������� 7;�"%� ����� ���� ��� ��345�� ���&��� ;�+#� ����� ���� ����� (��

�������.������� �.���������������������/8�����(������������.���� .�����������(���� �

��� ����� � .������ ���� � � ���� ����&��� ��(�� � ��� ��� �.� � .� �&����.��� ������ �� ��

����������� ��� �

-�����(���� ����� ����� �.������ ������(�� �������&���� �����������& ���

1&���� ����������&�������� ��1&���� ������������������(�������� ����������.���������

��.����������(���������� /�(��/�.�� .���.������ ����� �������� ���&�������� �

�������� ������(����������(���� ��� ������ ������������������ ��&��� �(��������

���������������������/ �(��.����������������0����� ����������� ����� .���� �������

� ��&��� �(����1&�������������������&.� ��(���.������ ����/���& .��� .����������

��!�)!!�����6 ��&�������������&�����������0������ ������� ���� �(����������

)0������ �#��������� ����(� �� ��.������ �����(�� ���� �.������� ������ ��&��� ��

���������� .��������.��������� ���� ��&.� ��� ����� ��� .�������� /���(�� ������ �

����������������������������6���������(�.���������������� �������� �����&�����

�������� ��� �����������������(����.���� �.������.� �����&���������� ��� ���.��

(�����&����������(��.3(� � ������������������������������������&����� ������&�

������������.�����.�� .��������������&�����.��&�.��� ������������ ����� ����������

���������� �� �� ���(��.���� ��&����.���.���� ��-������&.������������� .������������

����� � �� .���&�&������� ��&��� �������������� .� �������.���� .���.��������

(������������������ �.������������� ������������� ��� ����������0�.�������

������������� ������� ��#�'�� ����'�� ������� �!��#�#���!

#��#��� ��#�#������ �� �#��+��;�#������� ��#���������!��������� ��

����� ���#��#��!��#��#�����;�� �����+�$�#���9

Page 16: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

5&����.����������� ���������� ��� ��&���������������� ��� ����&�.������.�

� ������� ����&����.���������� �������.����������������������� ����(��

����� � ��������&�������� �������� ��� ����������� ������������ ���� .�������������

����������� � ���6 ��&��� ������������.���.���� ��(���� ���� �.� ������� �� ���

�� &������ �&������&�����(��/�.����&������������� ��6 ����� ����������.���&�

�������.����� &����������/����.����?�.����/��� �(������ ������� ��������� �.��

��1&� ������������������� ����&���������.����������������(��� ������� ���������(�.

� �� ����.���

5&��.������ ����� ���� � ������� �� ����� ����������� ��������������.��

����� ��� �(�������.�� ����.� ������������������������� �������� ����.���� ���

� ������.�� ����������������.������������������0�������&������� �������������?��.���

�������� .������������ ��������(������(����� ������� �� ����.������ �.����������

� �����.�7����� .�'� ��� �� ��#!+!:���������#!!,8���5 ����������� .����������

7#!!+8���& .�����&.� ��� .����.���.������������������� � ����������������&�&��.

�������.���.��&�� ���������.���� ��� �(�����������������������&�&���(�����.�

�����&���� .�� ��� �(������������� ��� �(����� ���������� ������.��������&����

������ ������������� ��0��������� ��� ����(� ����������/ �(��.����������.��������

������������������������� .������������ ��0���������.����0�����������������

�������� .�7���������>� ������� ����'�>� �����#!!%8������&�������������&�&��.

�0���������������������������� ����6 ��� �������������� ���������� �� �&��� ���

�����&��������.� ��������������������� ��������������.�����������������.�������

�� ������������������ ��� �������0�������� ������3� ����������#"��&.����������� �

������0����� �����0����� �� .�4�.��7#!!%8�������.����������0�(������������������

+�������� .������������(����&��� ���������E�������

6 �)0������ �B��(���������.����� � ���&������������&��� ������������.��

�� &�������� ���� �.������.������ ������� ��� .��������� �(������� �� �.��������

� ������� ���&�����(�.��&.� �������(��������� ��� �� ����.���

�"�� ����#�2%

��#���%�-�������0��&.� ����/������ ������0������ ��)����� ����� �.��������

�������.�������� ��� �.�������.�������� �(���������(�����������.������(��������� �

Page 17: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

����������� ��� �� ������.������������.�����&���������� ��� ���.����-��������#+

�&.� ������ �.������������� ��� ������ �� �.�������������� ��� .�� �������

(��� ��������� ����&�����(��������������(��������� ��� �� ����.���� ���(��.������

�&.� ��� �(���.������ ���� ����� �1&���� ����& ��� �1&���� �����&�3��������

1&���� ��� .���&�������� ��1&���� ��&��.�� �)0������ �#��������

��!)�#!%��������� ��(������� �.����������������.3 ������� �������� ������

�� &������ �����������&.�� ��7��J�#E�B#��� &��������J$"�B"8��� ��������� ��(��

���(�.��������3� ������� ��� &���7�J##�"!��� &������J$B�";8��6 ��� �������������� �

���(� ������������.������� ��������.�������� �7�J#�+B����J#�%8��������� ��� �.�.

�������� �����(� ���������������� �7�J#�"+����J#�B8�

-��������������� ��� ��&.��.�7���������&���������.� ������� 8�.�.� �������

�������� ���� �� ����������&����������������������� ��� �1&���� ����&��������������

(���� ����� ����� ����������� ��� � ������ ����(�� �������&���0����� ����������� ����

��� � ��(������������ &�������� �.������� ���������������������1&���� ��

���&����������� ��� ��������3 ������� ��� .��� �(��������(�.������(���

����� ��� �� ����.����� ��������������������(�.������ ������.������������.�� ���

�������.� ������� ������� ��������� &����-(�����������#+��������� ��� ��������

������� ��� .��� ����(�.��������� ��� ������.������������.�� ������ ���� �.

������� ������� ��������� &���� .�����������������.�.� ��.������&�����������

��.����-���������������&��������� ����������������/�.������ ������������������ �������

�� &���(�������� �.������������������ ��������� �7����&������������ ���������&���B8�

-��������������������� ��.�.� ��&����������.����������(���������.�.������(

����� ��� �� ����.���������&������������ �������.�����(�����72�����#!!"8�

-�����&.��������������(�.� ��.������ ����� ��������� ��������������.��

����� ��� ��(��������� .��������.� ������� ���6�(����������.����������.������ ���

��(�� ������� .��������.� ������� ������ ������� &������������� ��� ��������� ���

7;8�(��������������������������� ���������������� ������������0��������.�������������

� ��������(��������� �������&��.����� ������� �.���� ���&������ ���.���� �(������

���(����� ������� �����(��������������(�.��������������&�����(�������������.������

���������������� ��� ��������� ��� �������������� ���� �1&���� ��� .����������.��� .�

Page 18: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

� ��� ���������������.���� ������������������ ��� ��7���������#!!+:���� �� .�4�.��

#!!%8�

������������� ���� ��� �����������#���������������������'!#������#��'��� !#�� '�#�

���#���'������#��#����'!#��9

)0������ ��#��� .�#���.�������.�����������(�.� ���.�� ����������� � ������

� ����� ��������� ��.��������� ��������������.������� � ��������0�� .�����

.������������� � ����������� ������� ��-�������&������� ��������� ��������C�

� &��� �����&������������ �����������&���� ����� ��7�������'�4�������#!!%8��2�

������0����� ����� ����������������������� ������.��������������0�����������&��

������������������������� ����� ����������� ����������� ���0�����������������

����� ��� ����&���������&���?���������� ������ .�����&���������������������������� ��

��.������������� ������������� ��������.������ �7*�(���#!!!8�

��(��������������������������������� ��(���� ����� ��������� ��.���

����� ������������������������������ �������0�� .�.���������������� ����� �

������� ��.��������� �������/������������.����& ����������.��������6 ��� ����

���.� ����������.��������� .��0�������������.��-����������1&���� ���������������(�����

�������� ��� ������������� �/����&��(�������������(������ �� ����� ��������� �.�7���

������*�(���#!!!8�

���� .�������������� ����� ����������� ��������������(����������� � ������ �

���&�� ��&�����6 ��� �����(�� ���������������& .���� .���(�������� ��(��/�����

� �(���1&���� �����&���(���.������(��/��������� ������ ������������� � ��� ����

� ���� ���.����������&�������� ������� ��7������'�<���������#!!E:���������#!!B:�������

'�������#!!,������� � ���&(��'����.���#!!,:�#!!E8���&���������� ���������0

����� ���&�����������&��� ������� �����������(����&�������� �����������

���&�� ��&�����-������������& .���� .�� �� ����� ��������� ��.����� .���� .������

��� ����������&�����&�� ��&����� �.������ ������ �����������7*�(���#!!!8����(������&�

���&����� �� ����������������&��.�� �� ���� �������� ���������

-���.�����(� ��� �� ����� �������������������������� ��� ���&�������������3

�� ����� �������7������/��'�<�����#!;+8�� .��������3�0��� ��� �������7�����.�*��&(�

���&�'�*�F� ������#!!,8��&������������������� ��������������������������������������

Page 19: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

� �������� � ������������ .���&������� ������.��������0��� ��� �������������������������

����������� ������� ������ ��� ������������������������� ������������������������

/ �(��.��������� ���������������������� ��� �7���� �'�<���������#!!%:�>� ���������

#!!":����������>� ������� ����'�>� �����#!!%8������ �������������� �.��� ��� �

������ ���& .���� .� ����������7���(��?�'���� ����.��#!!!8�

6 ��� �������������������(� ��� �� ����� ��������&������������������( ���

��������� ����1&����&������&��� ��� ������ ���� ������� ������������7��������#!!B:

����� � ���&(��'����.���#!!,��#!!E8��� .�����������(������������������������������

�&������&���� ��������(�����(���������������7�������'�������#!!,:��������'

��� ������#!!;���������'�>�?��� �/����#!!!8���)�� ��������������� ���&������&���

�� ������ ���� ��������� ����������������������.���������������(� ��������&��

� ����� �����������.��������(���������� ������� /����������� �����������&���?��� .

(������� /����������� �����&���?���-����� ���� ����� �������������������� .&������

������&���������� &��� �����&���(��������� ��(��/���������(�� ��������(���

� ����� ������� ��������������� &��� ���������&�����������������������( �� ���

� ����� ��-������ ��� �&������� ����.�.�������������/�������&��������������� ��

� ����� ��� .���� ��.��� ������� ����&�������� ���������� � �����������&�.� �

� ������������.��������2������ ������.������������������ � �����������&���� ����� �

����&������ � ������� ������ ���� �������.��������� �������0������ ��

�"�� ����#�3�%

��#���%��� ��3�����& .�����.&����&.� �����������.�� �,�.������ ��� .��� �

��������0������ ��-(� �3��&���&.��.��������.���������������&��� ������� �����( ��

���&���B�7��������<��&�8��-(� �3� ���&.� ���&.��.���������.�������� .���

�����.����0���� �������0������ ������������(����������(��/�.�7�� ��� �����

<��&�8��-(� �3��0��&.� ���&.��.���������.�������� .��� ����(�.�� �� ����� �

������� ��.����������� �����0���� � ����(������&��� ������� �(��/�.�7����&��

����� �<��&�8��-(� �3(���&.� �����(�.���������.���������� ������.��

�0���� �������0������ �����(����������(��/�.�� .��� ��������(�.��������&��

� ����� �7����� ��� �<��&�8�� ���(��.�������&.� ��� �(���.��� ���� �����

1&���� ����& ��� �1&���� ���� .���&�������� ��1&���� �����������������&��.��

Page 20: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

)0������ �#���.�������.���������� ������&.� ��(�������� �������������.� ��-��

7)/��������� ���'������ ��#!;%8����������������������&���?��� ��������

��!)�#!%�F��(� ������ ����� �� .������ ������� ����� ����������.

�������� ���� ������������������1&���� ���-��������&.� ��� ��������&��� �����

<��&��� .��������� ��� ����&��� �(���.������1&���� ������������� ��&.� ��� ���

�����(�����&�����&.� ��(���������������������������� �(���.�������& ��� �� .

��&�������� ��1&���� ��������������������� ���� ����� �1&���� ��������(������� .

�����&.� ��� ������ ���� ����� ����&���������������������� ����� ������� ���

.�����������&����&������� .�.�.� �������������������� ����� ���

�"�� ����#�3&%

)0������ �"��� .����.�����&.� ���� ����� ���(�������� �����������(��/�

������ �� ����� �������� ��.����������� ���������� ����� ��������������������� �

���� ������ ��������������(�����������.����(���������������� ��� �)0������ �"�

����� ���������� ����� �� �&���� ������� ����� ������ ��0��� ��� ������(���

������(��/�.��-����(�������( ��������.��������������������� .�����.�������(��� �

����� �(�� ����������.����0���� ���(����������(��/�.�����������.����� ����

� ����������������������������6 �)0������ �"����&.� ��� ������ ���� ����� �� .

����� ��� ����&���(�������( �����������.�����������(� ��.������ �������� ���

������� �������.�������� .�����������.��������(������������(��������������.��

�0���� ���(����������(��/�.�

2��(����������� ��� �.��������� ���� ����� �1&���� ��(���� ��.��� �������

���.������ ������(�� �������&��������&�������(�����&�������������1&���� ���� .

����������&.� ����.������.���� ������� �(��� ������������������������&�.������ ��

� �����(��������� �(������������-���������� ������0������ ������&������������

1&���� ��(�����������.��������/�� �(���������&.� ��(������/�.���.��������������������

��(������&��� ������� �(��/��7���� �)0������ �#�������8�

��#�����)������&.� �����������.�� ������0������ ��B$�� �����������

�� .��� ��7��������� ������ ��� ����� ������&��� ����� �� .������ ���

�� ���M�����&��� ����� 8��-��������.&���(�������������������)0������ �"��(��

������ ���� ��.�������

Page 21: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

��!)�#!%���&.� ��(������(�.����� ����� �� .������ ����(����������������

.�������� �������(������&��� ������� �(��/�.������������� ��&.�.������������ ���

��&�������� �� ������.�������� ���&�����������&.� ��(����� ������ ����.���

����� ����������������(�����������������.�������� ���� ������(���.�.� ���� ����

� ����������������-������������������(���� ��&���� ��(�����..�������&�����

�&.� ��� ��������� ��� ��� .��� �7(���������� ������ ����.����������� .���

���(�.��������&���� ����� 8���.���������������� ����������,����&���� ���������&���

-����� .����������&.� ������ ��������������(� ��� �� ����� ����������� �����.��������

������������������ ������ ��������.��������&.� ��(����������������������������

��.�������������� ���� ���������&���

�&.� ��(������(�.����� ����� �� .������ �����������.�������������� ����

�����&�������� ��1&���� ��� ���&��������(������ .�������� ���� ����� �� .�������

������������������������� ���� ���������&��������� .��.�.� ����������������

��� ����� ����� ���������0������ ����� ��&���� ����.���� ����� ��������� �����& ���

1&���� ��

�"�� ����#�3�%

)0������ ��"��� .�"�����(�.���������������������������.����������(��

����� �����������(��/����������(� ��� �� ����� �������� ��.����������� ������

��������(� ���������.��������)0������ �"����������(�.�����������������������

.����������(�������� ��(��/������������������ ������ ������������� ��������

���(� ��� �� ����� �����(�����)0������ ��#��� .�#��������� .���������&.� ������

���(��������������.��������������� ��.�����0���������� ����� ���6 ������0������ �(�

�0��� �.��������������(���������� ��&.� �C����������.����������(������&��� �������

(��/���-��������������(���(�������������� �.���(����������(��/�.������� �� �����

������� ��.����������� �������������������.�������������� ��.�����0��-������� .

������(���(��������������������.����� ������ ������������� �����������������

������� ��� ��0��� ��� ������(���(��/�.�

��#���%�� ��3��0��&.� �����������.�� ������0������ �7B,�� ���������&�8��-��

��������&��������&.��.���.���������������&��� ������� �� .��� ����.����0��������� ��.

�����.�������.������� ����(���(��/�.�7-�0�� .������������&�8��-������� .����&�

Page 22: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

���(�.��������.�������������.��������� ������.����0���� �������0������ �����(��

(��/�.��� .��� ����.����0�� .�.�������.�������� ������(���(��/�.�7�� ��� �����

M�-�0�� .������������&�8��-������.����&���&.��.����.�������� .��� ����(�.��

� ����� �������� ��.����������� �����0���� � ����(����.������(��/�.�7����&��

����� �<��&�8��-�����&������&���&.��.��������.�������������.��������� �������.

���0���� ���� ��0������ �����(���(��/�.��� .��� ����(�.�� �� ����� �������� ��.

���������� �����0���� � ����(����.������(��/�.�7�� ��� ����� �M�����&��

����� �<��&�8�� ���(��.�������������� ��(������/�.���.��������� �(��� ���������

�������(������&��� ������� �(��/��7���� �)0������ �#�������8�� .�� �(���.���

��&�������� ��� .��& ��� �1&���� ��

��!)�#!%� ��� �)0������ �"����&.� ��(����� ������ ����.��������� ����

������7����������.����0���� ���(���(��/�8�����������(� ��� �� ����� ������

����� �����������(�����������������.�������� �������(����.������(��/���������.��

�����(������(�.����� ����� �(���&�������� ������ ���� ���-��������������������&�

7)0������ �"�������8�����&.� ������ ��������������(� ��� �� ����� ����������� ����

.��������������������������� ������ ��������.���������(��������������03� .3

.��������� .��� ��������(���� ��.������ ����� �����&���������&������(�� ������(��

�� ������ ����.�����������.� ������0�� .�.�������� .������(���.�.� ����&��������

�����(���� ��.������ ����� �����&���������&������(�� ������(������(�.�� ����� �

������� ��.��������� ������� .������(������(�.��0�� .�.��������

��(������(���0���� ���������&��I�������������������������������������

& .���� .� �����0�������� ��.�����������.�������� ��������� ���� ����� �7������

'�N&���#!!"8��-�������(�� �� �����(���������.����������������� �����.������� .����.���

�0�.������� ����(����������������������� ��� ���������� ����������&���?� ����(���

.������ ������������.�������(��������������������������& ��� ������������ ���6 ����

���(��������� ������ ���� ����.�����������������.� �����0�� .�.�������.���� �������

�������� ��� �����&�������������� ��� ���������������� ��������� ���� ����� ��6

�� ��������(� ��������&���� ����� �.���� ��� �������� ���� ����� ��� .���������

���� � �������� �� ����� ����� �� ��.����� ��������� ������ ���������.����������� .�

�� ���� �(���)0������ ��#��� .�#��.�������.�������������0������ �� .�������������

Page 23: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

����� � �� .���&�&������� ��&��� �������������� .� �������.���� .���.��������

(������������������ �.������������� ������������� ��� ��������� ������������

�)��� '����� ����)!���!%

6 ��&�������(��.�������.���������������.�������������� ��� ��������� ����

�������������0�� .�.������������������(��.�����.�.���� ��&�.��� ���� .�������� �.

�������������� ��������������.�������� ��� �����0���� ����(�������� �����.���������

��&��� ������� �(��/���2��.�������.�%�.������ ��0������ �����������(���������&��.

.������ ������� ������&���������.�������� ��� �� .���������(�����(�������&��.��

��������������������&����.���

2������ �.��&����������&��������������.���� ��������������� �.����������

���������.���� �.������.� ����������.����� ��������������������������������/��� .

��345�������0���� �.�������������������5 �����������.���� ��&�.��� ��33����������

���&�.����� .&��.����� ������ ������������ ���������������������� ��������&��

� ����� �������.������L�(������������������������.��.��-������.�� �����(�������������

���.� �� ��������� �C����������.�����������������������(��������� ��(��/���6 ��� ����

.������ ������(�� ��� .��� ��(������������� ���������.�������&�������� ����/����

��1&�������&����������� �(������� ������� ����� �� �����&����.�������� ��� �

� 5&���0������ �������.�� �����.� �������� format of instruction -- the media and

modalities in which different types of information are be presented – has any effect on

comprehension and learning. The comprehension measures were not affected by whether

information was presented in static text and diagrams or as animations accompanied by

commentaries. Furthermore, there we no effects on comprehension of hyperlinking

information or allowing participants free rather than restricted navigation of the hypermedia

presentations. We have observed similar results in a parallel project on teaching computer

algorithms. These results are consistent with a growing body of research showing no

significant effects of animations over static media when they present the same information

(Morrison, Tversky & Betrancourt, 2000)�

2����� �(���� ��&.�����&������������ �������� ����� ��� .��������.����

���� ���� ��&��� I�5&��������������(�� ���.�� ������������� �(���.����������.��� ��

��� �����������(������������������ ����������0����� �.��� ����� �������

Page 24: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

�������� �������� ����� ��� ����� �������� ����������0�����������2����'

���.���/�� C���&.������������ ������� ����� .���������������&���&�� ��� �������

�����(���.���������(��&.� �����& �� ����� ����������� ��� ����� ���0���� �.

72�����#!!":����.���/�� ��2����� .�<&(�����#!!!8����(������� ��������������� ����� �

��������..�.�� ���(�.����&����&�&��� �(������&.� ������&���������� &��� �����&���

��� ��� ������ ���&.��.��� .������&������������� ������ 1&�����/�����������������

).���� C��7� ������8�(��/�� ������ ���&.� �����&��������&�� ��� �� �������

���&���?��� ���������&��������������� ��������� ��&��� ������������ ��&.�.�����

��&�&��.���������������&.� �������&�����(����������.�����&.� ��.�.� ��&����&�����

����& ��� ������������������������(���� ������ �������������� � ��������� .��&����� �

�� ���&���� ������� �

2���0������� �(���.�������������� �����������(���&��� ��&��� ���������

���� ���������& ����� �� .������ �����(�������&������������������( ����������

�� ���� ��� ������� ����������.��� ������ ���.�&�������������.���������� ��&.� �

� ����� �������� ������� .�������� /��.���� ���������������� ��� �� .����� � ��(��

����� � �������� ������� �������.��� �� �������������������� ��.�.����&.����

�� .��� ��& .���(������������(���&�� �(���.����� ����&��.�� ����� ��&��� �����������

��*��;���$���#!

����������1&���������.�(���.����������� �� .�� �����������)0������ �B�� .�N���

=&������������� ������� .������������� �/&�������.�(���.����������� ������������

�0������ ���4�0� ������ ��������.�� �.�������� ��������������.�������� ��� ��

-�����������������&�����.�������5��������������4��������& .����� ����$$$#,3!%3

###+;��� &�&� �� ��������� .�$$$#,3!%3#$EBE������� ������������������ ���

���� ����!

�������2�� ��� '� <��������� �� ��� 7#!!E8�� =&���� � � �(��� �� � � ��� �� �0� ��

���&����.� �0�������� �0������������� �� ��� ���� ����� ���������� �� ��� ���������

����������������*�(�� ���)����&�� ��������������"",3""!�

Page 25: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

���� �����>���'�<��������� �����7).��8��7#!!%8������������������������ �!

���(����NA�*�(�� ���)����&�� ����������6 ��

��� �����'�4�.���4��7#!!%8��6 ����� ��(���������0A� ����3� ���������

�0������ ����&.�����"���#��� ����$��������������#BE3#E%�

��������-������.��*��&(��������&�����'�*�F� ���������7#!!,8��)����� ������3

�0��� ��� ��������������� � ���������������������#+��,"!3,;+�

).���� ��������7� ������8�� ..����� ����������� �������� 1&���3����.����� � �

���&������ ������� .��&����&�&��.���� ��%����������&��������������!

Ekstrom, R. B., French, J. W., Harman, H. H., & Derman, D. (1976). Kit of factor-

referenced cognitive tests. Princeton, NJ: Educational Testing Service.

����.�������'��&�������� ��7#!!;�8�� ������������&.������� .� ��� .

�������� .� ���&����.�������� ��� �������!������������'(�������������B%E3

B;E�� ���������

����.�������'��&�������� ��7#!!;�8������� � ������������&����.�������� ��� ��

����!���������������"���)���������� ������������*�"$+'�,���B;B3B;+�

���������

����&�� ��)�����7#!;;8��-����� .O�����A�� 3���������&���� ���� ���������������

�'���+B;3+"%�

���.���/�� �� N��4���2��������P��'�<&(����� N�� 7#!!!8���� ������� �����.���� �

���� � �� ���� ��A� -��� ������ ��� ��� �� ��&�� �� .������� ��� �� /����� ��� �� ��.����

%�������-�����������������������.(��+$%3+"%!

<������� ��� � � '� � (� � *.�� 7#!%;8�� "�/ ������ ����0 ��� 1�������

2������ �������������<��������� �

����� .�� �� '� ��� �� �� *�� 7#!+!8�� � )0� .� �� ������0� ���� ���� � �A�

� �������� ������������ .��&�.� ���������6 � ���&�������'�*������&�����).������ ����

��� �����30�������������"�$45'�� �������.��A�������.���� �������������������B!"3

"$,�

�� �� �����4�������� � ������������������������'������������7#!!+8��)��������

�&.�������� ����� 3����..�.��������.���������������&���?��� ���-�����4�����)!+3$%�

������� ��������&������� ���� .����(����) �� ���� ��� &�&� �� ��������

Page 26: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

�� �� �����4��������������������'������ � �������7#!!+8��*��� � ��������������

���&���?��� A� � ��������������&�� ��� ����� 3����..�.��������.����6 ��������������

��������$�������������������������&����������������#BE3#"$���������������F A

�������� �������� .�� ���� ��������&� ��� �).&���� �

�����������7#!!B8����� ���� ����� A�6 ����� ������ �����������.����������

����� �����������!%�������2 ������������������0&���������������

�����������5*6,�#$+,3##$B�

������������=&��������N�������� � �������������1&��������'����� ���4��7#!!!8�

�&����.���6 ��&��� A�*���� �������)���&��� ������-�����3����.������ ��%�������

2�������������������"� �������5�##!3#E$�

Hegarty, M. & Just, M.A. (1993). Constructing mental models of machines from

text and diagrams. Journal of Memory and Language, 32, 717-742.

�����������'�>�?��� �/�������������������������(��/� ���������� .������ ����

����� � ���6 �N��<����'����-����/��7).��8�3������� ���-���������7�����!>��

�� ����������� �� .���� ��� ����. ���� &�������

�����������'�������F��>��7#!!,8���6 .���.&���.������ ����� ��� ���� �����

.&�� ������� ���������� � ���������8�����������99��,##3,"$�

�����������'���� ������>��7#!!;8����������.������������0�� ����������� ��

����� ���������� � ����/���&��������$��������7�����������'��#!3,B�

>� �����2��7#!++8��-�����������/ �(��.���� �.����&������������ ��� A�

�� ��&��� 3� ������ ���.����������������-����/��'6�#%"3#+B�

>� �����2������� �����>���������������4����� ����������'���� �����N��7#!!"8�

��������� ��� 3����.���������������� � ��� .�& .���� .� ���6 ����*����.� �7).�8�����

�����������������������������7F���"$������#%E3B#,8���(�P��/A� ��.�����������

*�(���4��>��7#!!!8�)0���� ��� ������� ������� �� ����� �.&�� ��������0

���&������� � ���2��� ��%�������������������2����������:�BBE3B,,�

����&���������7#!++8���������������������� A���&��� ������� ������ ��

����&�������� 7#!!+8����;�/����������������345����(�P��/��PA��>

6 ��������*��� � ��

Page 27: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

�������4��)��7#!!;8���&����.���6 ��&��� A� ���(����/� ����������1&���� �I

2���������������������.9��#3#!�

Mayer, R. E. & Gallini, J. (1990). When is an illustration worth ten thousand words?

Journal of Educational Psychology, 83, 715-726.

�������4��)��'����� ���4��7#!!+8�� �����3�� �� �������� ��&����.������� � �A

)��.� �������.&����������� ���������� �(��/� ����������%�������2��������

�����������'<��"#B3"B$�

�������4��)��'�������F��>��7#!!,8������(������������&���(��������&�� .

(��.�I�)0� ��� �������.&��3��.� ������������&����.������� � �!%�������2��������

�����������5(��"+!3,$#�

���������������>� �����)����� ����������'�>� �����2��7#!!%8�� ������.��0�

��(��������I�6 ������ ������0������� �������/���& .�/ �(��.���� .����������

& .���� .� ��� ����� � ��������0�����������8$������������:��#3,"�

������� ��N������-����/������'����� ��&������7B$$$8�� ����� A����������������

���� � �I�6 � ���&?�� ��>�&����'����5�������7).��8�����=� ����0� ����������9<<<

���$� ������� �����!��� ������/��� A� 6�������

��&���������P���*�(��4��'��(�������N��7#!!E8��4�.&�� ����� ��������.������0� �

�&.������ .����&�������� ��� ���.����%�������2 �������������������5��"#!3"",�

����� � �������'������������7#!!+8��5 �.���� � ���������� �������������.��

�� &�����$����������%�������"���#��� ������������:5��B%;3"$#�

����� � �� �� ���� �&(��� ��� '� ���.��� ��� 7#!!,8�� � �&.�� ��� .����������

����� � ��������������� .����&����.���������������������(����������������������

��������������������������*�(�� ���)����&�� ��������������%EB3%E;�

����� � ���������&(������'����.������7#!!E8���������3����.�������������� �A

-��� ����� ��� � � ����������� �������������������� �� ��� ���� ����� ���������� �� ���

��������������������������*�(�� ���)����&�� ��������������B$%3B##�

���/��<��7#!!E8�������������������� ��������������������6 �N��6��<�����(�������

����� � � '� ��� ��� .����/��� � 7).��8�� 7�������� -�������0 ��� ������� ��

������������� ������������� ��� A��6-�������� .��� ������/��� A� 6�������

Page 28: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

�����������'�4�������P��7#!!%8��)0�� ������ ��� A���(�.�����������

������� ��� ��(��/I�$����������>�������"���#��� ������������:6�#+E3B#"�

���(��?�����*��'�����/��N�����7#!!%8�� �������������� ��� �����.�������� � �A

�����������.��������������������������.<��#E,3B#!�

���(��?�����*��'���� ����.��N�����7#!!+8�� ������������� ��������������

$������������(�,;E3EBB�

��������� ����7#!!+8�������� ������������ � �A�-�������������������&�&����

���� � �������������0��"������ ����$������������.��#3"E�

����� /�����N��'�<��������7#!;+8��-����� ����� ������A����� ���� �����

��� ��� � ��%�������2 ������������������0"���&���������������:�E!B3

%$,�

��������>��-��7#!!,8��) �� �� �������1&����� ������ ���&�����&�&�������&��

�������.����6 �>����<�����7).�8����������&������0$��������������������������

��������������.����� A��6-�������

2��������P��7#!!"8��6 ����.������&������.���A� ������ ���� /������&������&�

���� ����.&���� I�6 �4��<������7).�8�����������$����������������������������.�����NA

*�(�� ���)����&�� ���������

Page 29: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

������4���������

�&����.����������� ���

������� ������.��

�����������������)0������ ��� � ������� �<&�.��� ��

�&����.����������� ���

����������.����� &��

)���&���

���&���#���������.�������� ��� �.���� ���������

Page 30: naraynh/chapter.pdf · process can be repeated to iteratively improve both the design of the hypermedia manual ... H. H., & Derman, D. (1976). Kit of factor-referenced cognitive tests

���&���B�� ������ ��������������.����� &���