Embed Size (px)
Citation preview
The 12th JLTA Annual ConferencePlace Tokiwa UniversityDate September 14, 2008 (Sunday)
Timetable8:30 ～ Reception （ R Tower Lobby ）9:00 ～9:15
Opening Ceremony （ Room R002 ）
9:20 ～10:00
Presentation Part I Workshop （ Room R103 ）
9:20 ～ 11:2010:05 ～10:45
Presentation Part II
10:50 ～11:30
Presentation Part III
11:30 ～12:30
Lunch Break （ JLTA Business Meeting ： Room R103
Lounge ： Room R002 ）12:30 ～13:10
Presentation Part IV
13:15 ～13:55
Presentation Part V
14:00 ～15:10
Plenary Speech “ Defining, Setting and Validating Standards in Language Testing”
Tony Green (University of Bedfordshire) （ Room R002 ）15:20 ～17:00
Symposium Theme: “Setting and Validating Standards on Language Tests”
Coordinator Tomoko Fujita (Tokai University ）Panelist Michiko Nakano (Waseda University) Discussant Tony Green (University of Bedfordshire) Tomoko Fujita (Tokai
University）（ Room R002 ）
17:05 ～17:25
General Business Meeting （ Room R002 ）
17:25 ～17:35
Closing Ceremony （ Room R002 ）
18:00 ～ Banquet （ T Tower Student Hall）
1
19:30
Exhibition R Tower LobbyHeadquarter & Lounge for Participants Room R002
大 会 日 程 表8:30 ～ 受 付 （ R 棟 ロ ビ ー ）9:00 ～9:15
開 会 行 事 （ R002 教 室 ）
9:20 ～10:00
研 究 発 表 Part Iワ ー ク シ ョ ッ プ （ R103 教 室 ）
9:20 ～ 11:2010:05 ～10:45
研 究 発 表 Part II
10:50 ～11:30
研 究 発 表 Part III
11:30 ～12:30
昼 食 （ JLTA 役 員 会 ： R103 教 室 休
憩 室 ： R002 教 室 ）12:30 ～13:10
研 究 発 表 Part IV
13:15 ～13:55
研 究 発 表 Part V
14:00 ～15:10
講 演 （ R002 教 室 ）
15:20 ～17:00 シ ン ポ ジ ウ ム （ R002 教 室 ）
17:05 ～17:25
総 会 （ R002 教 室 ）17:25 ～17:35 閉 会 行 事 （ R002 教 室 ）
18:00 ～19:30
懇 親 会 （ T 棟 学 生 ホ ー ル ）
業 者 展 示 R 棟 ロ ビ ー大 会 本 部 ・ 参 加 者 休 憩 室 R002 教 室
2
日 本 言 語 テ ス ト 学 会 第 １ ２ 回 全 国 大 会 プ ロ グ ラ ム
9 月 13 日 （ 土 ）
16:30 ～ 18:00 理 事 会 （ 常 磐 大 学 R 棟 1 階 R103 教
室 ）
9 月 14 日 （ 日 ）
8:30 ～ 受 付 （ R 棟 ロ ビ ー ）（ PC 利 用 発 表 者 ： 発 表 教 室 で 機 器 接 続 確
認 ） 参 加 費 ： 会 員 1,000 円 、 学 生 1,000 円 、 一
般 3,000 円
9:00 ～ 9:15 開 会 行 事 （ R 棟 地 下 1 階 R002 教 室 ）総 合 司 会 小 泉 利 恵 （ 研 究 大 会 実
行 委 員 長 ・ 常 磐 大 学 ）
挨 拶 高 木 勇 夫 （ 常 磐 大 学 学 長 ）
挨 拶 浪 田 克 之 介 （ 北 海 道 大 学 名
誉 教 授
9:20 ～ 11:20 ワ ー ク シ ョ ッ プ （ R 棟 1 階 R103 教 室 ）
司 会 中 西 貴 行 （ 常 磐 大 学 ） テ ー マ 「 SPSS を 使 っ て 分 散 分 析 を や
っ て み よ う 」 講 師 平 井 明 代 （ 筑 波 大 学 ）・
長 橋 雅 俊 （ 筑 波 大 学 大 学 院 ）
9:20 ～ 11:30 研 究 発 表 1 （ 発 表 30 分 , 質 疑 応 答 10 分 ） Part I 9:20 ～ 10:00
Part II 10:05 ～ 10:45
Part III 10:50 ～ 11:30
11:30 ～ 12:30 昼 食
3
（ 役 員 会 ： R 棟 1 階 R103 教 室 休 憩
室 ： R 棟 地 下 1 階 R002 教 室 ）
12:30 ～ 13:55 研 究 発 表 2 （ 発 表 30 分 , 質 疑 応 答 10 分 ） Part IV 12:30 ～ 13:10
Part V 13:15 ～ 13:55
14:00 ～ 15:10 講 演 （ R 棟 地 下 1 階 R002 教 室 ）
司 会 藤 田 智 子 （ 東 海 大 学 ）紹 介 浪 田 克 之 介 （ 北 海 道 大 学 名
誉 教 授 ） 演 題 ： Defining, Setting and Validating Standards in Language
Testing 講 師 ： Tony Green (University of Bedfordshire)
15:10 ～ 15:20 休 憩15:20 ～ 17:00 シ ン ポ ジ ウ ム （ R 棟 地 下 1 階 R002
教 室 ）
テ ー マ ： Setting and Validating Standards on Language Tests
コ ー デ ィ ネ ー タ ー Tomoko Fujita (Tokai
University） パ ネ リ ス ト Michiko Nakano (Waseda
University) 討 論 者 Tony Green (University of
Bedfordshire) Tomoko Fujita (Tokai
University）
4
17:05 ～ 17:25 総 会 （ R 棟 地 下 1 階 R002 教 室 ） 議 長 選 出 報 告 中 村 洋 一 （ JLTA 事 務 局 長 ・ 常
磐 大 学 ）
17:25 ～ 17:35 閉 会 行 事 （ R 棟 地 下 1 階 R002 教室 ）
18:00 ～ 19:30 懇 親 会 （ T 棟 学 生 ホ ー ル ） 司 会 印 南 洋 （ 豊 橋 技 術 科学 大 学 ）・ 飯 村 英 樹 （ 常 磐 大 学 ）
研究発表・ ワ ー ク シ ョ ッ プ 一 覧 （ 概 略 ）
Part Time 第１室
(R001)
第 2室
(R004)
第 3室
(R003)
第 4室
(R102)
第 5室
(R101)
第 6室
(R104)
第 7室
(R103)
1 9:20～10:00
山下
村 上 Newfields
Masaki, Otoshi, & Kuru
酒井
髙 波 Workshop9:20～11:20
2 10:05～10:45
柳瀬
Fujita Saito 宮 崎 柳川
秋 山（ 實）
3 10:50～11:30
In'nami & Koizumi
跡部 ・境 ・野上 ・片 岡
Zhou 奥田・大津
森谷
劉
4 12:30～13:10
斉田
伊東 ・川口 ・太 田
米野
深 澤 Shite 中 原 ( 空き )
5 13:15～13:55
小林・長谷川・町
Thrasher 曲 藤 森 島田
木 村 ( 空き )
5
田
6
研究発表一 覧 （ 詳 細 ）第 1 室 （ R 棟 地 下 1 階 R001 教 室 ）
司 会 Part I 小 林 美 代 子 （ 神 田 外 語 大学 ）
Part II & III 渡 部 良 典 （ 上 智 大 学 ） Part IV & V 片 桐 一 彦 （ 専
修 大 学 ） Part 発 表 者 氏 名 （ 所
属 ）発 表 題 目
I 山 下 仁 司（ （ 株 ） ベ ネ ッセ コ ー ポ レ ー ショ ン ）
「 英 語 脳 」 の 持 つ 能 力 の 特徴 と そ の 原 因 に つ い て（ GTEC デ ー タ 分 析 に よ る 考察 ）
II 柳 瀬 陽 介 （ 広島 大 学 ）
コ ミ ュ ニ ケ ー シ ョ ン の 不 確定 性 に つ い て ― ル ー マ ン のコ ミ ュ ニ ケ ー シ ョ ン 論 か らの 解 明 ―
III Yo In'nami (Toyohashi University of Technology)Rie Koizumi (Tokiwa University)
Language ability structure and Chapelle’s (1999) construct definition and interpretation: Findings from the reanalysis of multitrait-multimethod studies
IV 斉 田 智 里 （ 茨城 大 学 ）
語 彙 サ イ ズ テ ス ト の 開 発 と大 学 英 語 教 育 プ ロ グ ラ ム の教 育 効 果 検 証 の 試 み ― 項 目応 答 理 論 の 大 学 英 語 教 育 への 活 用 ―
V 小 林 美 代 子（ 神 田 外 語 大学 ）長 谷 川 信 子（ 神 田 外 語 大学 ）町 田 な ほ み（ 神 田 外 語 大学 ）
子 ど も の 英 語 力 を 測 る ： 語彙 テ ス ト 開 発 の 試 み
第 2 室 （ R 棟 地 下 1 階 R004 教 室 ）司 会 Part I 斉 田 智 里 （ 茨 城 大 学 ） Part II & III 小 山 由 紀 江 （ 名 古 屋 工 業 大
学 ） Part IV & V 滝 沢 雄 一 （ 福 島 大 学 ）
Part 発 表 者 氏 名 （ 所属 ）
発 表 題 目
I 村 上 京 子 （ 名古 屋 大 学 ）
就 労 外 国 人 を 対 象 と す る 日本 語 能 力 の 測 定
II Tomoko Fujita (Tokai Creating valid in-house can-do descriptors for a
7
University) listening courseIII 跡 部 智 （ 慶 應
義 塾 大 学 ）境 一 三 （ 慶 應義 塾 大 学 ）野 上 康 子（ （ 株 ） 教 育 測定 研 究 所 ）片 岡 夏 子（ （ 株 ） 教 育 測定 研 究 所 ）
慶 應 義 塾 日 本 語 版 CEFRチ ェッ ク リ ス ト を 用 い た 学 習 者の 英 語 能 力 レ ベ ル の 記 述 の試 み
IV 伊 東 田 恵 （ 豊田 工 業 大 学 ）川 口 恵 子 （ 芝浦 工 業 大 学 ）太 田 理 津 子（ 慶 應 義 塾 大学 ）
言 語 タ ス ク の 経 験 は can-do アン ケ ー ト に よ る 自 己 評 価 にど の よ う に 影 響 を 与 え る のか ？ － 初 ・ 中 ・ 上 級 者 の タス ク 経 験 と 自 己 評 価 値 と の関 連 の 検 証 －
V Randy Thrasher (Okinawa Christian University)
An attempt to improve our understanding of reading test difficulty
第 3 室 （ R 棟 地 下 1 階 R003 教 室 ） 司 会 Part I 靜 哲 人 （ 関 西 大 学 ） Part II & III J. K. Hubbell (法 政 大 学 ) Part IV & V 秋 山 朝 康 （ 文 教 大 学 ）
Part 発 表 者 氏 名 （ 所属 ）
発 表 題 目
I Tim Newfields (Toyo University) The construct validity of "pronunciation" exercises in entrance examinations: Student perspectives
II Hidetoshi Saito (Ibaraki University)
Comparison of Keyword-assisted, Practiced, and Impromptu Performances on an Oral Summary Classroom Test: A Pilot Study
III Yujia Zhou (Graduate School of Tokyo University of Foreign Studies)
A comparison of speech samples of monologic tasks in speaking tests between computer-delivered and face-to-face modes
IV 米 野 和 徳 （ 山形 県 教 育 庁 高 校教 育 課 ）
日 本 人 高 校 生 の た め の コ ンピ ュ ー タ を 利 用 し た 半 直 接面 接 テ ス ト の 有 用 性 検 証
V 曲 明 （ 東 京 外国 語 大 学 大 学院 ）
グ ル ー プ ・ オ ー ラ ル テ ス トに お け る 評 価 改 善 の 研 究
8
第 4 室 （ R 棟 1 階 R102 教 室 ） 司 会 Part I Randy Thrasher (Okinawa Christian University) Part II & III 島 谷 浩 （ 熊 本 大 学 ） Part IV & V 中 村 優 治 （ 慶 應 義 塾 大 学 ）
Part 発 表 者 氏 名 （ 所属 ）
発 表 題 目
I Masaki Michiko (Osaka International University)Otoshi Junko (Gunma Prefectural Women's University)Kuru Yukiko (Aichi Medical University)
Examining an EFL writing rubric for classroom use
II 宮 崎 啓 （ 慶 応義 塾 高 等 学 校 ）
エ ッ セ イ ラ イ テ ィ ン グ 分 析的 評 価 の 修 辞 面 構 成 要 素 に関 す る 考 察
III 奥田 利栄子（広島大学）大津 理香（茨城大学）
教 員 に よ る ス ピ ー チ 評 価 と学 生 の ピ ア 評 価 と の 関 係
IV 深 澤 真 （ 茨 城県 立 竹 園 高 等 学校 ）
ス ピ ー チ に お け る 生 徒 相 互評 価 と 自 己 評 価 の 妥 当 性 ：日 本 人 高 校 生 の 場 合
V 藤 森 千 尋 （ 東京 大 学 大 学 院 ）
ス ピ ー チ ・ プ リ ゼ ン テ ー ショ ン の 評 価 ― 教 師 の 総 合 評価 と 客 観 的 測 定 値 お よ び 生徒 の ア ン ケ ー ト 結 果 と の 相関 に つ い て
第 5 室 （ R 棟 1 階 R101 教 室 ）
司 会 Part I 印 南 洋 （ 豊 橋 技 術 科 学 大学 ）
Part II & III 塩 川 春 彦 （ 北 海 学 園 大 学 ） Part IV & V 法 月 健 （ 静 岡 産 業 大 学 ）
Part 発 表 者 氏 名 （ 所属 ）
発 表 題 目
I 酒 井 英 樹 （ 信州 大 学 ）
テ キ ス ト の 長 さ と 再 生 言 語が L2 リ ス ニ ン グ 方 略 に 与 える 影 響 ― デ ィ ク テ ー シ ョ ンと 自 由 筆 記 再 生 法 に 焦 点 をあ て て ―
II 柳 川 浩 三（ University of Bedfordshire, Centre for Research in English Language Learning and Assessment (CRELLA), 神奈 川 県 立 大 和 西高 校 ）
大 学 入 試 セ ン タ ー 英 語 リ スニ ン グ 試 験 の 妥 当 性 検 証 : 社 会 ・ 認 知 妥 当 性 の 枠 組 みか ら
9
III 森 谷 浩 士 （ 神田 外 語 大 学 ）
「 見 え な い も の 」 を 測 る ：日 本 語 談 話 の 省 略 要 素 の 解釈 に つ い て
IV Kazuyuki Shite (Tokyo University of Social Welfare)
ESL vs. EFL in terms of learning difficulty in relation to implicit and explicit knowledge
V 島 田 勝 正 （ 桃山 学 院 大 学 ）
明 示 的 知 識 と 暗 示 的 知 識 ：時 間 制 約 の 有 無 、 文 法 的 適格 性 / 非 適 格 性 、 産 出 / 判 断の 関 係
第 6 室 （ R 棟 1 階 R104 教 室 ） 司 会 Part I 木 下 正 義 （ 福 岡 国 際 大 学 ） Part II & III 野 口 裕 之 （ 名 古 屋 大 学 ） Part IV & V 大 津 敦 史 （ 福 岡 大 学 ）
Part 発 表 者 氏 名 （ 所属 ）
発 表 題 目
I 髙 波 幸 代 （ 筑波 大 学 大 学 院 ）
音 韻 認 識 と ス ペ リ ン グ テ スト に 関 す る 一 考 察 と 実 験 結果
II 秋 山 實（ （ 株 ） e- ラ ー ニン グ サ ー ビ ス ）
Rasch モ デ ル に 基 づ く ア ダ プテ ィ ブ テ ス ト シ ス テ ム 開 発の 試 み
III 劉 東 岳 （ プ ロメ ト リ ッ ク 株 式会 社 )
言 語 テ ス ト の 実 施 形 態 に 関わ る 意 思 決 定 － AHP （ 階 層分 析 法 ） に よ る 支 援 の 試 み
IV 中 原 敬 広（ （ 株 ） ｅ ラ ーニ ン グ サ ー ビス ）
Moodle 版 TDAP3.0 の 開 発
V 木 村 哲 夫 （ 新潟 青 陵 大 学 ）
習 熟 度 別 ク ラ ス 編 成 の た めの 英 語 基 礎 力 判 定 標 準 化 テス ト 作 成 の 試 み
10
Plenary Speech （ 講 演 ）“Defining, Setting and Validating Standards in Language Testing”
Tony Green (University of Bedfordshire)
Standards, variously defined, are of central concern in language testing and assessment. In the first place, in defining what we are testing, we inevitably appeal to certain ‘standard’ language varieties. Increasingly, within Applied Linguistics, through the increasing recognition of so-called New Englishes, the values inherent in adopting a North American or British standard for English language teaching and testing are being called into question. The English for Specific Purposes movement raises similar issues relating to context-specific language use. Questions about the selection of language varieties employed in language tests both as a basis for judgements about learner production and as a source for comprehension tasks have yet to be adequately addressed by the profession. A second set of issues surround how we test language skills. Professional organisations such as ILTA, ALTE and EALTA have adopted quality standards for the conduct of language tests. Such standards, whether minimal or aspirational, serve as guidelines for professional practice. They lay down principles to help testing bodies to achieve best practice in developing instruments that are accurate, fair, transparent and fit for purpose. Such standards, however, also raise questions of enforcement, ownership and identity. The two sets of concerns come together in the practice of ‘standards setting’ in which standards represent defined levels of language ability that can be communicated across contexts. There is increasing pressure from policy makers to relate test performance to such external frameworks as the Common European Framework of Reference for Languages (CEFR). The draft manual for relating tests to the CEFR recognises that the process demands attention to the language skills being tested, to the technical qualities of the test and to the relationship between performance on the test and the CEFR descriptors. This paper will explore some of the issues involved in communicating outcomes in this way and will discuss some of the implications of frameworks for language testing practice.
Symposium （ シ ン ポ ジ ウ ム ）Theme: “Setting and Validating Standards on Language Tests”
Coordinator Tomoko Fujita (Tokai University ）Panelist Michiko Nakano (Waseda University)
Discussant Tony Green (University of Bedfordshire) &
Tomoko Fujita (Tokai University ）Michiko Nakano (Waseda University)A Case Study at Waseda University: an application of CEFR in English Language Education
Open Education Center at Waseda University has been offering English Tutorial Programs which are based on CEFR. I will briefly introduce English Tutorial programs first and illustrate how we have been using CEFR in our textbooks and in our teachers’ manual. I will also illustrate an
11
experiment to show that our teaching materials as well as teaching methods are based on the six levels of CEFR.
12
Paper Presentation（ 研 究 発 表 ）第 1 室 （ R001 ） Part I 「 英 語 脳 」 の 持 つ 能 力 の 特 徴 と そ の 原 因 に つ い て（ GTEC デ ー タ 分 析 に よ る 考 察 ）
山 下 仁 司 （ 株 ） ベ ネ ッ セ コ ー ポ レ ー シ ョ ン
ベ ネ ッ セ と 語 学 学 校 ベ ル リ ッ ツ で 共 同 開 発 し た 4 技能 の 英 語 能 力 テ ス ト 、 GTEC （ Global Test of English Communication ） の ス コ ア お よ び 事 前 ア ン ケ ー ト の 分 析 から 、 「 英 語 で 話 し た り 、 書 い た り す る 際 に 、 日 本 語を 先 に 考 え ず 英 語 で そ の ま ま 考 え て 発 信 す る こ と 」の 重 要 性 と 学 習 行 動 と の 関 係 を 報 告 す る 。 GTEC の 被験 者 は 、 英 語 を 仕 事 で 必 要 と す る 大 人 の ビ ジ ネ ス パー ソ ン が 大 半 を 占 め る 。 英 語 で 考 え そ の ま ま 発 信 でき る 状 態 を 最 近 で は 「 英 語 脳 」 と 称 す る こ と が あ るが 、 「 無 意 識 化 / 自 動 化 Automatization 」 と 被 験 者 の 英 語能 力 の 特 徴 や 、 そ の 学 習 行 動 を 分 析 し 、 英 語 学 習 ・教 育 に お け る 示 唆 が 得 ら れ た 。
第 1 室 （ R001 ） Part II コ ミ ュ ニ ケ ー シ ョ ン の 不 確 定 性 に つ い て ― ル ー マ ンの コ ミ ュ ニ ケ ー シ ョ ン 論 か ら の 解 明 ―
柳 瀬 陽 介 広 島 大 学
言 語 テ ス ト に お い て 「 コ ミ ュ ニ ケ ー シ ョ ン 」 と い う概 念 は 鍵 概 念 の 一 つ で あ る が 、 そ の 解 明 は 十 分 で はな い 。 本 論 で は 、 こ れ ま で の 言 語 コ ミ ュ ニ ケ ー シ ョン 力 論 お よ び 関 連 性 理 論 が 十 分 に 明 ら か に し て こ なか っ た コ ミ ュ ニ ケ ー シ ョ ン の 社 会 的 側 面 を ル ー マ ン(Niklas Luhmann) の コ ミ ュ ニ ケ ー シ ョ ン 論 を 導 入 す る こ とに よ っ て 探 究 す る 。 こ の 探 究 に よ り 、 意 味 を 二 項 では な く 、 三 項 （ 「 情 報 」 (Information; information) 、 「 告 示 」(Mitteilung; utterance/announcement) 、 「 理 解 」 (Verstehen; understanding) ） で捉 え る 考 え 方 や 、 コ ミ ュ ニ ケ ー シ ョ ン に お け る 自 己準 拠 自 己 準 拠 (Selbstreferenz; self-reference) と 二 重 の 偶 発 性(Doppelte Kontingenz; double contingency) な ど の 概 念 、 あ る い は 「 シス テ ム と 環 境 の 差 異 」 (Differenz von System und Umwelt; difference between system and environment) が 明 ら か に な る 。 こ れ ら の 解 明 に よ り 、コ ミ ュ ニ ケ ー シ ョ ン と は 従 来 言 語 学 や 言 語 テ ス ト の論 で 考 え ら れ て い た 以 上 に 不 確 定 性 の 高 い も の で ある こ と が 示 さ れ る 。
13
第 1 室 （ R001 ） Part III Language ability structure and Chapelle’s (1999) construct definition and interpretation: Findings from the reanalysis of multitrait-multimethod studies Yo In'nami Toyohashi University of Technology Rie Koizumi Tokiwa University
Two central issues in the field of language testing are the structure of language ability (e.g., Alderson, 2000; Bachman & Palmer, 1996) and construct definition and interpretation (e.g., Bachman, 2007; Chapelle, 1999). The structure of language ability has been continuously investigated since Oller’s (1979) unitary trait hypothesis was proposed (and later refuted). Construct definition and interpretation has been widely discussed in literature; however, the most comprehensive study is perhaps that by Chapelle (1999), which proposes three perspectives toward construct definition and interpretation depending on whether test performance is attributable to trait only, context only, or both trait and context. These two topics have been simultaneously examined by using a multitrait-multimethod (MTMM) design, where two or more traits are measured with two or more methods (Campbell & Fiske, 1959). In order to gain a better understanding of these two areas, the current study aims to quantitatively synthesize previous MTMM studies. An extensive literature search was conducted by searching databases, reviewing books and journals, and communicating with other researches. Confirmatory factor analysis was used to estimate 10 rival models for each MTMM matrix. These models were classified into three types: trait models, method (context) models, and trait-and-method (context) models. Each of the 10 models was evaluated using the overall fit of the model with the observed data, and the best-fitting model was selected. The results and implications will be reported in the presentation.
第 1 室 （ R001 ） Part I V 語 彙 サ イ ズ テ ス ト の 開 発 と 大 学 英 語 教 育 プ ロ グ ラ ムの 教 育 効 果 検 証 の 試 み ― 項 目 応 答 理 論 の 大 学 英 語 教育 へ の 活 用 －
斉 田 智 里 茨 城 大 学
入 学 者 全 員 を 対 象 と し た 英 語 教 育 プ ロ グ ラ ム の 構 築が 大 学 英 語 教 育 界 で 急 速 に 進 展 し て い る 。 TOEIC IP やTOEFL ITP あ る い は GTEC と い っ た 外 部 の 英 語 熟 達 度 テ スト を 全 学 に 導 入 し ， 教 育 効 果 を 検 証 す る 国 公 立 大 学が 増 加 し て き た 。 し か し こ う し た 外 部 テ ス ト で な いと 教 育 効 果 が 測 定 で き な い と い う わ け で は な く ， より 簡 便 に ， よ り 低 コ ス ト で 教 育 効 果 を 測 定 す る 方 法も あ る 。 本 稿 で は ， 大 学 生 用 の 語 彙 サ イ ズ テ ス ト を開 発 し ， 大 学 英 語 教 育 プ ロ グ ラ ム の 前 後 に 実 施 す るこ と で ， 項 目 応 答 理 論 を 用 い て 教 育 効 果 の 検 証 を 試み た 事 例 に つ い て 報 告 す る 。 JACET8000 の 語 彙 リ ス ト から ， 語 彙 サ イ ズ テ ス ト を 2 種 類 作 成 し た 。 1 つ は 頻 度レ ベ ル の 低 い 語 を よ り 多 く 抽 出 し ， も う １ つ は 頻 度レ ベ ル の 高 い 語 を よ り 多 く 抽 出 し ， 各 100問 と し た 。両 者 に 40 項 目 の 共 通 項 目 を 含 め た 。 抽 出 す る 語 は ，名 詞 ・ 動 詞 ・ 形 容 詞 ・ 副 詞 か ら と し ， 一 定 の 頻 度 の範 囲 か ら 5 語 ず つ ラ ン ダ ム に 抽 出 し た 。 筆 頭 語 に 第
14
一 義 的 意 味 の 日 本 語 を 与 え 対 象 語 と し ， 筆 頭 語 を 含む 5 つ の 語 彙 の 選 択 肢 か ら 1 つ を 選 択 さ せ る 方 法 と した 。 大 学 1 年 生 対 象 の 英 語 教 育 プ ロ グ ラ ム 開 始 時 に ，頻 度 レ ベ ル の よ り 低 い 語 か ら な る 語 彙 サ イ ズ テ ス トを 成 績 上 位 者 961 名 に ， 頻 度 レ ベ ル の よ り 高 い 語 か らな る 語 彙 サ イ ズ テ ス ト を 成 績 下 位 者 777 名 に 実 施 し た 。項 目 応 答 理 論 を 用 い て 全 項 目 の 特 性 値 を 共 通 尺 度 上で 推 定 す る と と も に ， 頻 度 順 と 困 難 度 と を 対 応 さ せた 。 項 目 特 性 値 が 推 定 さ れ て い る 項 目 プ ー ル か ら ，難 易 度 の 異 な る 2 種 類 の 語 彙 テ ス ト （ 各 30 問 ） を 作成 し ， １ 年 間 の 教 育 プ ロ グ ラ ム 終 了 後 に 実 施 し た 。プ ロ グ ラ ム 前 後 の 能 力 推 定 値 を 比 較 検 討 し ， 語 彙 サイ ズ と 対 応 さ せ る こ と で 教 育 効 果 の 検 証 を 試 み た 。
15
第 1 室 （ R001 ） Part V 子 ど も の 英 語 力 を 測 る ： 語 彙 テ ス ト 開 発 の 試 み
小 林 美 代 子 神 田 外 語 大 学 長 谷 川 信 子 神 田 外 語 大 学
町 田 な ほ み 神 田 外 語 大 学
本 発 表 で は 、 神 田 外 語 大 学 大 学 院 で 進 め て い る 早期 英 語 研 究 プ ロ ジ ェ ク ト の 一 環 と し て 開 発 し た 子ど も の た め の 英 語 語 彙 テ ス ト に つ い て 、 テ ス ト の概 要 及 び パ イ ロ ッ ト テ ス ト の 分 析 結 果 を 報 告 し た上 で 、 信 頼 性 と 妥 当 性 に つ い て 考 察 す る 。 2011 年 から す べ て の 公 立 小 学 校 の 5, 6年 生 へ 英 語 活 動 が 導 入さ れ る こ と に な り 、 小 学 生 の 英 語 活 動 に 対 す る 関心 が 一 層 高 ま っ て き て い る 。 そ の よ う な 中 で 、 評価 に 関 す る 議 論 は 、 ほ と ん ど な さ れ て お ら ず 、 教材 や 指 導 法 な ど の 議 論 と 比 較 し て 、 大 き な 立 ち 遅れ が 見 ら れ る 。 神 田 外 語 大 学 研 究 チ ー ム は 、 子 ども の 言 語 発 達 に お け る 語 彙 の 役 割 の 重 要 性 (Cameron, 2001; Ogura, 1999) を 認 識 し た 上 で 、 語 彙 知 識 を 中 心 に 据え 、 Nation (2001) の 枠 組 み を 応 用 し 、 テ ス ト 項 目 を 選 定し た 。 800余 名 の 小 学 生 に よ る パ イ ロ ッ ト テ ス ト の分 析 結 果 を 踏 ま え て 、 本 語 彙 テ ス ト の 信 頼 性 と 各項 目 の 特 性 に つ い て 報 告 す る と 共 に 、 英 語 学 習 歴や 学 習 期 間 な ど の 要 因 と テ ス ト 結 果 の 関 連 を 探 り 、テ ス ト の 妥 当 性 を 検 討 す る 。 最 後 に 、 小 学 校 段 階に お け る 語 彙 を 含 め た 英 語 力 評 価 に 関 す る 諸 問 題と 今 後 の 研 究 課 題 に つ い て の 示 唆 を 考 察 す る 。
第 2 室 （ R004 ） Part I 就 労 外 国 人 を 対 象 と す る 日 本 語 能 力 の 測 定
村 上 京 子 名 古 屋 大 学
自 然 習 得 環 境 に あ る 就 労 外 国 人 の 日 本 語 能 力 レ ベ ルを 判 定 す る 目 的 で 、 Can-do-statements お よ び 、 イ ン タ ビ ュー テ ス ト 、 筆 記 試 験 を 開 発 ・ 実 施 し た 。 Can-do-statementsの 「 聞 く 」 「 話 す 」 「 や り と り 」 「 読 む 」 「 書 く 」の 各 領 域 対 面 テ ス ト お よ び 読 み 書 き 判 定 シ ー ト の 間の 相 関 関 係 を 検 討 し た 結 果 、 口 頭 能 力 お よ び 書 記 能力 と も に か な り 高 い 相 関 が 見 ら れ た 。 日 常 生 活 上 の頻 度 の 高 い 日 本 語 使 用 項 目 は で き る が 、 使 用 す る 機会 の 少 な い 、 あ る い は 母 語 で 済 ま す こ と の で き る 項目 は 難 易 度 の 低 い も の で も で き な い た め 、 教 室 習 得環 境 の 学 習 者 に 比 べ 、 か な り 異 な る 傾 向 を 示 し 、Can-do-statements も ガ ッ ト マ ン ス ケ ー ル の よ う な 順 序 性 を示 し に く い 状 況 に あ っ た 。 全 体 に 初 級 レ ベ ル の 受 験者 が 多 い た め 、 口 頭 能 力 の 測 定 は 自 発 発 話 が 少 な く 、OPIの よ う な 従 来 の 方 法 を 使 う こ と は で き な い 。 そ の
16
た め 独 自 の イ ン タ ビ ュ ー 等 の 方 式 を 開 発 し 実 施 し た 。こ の 結 果 を も と に 、 就 労 外 国 人 の た め の 日 本 語 能 力レ ベ ル 判 定 方 法 を 確 立 し 、 学 習 者 支 援 の ガ イ ド ラ イン を 策 定 し て い き た い 。
17
第 2 室 （ R004 ） Part II Creating valid in-house can-do descriptors for a listening course
Tomoko Fujita Tokai University
This study attempts to create valid and appropriate can-do descriptors for a listening course in an English language programme. Approximately three thousand Japanese college students in the course are divided into three different levels; advanced (A), intermediate (I), and basic (B) according to the results of the in-house placement test. Initially, the first draft of the can-do descriptors were written based on the descriptors for CEFR, the European Language Portfolio, the International English Qualifications, STEP, and TOEIC, and the ten teachers of the listening course examined them to see if they were appropriate for each level. This resulted in the completion of the can-do checklists along with 14 descriptors for each level. Four hundred fifty randomly chosen students from the three different levels responded to the statements on the checklists. The results were compared with their results of a listening proficiency test. The one parameter IRT analyses were conducted on the results using BILOG MG 3.0. The average ability levels (θ) of the can-do checklists for the students at each level are (A) 0.618, (I) -0.119, (B) -0.276 and the average θ of the listening proficiency test are (A) 1.094, (I) -0.054, (B) -0.780. The differences among the 3 levels are similar, and the correlation coefficient between these two measurements is 0.315 (p>0.01). The presenter will also discuss how revisions were made to the can-do checklists in order to make them level appropriate by utilizing the item difficulty parameter for each descriptor.
第 2 室 （ R004 ） Part III 慶 應 義 塾 日 本 語 版 CEFR チ ェ ッ ク リ ス ト を 用 い た 学 習者 の 英 語 能 力 レ ベ ル の 記 述 の 試 み跡 部 智 慶 應 義 塾 大 学 境 一 三 慶 應 義 塾 大
学 野 上 康 子 （ 株 ） 教 育 測 定 研 究 所 片 岡
夏 子 （ 株 ） 教 育 測 定 研 究 所
慶 應 義 塾 は 小 学 校 か ら 大 学 院 ま で を 備 え た 総 合 的 な教 育 機 関 で あ り ， 文 部 科 学 省 の 助 成 を 受 け て 2006 年か ら 行 動 中 心 複 言 語 学 習 (AOP) プ ロ ジ ェ ク ト に 取 り 組ん で い る 。 よ り 良 い 一 貫 教 育 カ リ キ ュ ラ ム の 開 発 を目 指 し ， 学 習 者 の 外 国 語 能 力 実 態 調 査 の 一 環 と し て ，2007 年 度 に ヨ ー ロ ッ パ 共 通 言 語 参 照 枠 (CEFR) に も と づく European Language Portfolio (ELP) の チ ェ ッ ク リ ス ト (Schneider, Gunther & North, Brian, 2000) の 日 本 語 版 を 作 成 し ， 自 己 評 価 ア ン ケ ート を 実 施 し た 。 本 報 告 で は 得 ら れ た 結 果 を も と に ，CEFRチ ェ ッ ク リ ス ト を 日 本 人 英 語 学 習 者 に 適 用 す るこ と の 可 能 性 を 検 討 す る と と も に ， CEFR に も と づ く学 習 者 の 能 力 レ ベ ル の 記 述 を 試 み る 。 項 目 応 答 理 論に 基 づ い て 推 定 し た 各 項 目 の 困 難 度 と 想 定 さ れ て いる CEFR レ ベ ル と の 整 合 性 は か な り 高 か っ た 。 自 己 評価 に よ る 学 習 者 の 能 力 値 を 学 校 種 別 間 で 比 較 と こ ろ ，発 達 的 変 化 の 仕 方 が ス キ ル に よ っ て 異 な っ て い る こと が わ か っ た 。 ま た ， 外 部 評 価 テ ス ト と し て コ ン ピュ ー タ に よ る 適 応 型 テ ス ト で あ る CASEC を 用 い て 自 己
18
評 価 能 力 値 と の 関 連 を 調 べ た と こ ろ ， 比 較 的 高 い 相関 が 観 察 さ れ た 。
19
第 2 室 （ R004 ） Part IV 言 語 タ ス ク の 経 験 は can-do ア ン ケ ー ト に よ る 自 己 評 価に ど の よ う に 影 響 を 与 え る の か ？ － 初 ・ 中 ・ 上 級 者の タ ス ク 経 験 と 自 己 評 価 値 と の 関 連 の 検 証 － 伊 東 田 恵 豊 田 工 業 大 学 川 口 恵 子 芝浦 工 業 大 学 太 田 理 津 子 慶 應 義 塾 大 学
Can-do ア ン ケ ー ト に よ る 外 国 語 能 力 の 自 己 評 価 は 一 般的 に 信 頼 で き る も の と さ れ て い る 。 一 方 、 そ の 評 価に 影 響 を 及 ぼ す 要 因 と し て 、 「 不 安 」 や 「 タ ス ク の経 験 」 な ど が 指 摘 さ れ て い る 。 本 研 究 で は 、 学 習 者の 「 経 験 」 が ど の よ う に 評 価 値 に 作 用 す る の か を 習熟 度 別 、 さ ら に は 習 熟 度 間 で 比 較 検 証 し 、 自 己 評 価ア ン ケ ー ト 結 果 を 解 釈 す る 際 の 留 意 点 を 考 察 す る 。先 行 研 究 で は 、 TOEIC-IP テ ス ト 受 験 者 に 業 務 に 関 連 した 言 語 タ ス ク 65 項 目 の can-do ア ン ケ ー ト を 行 い 、 そ の中 で タ ス ク 経 験 の 有 無 も 尋 ね た 。 タ ス ク 経 験 者 の 自己 評 価 点 の 方 が 、 非 経 験 者 の 点 よ り 、 程 度 の 差 は ある が 、 概 ね 高 か っ た の で 、 600点 取 得 者 と 800点 取 得 者を 抽 出 し 、 自 己 評 価 点 の 差 が ど の よ う な 条 件 で 変 わる か を 調 べ た 。 タ ス ク 経 験 者 と 非 経 験 者 の 自 己 評 価点 の 差 は 、 タ ス ク の 内 容 （ 難 易 度 、 ス キ ル 、 シ チ ュエ ー シ ョ ン ） と 評 定 者 の 習 熟 度 に 左 右 さ れ る こ と がわ か っ た 。 こ の 結 果 を 受 け 、 本 研 究 で は 得 点 の 範 囲を 広 げ て 、 習 熟 度 の 大 き く 異 な る 受 験 者 （ 初 級 か ら上 級 ） を 対 象 に 、 さ ら に 、 経 験 ・ タ ス ク 内 容 ・ 習 熟度 が 自 己 評 価 に ど の よ う に 影 響 を 与 え る か を 追 調 査し 、 発 表 す る 。
第 2 室 （ R004 ） Part V An attempt to improve our understanding of reading test difficulty
Randy Thrasher Okinawa Christian University
Although Alderson separates text variables from reader variables and mentions more than 10 different elements that he claims contribute to determining the difficulty of a reading passage for a particular group of test takers, test writers rarely consciously consider any of these variables individually. We usually just use our experience to decide if a particular passage is going to be easy or difficult for the target test population. This paper discusses the feasibility of using a check sheet to estimate the difficulty of a reading passage together with the questions used to determine the level of comprehension of the passage. Instead of looking only at the text itself and relying on the grammatical features and vocabulary of it as readability formulas do, the check sheet tries to determine the difficulty of the whole test task and is based on a theory of communication, Relevance Theory. Instead of focusing only on grammatical features and vocabulary, the proposed check sheet asks the evaluator to estimate what the target group of test takers brings to the reading task and what the text and questions demand of the reader in terms of communication and comprehension skills. The check sheet asks the test writer to estimate such things as the degree of background knowledge that the test takers would need to bring to
20
that topic, the amount of cultural or encyclopedic knowledge the text requires, and the level of inferential ability required to answer the questions posed.
21
第 3 室 （ R003 ） Part I The construct validity of "pronunciation" exercises in entrance examinations: Student perspectives
Tim Newfields Toyo University
Many entrance exams include items requiring examinees to indicate the correct stress or intonation pattern of select words without any external audio input. Since 'pseudo-pronunciation' questions are an ongoing feature in many of high-stakes EFL entrance exams, it is worth exploring the validity of such test items. Does the ability to detect unspoken speech artifacts correlate highly with the ability to detect the same words if spoken in naturalistic speech? How well are students able to pronounce the same words in connected speech? Employing both qualitative and qualitative methodologies, this study contrasts how several dozen Japanese university students responded to three different sets of tasks: (1) a short series of paper-and-pencil word stress and hyphenation discrimination exercises, (2) a short listening transcription exercise with many words from the previous set, and (3) a short reading exercise containing many words from the same set. Comparing these three sources of data, two admittedly tentative conclusions will be offered: (1) the ability to discern word stress and hyphenation patterns does not correlate highly with the ability to pronounce most words in embedded speech, and (2) the ability to understand many words correlates only moderately with the ability to pronounce such words in embedded sentences. In light of these findings, the validity of pseudo-pronunciation items will be called into question. The presentation concludes by highlighting some of the limitations of the current study and suggesting directions for further research.
第 3 室 （ R003 ） Part II Comparison of Keyword-assisted, Practiced, and Impromptu Performances on an Oral Summary Classroom Test: A Pilot Study
Hidetoshi Saito Ibaraki University
The purpose of the present study is to compare student oral summary (story retelling) performance under three conditions―keyword-assisted, practiced, and impromptu―and to examine the role of practice and the issue of transferability in classroom test performance. Thirty-one university students in an EFL classroom participated in the study. All of them took a standardized speaking test (TSST) before the classroom test. The participants were assigned two passages randomly chosen from three prepared passages. They were instructed to give an oral summary for one passage with keywords that they had chosen, but were required to practice for both passages. They were also given an additional passage to summarize on the spot. During the test session, the students orally summarized these three passages: the first passage―randomly chosen on the spot―with their prepared keywords at hand; the second passage they had practiced, whose prepared keyword list was withheld at the time of testing; and the third passage, given on the spot with no keyword assistance allowed. The results were analyzed through Rasch analyses for estimating performance and a two-way ANOVA (condition x ability (TSST)) for testing differences in performance. Three trained raters rated the performances using a three-item rating scale (fluency, accuracy, and content). The results indicated that the three performances differed, but the difference between the keyword-assisted and practiced conditions was much smaller than the differences between these conditions and the impromptu condition.
22
23
第 3 室 （ R003 ） Part III A comparison of speech samples of monologic tasks in speaking tests between computer-delivered and face-to-face modes
Yujia Zhou Graduate School of Tokyo University of Foreign Studies
The last few years have witnessed a growing interest in applying computer technology to the delivery of speaking tests. Despite concerns over delivery mode of computer on examinees’ performance (e.g., Chapelle, 2003; Alderson, 2004; Chapelle & Dougals, 2006), little is yet known about whether and in what way examinees’ oral performance differs when talking to a computer from that when facing an interviewer. The present study thus addressed this issue by comparing speech samples in the computer-delivered and face-to-face modes with a focus on linguistic performance of monologic tasks. This study also examined the interactions between test modes and examinees’ proficiency level. Seventy-nine Japanese EFL students took two speaking tests across modes. Examinees’ speech samples were then compared on a range of measures for fluency, accuracy, and complexity. Results indicated a significant but mixed effect of test mode only on fluency: examinees used more dysfluent words in face-to-face mode but more fillers in computer mode. Further, the effects of test mode on oral performance were not found to relate to examinees’ oral proficiency. Implications for language assessment and second language acquisition research will be discussed, and directions for future studies will be offered in the presentation.
第 3 室 （ R003 ） Part IV 日 本 人 高 校 生 の た め の コ ン ピ ュ ー タ を 利 用 し た 半 直接 面 接 テ ス ト の 有 用 性 検 証
米 野 和 徳 山 形 県教 育 庁 高 校 教 育 課
学 校 現 場 に お い て 、 「 実 践 的 コ ミ ュ ニ ケ ー シ ョ ン 能力 」 育 成 に か か わ る 指 導 の 一 層 の 充 実 が 求 め ら れ る中 、 指 導 上 、 他 の 力 と と も に 英 語 ス ピ ー キ ン グ 力 測定 の 必 要 性 も 一 層 高 ま っ た 。 こ う い っ た 中 、 全 国 規模 の 英 語 教 育 改 善 実 施 状 況 調 査 (2006) に よ れ ば 、 定 期試 験 等 で ス ピ ー キ ン グ テ ス ト を 実 施 し て い る 高 等 学校 の 割 合 は ま だ 十 分 と は 言 え な い 状 況 で あ り 、 評 価が 十 分 に 行 わ れ て い な い か 、 行 わ れ て い た と し て も実 際 に 発 話 を さ せ な い 間 接 テ ス ト (indirect test) 形 式 で 実施 さ れ て い る 現 状 が あ る 。 英 語 を 話 す 動 機 付 け や 、妥 当 性 の 問 題 を ふ ま え る と 、 中 村 (2004) が 主 張 す る よう に 、 生 徒 へ の 余 波 効 果 を 意 識 し 、 実 際 に 発 話 を させ る パ フ ォ ー マ ン ス ・ テ ス ト が 好 ま し い と 考 え ら れる 。 本 研 究 で は 、 高 等 学 校 に お け る コ ン ピ ュ ー タ 普及 率 の 高 さ に 着 目 し 、 高 等 学 校 学 習 指 導 要 領 を 拠 り所 に 「 適 切 さ １ （ 応 答 内 容 ） 」 「 適 切 さ ２ （ 発 話 の速 さ ） 」 「 正 確 さ （ リ ズ ム ・ イ ン ト ネ ー シ ョ ン ） 」と い う ３ つ の 評 価 項 目 を も つ コ ン ピ ュ ー タ を 利 用 した 半 直 接 面 接 テ ス ト (Computer-mediated Semi-direct Interview Test 、 以下 CSIT) を 高 等 学 校 で 実 施 し 、 そ の 有 用 性 を 多 相 ラ ッシ ュ 測 定 (Many-Faceted Rasch Measurement) を 用 い な が ら 、 妥 当 性 、
24
信 頼 性 、 実 用 性 の ３ 点 か ら の ア プ ロ ー チ に よ り 検 証し た 。 発 表 で は そ の 検 証 結 果 報 告 と 学 校 現 場 へ の 示唆 を 示 し た い 。
25
第 3 室 （ R003 ） Part V グ ル ー プ ・ オ ー ラ ル テ ス ト に お け る 評 価 改 善 の 研 究
曲 明 東 京 外国 語 大 学 大 学 院
グ ル ー プ ・ オ ー ラ ル テ ス ト は 、 試 験 官 が 同 時 に 何 人も 測 れ る の で 、 実 用 的 、 経 済 的 な テ ス ト で あ る と 言わ れ て い る 。 し か し 、 試 験 官 が 同 時 に 何 人 も 測 ら なけ れ ば な ら ず 、 更 に 分 析 的 評 価 尺 度 に し た 場 合 、 同時 に 数 人 の 被 験 者 に つ い て 、 数 項 目 の 評 価 項 目 も 評価 し な け れ ば な ら な い た め 、 採 点 作 業 は 困 難 で 、 評価 の 信 頼 性 と 妥 当 性 に 疑 問 が も た れ て い る 。 そ こ で 、本 研 究 で は 、 日 本 人 中 国 語 学 習 者 （ 大 学 生 ） を 対 象に し た グ ル ー プ ． オ ー ラ ル テ ス ト の 評 価 改 善 に 焦 点を 当 て 、 信 頼 性 、 妥 当 性 、 実 用 性 の 観 点 か ら 見 た 評価 改 善 方 法 に つ い て 提 案 を 行 っ た 。 ス ピ ー キ ン グ の評 価 結 果 に は 、 「 評 価 者 」 と い う 要 因 だ け で は な く 、「 生 徒 」 や 「 評 価 尺 度 」 と い っ た 要 因 も 複 雑 に 絡 みあ っ て お り 、 評 価 の 改 善 を 検 討 す る た め に は 、 こ れら の 要 因 ご と の 影 響 を 見 な け れ ば い け な い 。 従 っ て 、本 研 究 で は 、 ま ず 、 今 回 の テ ス ト で 使 わ れ た 分 析 的評 価 尺 度 と 総 合 的 評 価 尺 度 間 の 相 関 係 数 を 算 出 す るこ と に よ っ て 、 分 析 的 評 価 尺 度 の 妥 当 性 を 検 討 し た 。ま た 、 評 価 の 信 頼 性 と 実 用 性 を 高 め る 方 法 と し て 、一 般 化 可 能 性 理 論 （ Generalizability Theory ） を 用 い て 、 評 価の 信 頼 性 と 実 用 性 の バ ラ ン ス を 検 討 す る 方 法 を 提 案し た 。 今 回 の 中 国 語 グ ル ー プ ・ オ ー ラ ル テ ス ト の デー タ を 使 用 し て 、 具 体 的 に 、 評 価 項 目 数 や 評 価 者 数と い う 要 因 を 変 化 さ せ る こ と に よ っ て 、 信 頼 性 係 数が ど の よ う に 変 動 す る か を 検 討 し 、 教 育 現 場 に と って 信 頼 性 と 実 用 性 を 両 立 で き る よ う な 評 価 方 法 を 探っ た 。 今 回 の デ ー タ で は 、 一 般 化 可 能 性 係 数 は G＝ .60 を 保 つ に は 、 評 価 項 目 は 最 低 3 つ 、 評 価 者 数（ 採 点 ト レ ー ニ ン グ を 行 う 前 提 で ） 最 低 2 人 で あ れば 、 可 能 で あ る こ と が 明 ら か に な っ た 。 本 研 究 は グル ー プ ・ オ ー ラ ル テ ス ト の 評 価 の 信 頼 性 と 妥 当 性 の改 善 に 関 し て 、 教 育 現 場 で の 使 用 と い う 実 用 性 を 考慮 に 入 れ た 2 つ の 方 法 で 検 討 し た 。 明 ら か に な っ たこ と を 活 用 す れ ば 、 グ ル ー プ ・ オ ー ラ ル テ ス ト の 評価 に お い て 飛 躍 的 な 効 率 化 が 期 待 で き る で あ ろ う 。
第 4 室 （ R102 ） Part I Examining an EFL writing rubric for classroom use
Masaki Michiko Osaka International University Otoshi Junko Gunma Prefectural Women's University
Kuru Yukiko Aichi Medical University
26
While such writing rubrics as the ESL Composition Profile and the TOEFL writing scoring guide are well-known, rubrics still do not seem popular for classroom use in Japan. Recognizing the need for a user-friendly rubric designed to work at higher education classroom in Japan, we developed a rubric of our own, which consists of five dimensions and four levels and has descriptors for each level of each dimension both in English and Japanese (Nishijima, Hayashi, Masaki, Kinshi, & Kuru, 2007). Using threshold loss agreement indices, we verified the reliability of the rubric for small samples of college student writings (Kuru, Masaki, & Kinshi, 2007). In this study, we first examine the reliability of our rubric for larger samples of college student writings, using the data from writing classes at a public university in Kanto region, where eighty-three international communication majored students wrote timed essays on a TOEFL Writing Essay prompt. Two instructors and the students rated the essays using our writing rubric and the TOEFL scoring guide, respectively. To see the attitudes toward our rubric, we also conducted a questionnaire to the students. Using the same data, then we see the correlation between the assessments with our rubric and those with the TOEFL scoring guide as well as the correlation between the student self-assessments and the instructor’s assessments. Based on the features of our rubric that such analyses will clarify, we finally discuss the effective use of our rubric as well as its revision ideas.
27
第 4 室 （ R102 ） Part II エ ッ セ イ ラ イ テ ィ ン グ 分 析 的 評 価 の 修 辞 面 構 成 要 素に 関 す る 考 察
宮 崎 啓 慶 應 義 塾 高 等 学 校
エ ッ セ イ ラ イ テ ィ ン グ 分 析 的 評 価 の 各 構 成 要 素 は それ ぞ れ 特 徴 を も っ て い る も の の 、 互 い の 特 徴 に 関 連性 が あ る 場 合 、 下 位 項 目 能 力 を 独 立 し て 測 定 し た こと に は な ら な い 。 本 研 究 は 、 分 析 的 評 価 の 主 な 側 面で あ る 修 辞 面 ： Rhetorical Features (RF) と 言 語 面 ： Linguistic Featuresの う ち 、 RF の 部 分 に の み 焦 点 を 当 て 、 下 位 項 目 ス ケー ル (Content, Organization, Cohesion, Voice ) の 構 成 概 念 妥 当 性 を 考 察し た 。 特 に 、 Contentは RF 部 分 の 全 体 的 な 要 素 を 含 ん でい る と 思 わ れ る た め 、 (1) 他 の 構 成 要 素 の 得 点 で Contentの 能 力 を あ る 程 度 予 測 で き る の で は な い か ？ と い うこ と に 着 目 し 、 さ ら に 、 予 測 で き る と し た ら (2) 他 のRF の 構 成 要 素 の う ち ど れ が Content と 大 き く 関 連 を 持 つか ？ に つ い て 調 査 を 行 っ た 。 EFL 高 校 生 74 名 ( 有 効 デー タ 70 名 ) の 説 得 文 エ ッ セ イ を ２ 名 の 採 点 者 で 評 価し 、 重 回 帰 分 析 を 行 っ た 結 果 、 Content は Voice と の 関 連性 が 高 く 、 Organizationは Cohesion と 高 い 相 関 を 示 し た 。 広く 使 用 さ れ て い る ESL Composition Profile (Jacobs et al., 1981) の よ う に 、Content と Organizationと い う ２ 点 の み を RF の 評 価 ス ケ ー ルに 設 定 す る こ と が 妥 当 で あ る こ と を 示 唆 し 、 さ ら に 、本 研 究 の 調 査 結 果 を 参 考 に 、 い く つ か の 評 価 ス タ ンダ ー ド の 記 述 子 へ の 考 察 も 加 え る 。
第 4 室 （ R102 ） Part III 教 員 に よ る ス ピ ー チ 評 価 と 学 生 の ピ ア 評 価 と の 関 係
奥田 利栄子 広島大学 大津 理香 茨城大学
本研究は教員によるスピーチ評価(TA)と学生のピア評価(PA)との一致の度合いを探ったものである。大学 1年生 6 クラスの参加を得、3 クラスずつを 2人の教員が担当した。全てのクラスで同じ評価基準を用いたものの、一方の教員は評価基準について説明する際に各項目の評価点（１～５点）の大きさの違いについて実演しながら説明し、もう一方の教員は口頭説明のみを与えた。各クラスとも、4人から成る小グループでスピーチ及び評価を 4 回繰り返し、5 回目に一人ずつのスピーチを実施し、それを教員と学生が同時に評価した。スピーチはビデオ撮影され、教員はビデオを見て互いのクラスのスピーチについても評価した。2人の教員による評価の平均点と学生による評価のクラス平均点との間で相関を調べた結果、6 クラス全体で見ると TA と PA の間に有意な相関があることが分かった。基準項目別に見ると「正確さ」については相関が低いことが分かった。また、基準についての説明方法の違いが TA と PA の相関の強弱に大きく係わることも分かり、「評価点（１～５点）の違いについて実演しながら説明した」クラスの学生はそうでなかったクラスの学生より教員評価と似た評価ができたのが分かった。
28
第 4 室 （ R102 ） Part IV ス ピ ー チ に お け る 生 徒 相 互 評 価 と 自 己 評 価 の 妥 当性 ： 日 本 人 高 校 生 の 場 合
深 澤 真 茨 城 県 立竹 園 高 等 学 校
ス ピ ー チ の 評 価 方 法 と し て の 生 徒 相 互 評 価 と 自 己 評価 の 妥 当 性 に つ い て の 研 究 結 果 を 発 表 す る 。 昨 年 の発 表 （ 深 澤 ， 2008 ） で は ， 自 己 評 価 の 総 合 評 価 に おけ る 妥 当 性 を 検 証 し た が ， 本 研 究 の 目 的 は ， （ １ ）４ つ の 下 位 項 目 に お け る 評 価 項 目 （ 発 音 ， 文 法 ， 流暢 さ ， 発 表 態 度 ） に つ い て ， 教 員 に よ る 評 価 と 比 べた 生 徒 相 互 評 価 の 妥 当 性 に 差 が あ る か の 検 証 と ，（ ２ ） 総 合 評 価 も 含 め た 生 徒 相 互 評 価 と 自 己 評 価 の妥 当 性 に 差 が あ る か の 検 証 の ２ 点 で あ る 。 研 究 は ，日 本 人 高 校 生 79 名 （ 有 効 デ ー タ 数 62 ） を 対 象 に 調 査を 行 い ， 主 に 併 存 的 妥 当 性 の 観 点 か ら 生 徒 相 互 評 価と 自 己 評 価 の 妥 当 性 の 検 証 及 び 比 較 を 行 っ た 。 研 究の 結 果 ， 次 の ２ 点 が 明 ら か に な っ た 。 第 １ に ， 生 徒相 互 評 価 に お い て ， ４ つ の 評 価 基 準 の う ち ， 流 暢 さ ，発 表 態 度 に つ い て は 教 員 に よ る 評 価 と 比 べ て も 十 分な 妥 当 性 が 認 め ら れ た が ， 文 法 ， 発 音 に 関 し て は 部分 的 に し か 十 分 な 妥 当 性 が 認 め ら れ な か っ た 。 第 ２に ， 総 合 評 価 を 含 め た 5 つ の 評 価 項 目 に つ い て 生 徒相 互 評 価 と 自 己 評 価 を 比 較 す る と ， そ れ ら ２ つ の 評価 の 妥 当 性 に は 差 が あ り ， 特 に 総 合 評 価 ， 流 暢 さ ，発 表 態 度 で 妥 当 性 の 差 が 大 き い こ と が わ か っ た 。
第 4 室 （ R102 ） Part V ス ピ ー チ ・ プ リ ゼ ン テ ー シ ョ ン の 評 価 ― 教 師 の 総 合評 価 と 客 観 的 測 定 値 お よ び 生 徒 の ア ン ケ ー ト 結 果 との 相 関 に つ い て
藤 森 千 尋 東 京 大 学 大 学 院
本 研 究 は 、 高 校 1 年 生 、 オ ー ラ ル コ ミ ュ ニ ケ ー シ ョン Ⅰ の 授 業 に お い て 行 わ れ た Show & Tellの ス ピ ー チ ・ プリ ゼ ン テ ー シ ョ ン を 、 正 確 さ ・ 流 暢 さ ・ 複 雑 さ の 3つ の 観 点 か ら 、 そ れ ぞ れ に 適 し た 客 観 的 測 定 方 法 によ っ て 量 的 に 分 析 し 、 日 本 人 教 師 （ JT ） と 外 国 人 講師 （ ALT ） の 各 総 合 評 価 と の 相 関 を 調 べ た も の で ある 。 ま た 聴 衆 で あ る ク ラ ス 生 徒 た ち に 、 一 人 一 人 のス ピ ー チ の 印 象 に 残 っ て い る 項 目 を 選 択 す る ア ン ケー ト を 実 施 し 、 そ の 結 果 と 教 師 の 総 合 評 価 と の 相 関に つ い て も 調 べ た 。 結 果 と し て は 、 ま ず JT と ALT の総 合 評 価 に は 非 常 に 高 い 相 関 が 見 ら れ た が 、 総 合 評価 と 正 確 さ 、 流 暢 さ 、 複 雑 さ に 関 す る 、 い く つ か の
29
客 観 的 測 定 値 と の 間 に 相 関 は 見 ら れ な か っ た 。 総 合評 価 と 相 関 が 見 ら れ た の は ス ピ ー チ の 総 語 数 と 総 節数 で あ っ た 。 ま た ア ン ケ ー ト 結 果 と の 相 関 に つ い ては 、 ５ 項 目 --- 流 暢 さ 、 態 度 ・ 話 し 方 、 テ ー マ 、 内 容の 豊 か さ （ 複 雑 さ ） 、 英 文 の 分 か り や す さ （ 正 確 さ 、簡 潔 さ ） の う ち 、 態 度 や 話 し 方 が JT や ALT の 総 合 評価 と 高 い 相 関 を 示 し た 。 流 暢 さ に 関 し て は 、 JT の 評価 と 相 関 が 見 ら れ 、 英 文 の 分 か り や す さ に つ い て は 、ALT の 評 価 と 相 関 が 見 ら れ た 。 ５ 項 目 合 計 に つ い ては ALT 評 価 と JT 評 価 と も に 相 関 が 見 ら れ た 。
30
第 5 室 （ R101 ） Part I テ キ ス ト の 長 さ と 再 生 言 語 が L2 リ ス ニ ン グ 方 略 に 与え る 影 響 ― デ ィ ク テ ー シ ョ ン と 自 由 筆 記 再 生 法 に 焦点 を あ て て ―
酒 井 英 樹 信 州 大 学
本 研 究 は 、 L2 リ ス ニ ン グ テ ス ト の う ち 、 デ ィ ク テ ーシ ョ ン と 自 由 筆 記 再 生 法 を 取 り あ げ て 、 受 験 者 が テス ト 中 に 用 い る L2 リ ス ニ ン グ 方 略 を 質 問 紙 票 に よ って 調 べ よ う と す る も の で あ る 。 本 研 究 の 目 的 は 、 (a) ま と ま っ た 英 文 を ま と め て 聞 か せ る 課 題 と 、 ま と まっ た 英 文 で は あ る が 一 文 ず つ ポ ー ズ を 入 れ て 再 生 させ る 課 題 に お け る リ ス ニ ン グ 方 略 を 比 較 す る こ と によ っ て 、 英 文 の 長 さ の 影 響 を 調 べ る こ と と 、 (b) 英 語を 聞 い て で き る だ け 正 確 に 英 語 を 書 く デ ィ ク テ ー ショ ン と 、 英 語 を 聞 い て で き る だ け 正 確 に 日 本 語 で その 内 容 を 書 く 自 由 筆 記 再 生 法 に お け る リ ス ニ ン グ 方略 を 比 較 す る こ と に よ っ て 、 再 生 言 語 (L1 か L2) の 影響 を 調 べ る こ と で あ る 。 参 加 者 は 、 日 本 語 を L1 と する 英 語 学 習 者 で あ る 大 学 生 38 名 で あ っ た 。 方 略 に 関す る 質 問 紙 票 と し て 、 自 由 記 述 及 び 先 行 研 究 に 基 づき 、 26 項 目 が 作 成 さ れ た 。 再 生 言 語 と テ キ ス ト の 長さ の 影 響 を 、 効 果 量 (Cohen’s d) に 基 づ い て 分 析 し た 。そ の 結 果 、 テ キ ス ト の 長 さ が 再 生 言 語 の 違 い よ り も使 用 さ れ た 方 略 の 選 択 に 大 き な 影 響 を 及 ぼ し て い たこ と が わ か っ た 。 さ ら に 、 長 い テ キ ス ト を 聞 か せ るデ ィ ク テ ー シ ョ ン は 、 さ ま ざ ま な リ ス ニ ン グ 処 理 を要 求 し て い る 課 題 で あ る こ と が 示 唆 さ れ た 。
第 5 室 （ R101 ） Part II 大 学 入 試 セ ン タ ー 英 語 リ ス ニ ン グ 試 験 の 妥 当 性 検証 : 社 会 ・ 認 知 妥 当 性 の 枠 組 み か ら 柳 川 浩 三 University of Bedfordshire, Centre for Research in English Language Learning and
Assessment (CRELLA), 神 奈 川 県 立 大 和 西 高 校
研 究 の 目 的 は 、 大 学 入 試 セ ン タ ー リ ス ニ ン グ 試 験（ 以 下 J-NCT[L] ） の 妥 当 性 検 証 を 行 い 、 試 験 の 改 善 点を 指 摘 し 、 高 校 生 の 英 語 リ ス ニ ン グ 力 の 向 上 に 寄 与す る こ と で あ る 。 妥 当 性 検 証 を 行 う に あ た っ て は 、社 会 ・ 認 知 妥 当 性 の 枠 組 み を (Weir 2005, 2008) 用 い る 。 社会 ・ 認 知 妥 当 性 と は 、 実 際 の 言 語 使 用 に お け る 社会 ・ 言 語 的 コ ン テ ク ス ト (situational authenticity) と 言 語 使 用 者の 認 知 処 理 (interactional authenticity) と が テ ス ト タ ス ク に ど の程 度 反 映 さ れ て い る か を 問 う も の で あ る 。 大 学 入 試セ ン タ ー 試 験 に 英 語 リ ス ニ ン グ 試 験 が 導 入 さ れ て 3
31
年 が 経 っ た 。 J-NCT[L] の 妥 当 性 検 証 は 、 し か し 、 ほ とん ど な さ れ て い な い 。 ま た 、 大 学 入 試 セ ン タ ー も 実証 的 証 拠 (empirical evidence) を 提 出 し て い な い 。 そ こ で 、 今回 の 発 表 で は ま ず 、 妥 当 性 検 証 に 使 う L2 リ ス ニ ン グモ デ ル を 構 築 ・ 提 示 し 、 リ ス ニ ン グ テ ス ト タ ス ク 要因 を 包 括 的 に 提 示 す る 。 そ し て 、 こ の 二 つ の 枠 組 みを 使 っ て 、 J-NCT[L] が 社 会 ・ 認 知 妥 当 性 を ど の 程 度 実現 し て い る か を 検 証 し た 分 析 結 果 を あ き ら か に す る 。具 体 的 な 研 究 課 題 と 研 究 方 法 は 次 の 三 つ で あ っ た 。1. J-NCT[L]が 言 語 ・ 社 会 的 コ ン テ ク ス ト を ど の 程 度 実 現
し て い る か 、 量 的 ・ 質 的 分 析 を 行 っ た 。2. J-NCT[L]が 学 習 指 導 要 領 を ど の 程 度 反 映 し て い る か 、
量 的 ・ 質 的 分 析 を 行 っ た 。3. J-NCT[L]は 、 実 際 の 言 語 使 用 時 の 認 知 処 理 を ど の 程 度
反 映 し て い る か 。 専 門 家 三 人 が 質 的 分 析 を行 っ た 。
32
第 5 室 （ R101 ） Part III 「 見 え な い も の 」 を 測 る ： 日 本 語 談 話 の 省 略 要 素 の解 釈 に つ い て
森 谷 浩 士 神 田 外 語 大 学
本 研 究 は 、 談 話 処 理 方 略 の 転 移 （ Harrington, 1987; Koda, 2005）と い う 観 点 か ら 、 日 本 語 の 談 話 の 特 徴 で あ る 「 省略 」 に 着 目 し 、 第 二 言 語 と し て の 日 本 語 学 習 者 の 理解 の プ ロ セ ス を 探 っ た も の で あ る 。 特 に 、 異 な る 母語 背 景 を 持 つ 学 習 者 （ 中 国 語 母 語 話 者 と 英 語 母 語 話者 ） 間 で 、 理 解 の 方 略 に 違 い が 見 ら れ る か を 考 察 した 。 英 語 は 日 本 語 や 中 国 語 ほ ど 省 略 を 許 さ な い 言 語で あ る こ と に 着 目 し 、 母 語 背 景 の 違 い が 、 省 略 の 多い 日 本 語 の 談 話 の 解 釈 に 影 響 を 及 ぼ す か 否 か を 探 った 。 先 行 研 究 で は 、 省 略 に 関 し て も 、 産 出 デ ー タ を扱 う も の が 中 心 で あ る が （ Jin, 1994; Jung, 2004） 、 本 研 究 では 、 省 略 部 分 が 産 出 デ ー タ に 現 れ な い こ と が 習 得 の証 明 に は な ら な い こ と を 論 じ 、 「 解 釈 」 に 焦 点 を 当て る 。 省 略 の あ る 自 然 な 文 章 と 、 省 略 要 素 を 復 元 した 文 章 を 読 ん で 、 読 み や す さ に 違 い が あ る か を 判 定す る タ ス ク と 、 省 略 を 含 む 文 章 を 読 ん で 、 省 略 要 素を 特 定 す る タ ス ク を 実 施 し た 。 そ の 結 果 、 読 み や すさ の 判 断 及 び 省 略 要 素 の 解 釈 共 に グ ル ー プ 間 に 違 いが 見 ら れ た 。 本 研 究 の 結 果 は 、 談 話 処 理 方 略 に 母 語の 影 響 が あ る 可 能 性 を 示 唆 す る も の で あ る 。
第 5 室 （ R101 ） Part IV ESL vs. EFL in terms of learning difficulty in relation to implicit and explicit knowledge
Kazuyuki Shite Tokyo University of Social Welfare
This study attempted to replicate Ellis (2006), which found that some linguistic features were difficult in terms of implicit knowledge, but easy in explicit knowledge, or vice versa after making sure a Principal Component Factor Analysis produced a two-factor solution for a battery of tests designed to assess either implicit or explicit English grammatical knowledge. While the participants of his study were L2 learners who had learned English in diverse learning contexts, mostly ESL contexts, those of the present study were all Japanese EFL learners so that the effects of learning contexts on SLA would be observed. Thus, learning difficulty in relation to these two types of knowledge in the EFL context was investigated. Fifty-seven Japanese university students participated in a battery of tests: Oral Imitation Test (OIT) and Timed Grammaticality Judgment Test (GJT) to measure implicit knowledge, and Untimed GJT and Metalinguistic knowledge test to measure explicit knowledge. After a factor analysis was performed, the mean accuracy percentage score of the OIT and Timed GJT was subtracted from that of the Untimed GJT and Metalinguistic knowledge test so that difference in difficulty between implicit and explicit knowledge could be examined. It was found that whereas Ellis (2006) detected 6 structures in which the difference between the mean scores was over 20 %, the present study had 11 structures. Therefore, the difference in difficulty between the EFL learners’ two types of knowledge seemed bigger than the
33
ESL learners.’ Moreover, the extent to which ELF learners tend to develop explicit knowledge compared to implicit knowledge is discussed.
34
第 5 室 （ R101 ） Part V 明 示 的 知 識 と 暗 示 的 知 識 ： 時 間 制 約 の 有 無 、 文 法 的適 格 性 / 非 適 格 性 、 産 出 / 判 断 の 関 係
島 田 勝 正 桃山 学 院 大 学
本 研 究 は 、 文 法 性 判 断 テ ス ト (Grammaticality Judgment Test; GJT) にお い て 、 問 題 文 の 提 示 時 間 の 制 限 の 有 無 に よ り 、 明示 的 / 暗 示 的 知 識 (Explicit/Implicit Knowledge)の ２ つ の 異 な る 文法 能 力 を 測 定 す る こ と が で き る か 否 か を 調 べ た 島 田(2007) の 継 続 研 究 で あ る 。 １ つ の 文 法 範 疇 毎 に 2 項 目の 適 格 文 (Grammatical sentence; GR) と 2 項 目 の 非 適 格 文(Ungrammatical sentence; UG) を 配 し 、 20 文 法 範 疇 、 80 項 目 か ら構 成 さ れ る GJTと 、 同 一 の 80 項 目 を 対 象 と す る 誤 文 訂正 テ ス ト (Error Correction Test; ECT) を 開 発 し た 。 GJTに は 、 時 間制 約 の 有 無 に よ り Timed; TM と Untimed; UT の ２ 種 類 が あ る 。さ ら に 、 GR20項 目 と UG20項 目 か ら 構 成 さ れ る 口 頭 模 倣テ ス ト (Oral Imitation Test; OIT) を 開 発 し た 。 OIT で は GR と UG の相 関 が 高 く 、 ２ つ の GJTで は 両 者 の 相 関 は 低 か っ た 。探 索 的 因 子 分 析 の 結 果 は 、 時 間 制 約 の 有 無 (TM:UT) によ る ２ 因 子 モ デ ル よ り も 、 文 法 的 適 格 性 の 有 無(GR:UG) に よ る ２ 因 子 モ デ ル 、 さ ら に OIT, GJTGR, GJTUG の ３因 子 モ デ ル の 方 が 適 合 度 が 高 い こ と を 示 唆 し て い る 。
第 6 室 （ R10 4 ） Part I 音 韻 認 識 と ス ペ リ ン グ テ ス ト に 関 す る 一 考 察 と 実 験結 果
高 波 幸 代 筑波 大 学 大 学 院
音 韻 認 識 と は 、 話 し 言 葉 に お け る 音 声 構 造 を 理 解 し 、語 の 音 素 構 造 に 敏 感 で あ る 、 感 性 の こ と で 、 特 に 読み 書 き の 能 力 と 、 非 常 に 深 く 関 係 し て い る （ 門田 ,2004; Harley, 2001 ） 。 一 般 的 に 、 L1 で は 音 韻 認 識 を 自 然に 身 に 着 け る が 、 イ ン プ ッ ト 量 の 異 な る L2 で は 獲 得が 困 難 、 と さ れ て い る （ Treiman, 2003 ） 。 本 研 究 で は 、特 に つ づ り 字 学 習 と 音 韻 認 識 の 関 連 に 注 目 し 、 中 学校 1 年 生 に 計 15 語 の 未 知 語 を 、 異 な る 3 つ の 方 法 に よっ て 5 語 ず つ 学 習 さ せ た 。 音 と 文 字 の 2 要 素 を そ れ ぞれ ① 音 （ 発 音 ） 単 独 学 習 、 ② 文 字 単 独 学 習 、 そ し て③ 音 ・ 文 字 同 時 学 習 、 の 3 方 法 に 分 け た 。 調 査 前 に 、学 習 者 の 日 常 的 な つ づ り 字 学 習 に つ い て 調 査 し（ RQ1 ） 、 そ の 後 、 3 つ の 方 法 で 学 習 を し た 後 に 行 った 直 後 テ ス ト の 結 果 比 較 （ RQ2 ） 、 最 後 に 調 査 の 前後 で 行 っ た 質 問 紙 調 査 （ 選 択 肢 あ り ・ 自 由 記 述 ） を比 較 し 、 学 習 者 が つ づ り 字 学 習 に ど の 程 度 意 識 を 向け る よ う に な っ た か 、 を 質 的 に 分 析 （ RQ3 ） し た 。
35
つ づ り 字 学 習 の 直 後 テ ス ト に お い て は 、 ③ 音 ・ 文 字同 時 学 習 の 得 点 に 有 意 差 が あ っ た 。 学 習 者 の 意 識 調査 も 並 行 し て 行 っ た 。 3 つ の 方 法 の う ち 最 も 有 用 と思 え る も の を 事 前 に 選 択 さ せ た が 、 調 査 後 に 同 じ 質問 を し 、 有 用 な も の 、 有 用 で な か っ た も の を 選 択 させ 、 そ の 理 由 を 細 か く 書 か せ た 。 自 由 記 述 の 内 容 分析 の 結 果 、 学 習 方 法 の 提 示 に よ り 、 学 習 者 に 音 と 文字 の 対 応 を 意 識 づ け る こ と が で き た 、 と い う こ と が明 ら か に な っ た 。 ア ル フ ァ ベ ッ ト の 単 な る 羅 列 と して 単 語 を 認 識 す る の で は な く 、 音 を 持 つ 単 語 と し て意 識 さ せ る こ と が で き た 。 つ づ り 字 学 習 法 を 提 示 し 、事 後 テ ス ト 、 遅 延 テ ス ト を 行 う こ と で 、 学 習 者 に 、つ づ り 字 学 習 を 意 識 し て 行 う こ と の 重 要 性 を 示 す こと が で き 、 こ の 点 に 教 育 的 な 示 唆 が あ る 、 と 考 え られ る 。
36
第 6 室 （ R10 4 ） Part II Rasch モ デ ル に 基 づ く ア ダ プ テ ィ ブ テ ス ト シ ス テ ム 開発 の 試 み
秋 山 實 （ 株 ） e-ラー ニ ン グ サ ー ビ ス
テ ス ト の 結 果 に 客 観 性 を 重 視 す る 立 場 で オ ン ラ イ ンプ レ ー ス メ ン ト テ ス ト シ ス テ ム を 構 築 し よ う と 試 みて い る 。 客 観 性 を 重 視 す る た め 、 Raschモ デ ル を 基 礎に す る 必 要 が あ る 。 オ ン ラ イ ン プ レ ー ス メ ン ト テ スト は 、 確 実 に 実 施 で き 、 か つ 、 短 時 間 に 実 施 で き なけ れ ば な ら な い 。 確 実 に 実 施 す る た め に は 日 常 使 用し て い る ツ ー ル を 用 い る こ と が 一 つ の 方 策 で あ り 、オ ー プ ン ソ ー ス の LMS で あ る Moodle を 採 用 し た 。 短 時間 に 実 施 す る た め に は 、 ア ダ プ テ ィ ブ テ ス ト 方 式 を採 用 す る の が 最 善 で あ る 。 秋 山 ・ 今 井 は 、 J-CAT を 開発 し 山 口 大 学 の 留 学 生 を 対 象 に 日 本 語 ク ラ ス の プ レー ス メ ン ト テ ス ト で 使 用 し て 実 用 性 を 確 認 し た 。 しか し 、 こ の 方 式 の 理 論 的 な 解 析 や 限 界 に つ い て は 明ら か に さ れ て い な い 。 秋 山 は 、 新 た に Raschモ デ ル を基 礎 と し た テ ス ト レ ッ ト 方 式 の ア ダ プ テ ィ ブ テ ス トシ ス テ ム の プ ロ ト タ イ プ を Moodle の プ ラ グ イ ン と し て開 発 し た 。 J-CAT と 同 じ く テ ス ト レ ッ ト 方 式 を 採 用 した 。 テ ス ト レ ッ ト を 構 成 す る 個 々 の ア イ テ ム の 回 答パ タ ー ン か ら 受 験 者 の 能 力 値 を 推 定 し 、 次 に 受 験 すべ き テ ス ト レ ッ ト を 決 定 し 受 験 さ せ る 。 さ ら に 受 験し た す べ て の テ ス ト レ ッ ト の 回 答 パ タ ー ン か ら 更 に受 験 者 の 能 力 値 を 推 定 す る 。 受 験 す べ き テ ス ト レ ット が 無 く な っ た 時 点 で テ ス ト が 終 了 す る 。 本 方 式 によ り 短 時 間 に テ ス ト を 収 斂 さ せ る こ と が で き る 。
第 6 室 （ R10 4 ） Part III 言 語 テ ス ト の 実 施 形 態 に 関 わ る 意 思 決 定 － AHP ( 階 層分 析 法 ) に よ る 支 援 の 試 み
劉 東 岳 プ ロ メ トリ ッ ク 株 式 会 社
近 年 の 技 術 発 展 に 伴 い 言 語 テ ス ト の 様 々 な 実 施 形 態が 可 能 に な っ て お り 、 測 定 理 論 の 観 点 か ら は 統 計 的な 方 法 論 に よ る 比 較 評 価 の 研 究 (Comparability Study) が 活 発に な さ れ て い る 。 本 研 究 で は 、 幾 つ か の 典 型 的 な 言語 テ ス ト の 実 施 形 態 の 中 か ら 1 つ の 実 施 形 態 を 選 出す る と い う 状 況 に お い て 、 主 催 者 の 業 務 負 荷 や 受 験者 の 利 便 性 な ど の “ 得 て し て 主 観 的 に な り が ち な 評価 軸 ” を 含 め た 意 思 決 定 の 過 程 を 合 理 的 に 支 援 す る目 的 で 、 複 数 の シ ナ リ オ に 基 づ い て AHP(Analytic Hierarchy Process 、 階 層 分 析 法 ) の 適 用 を 検 討 し た 。 確 か に 言 語
37
テ ス ト は 「 言 語 能 力 を 測 定 す る 仕 組 み 」 で は あ る が 、世 の 中 で は 「 言 語 能 力 を 証 明 す る 機 会 」 と し て の 役割 も 期 待 さ れ る こ と が 少 な く な い 。 そ の 意 味 で 、 言語 テ ス ト の 実 施 形 態 を 比 較 し 選 択 す る 場 面 で は 、「 測 定 す る 仕 組 み と し て の 品 質 」 だ け で な く 、 「 証明 す る 機 会 と し て の 品 質 」 も 大 切 な 評 価 軸 と な る はず で あ る 。 言 語 テ ス ト の 実 施 形 態 を 選 択 す る 意 思 決定 の 現 場 に 、 本 研 究 の 試 み が 貢 献 す る こ と が 期 待 され る 。
38
第 6 室 （ R10 4 ） Part IV Moodle版 TDAP3.0 の 開 発
中 原 敬 広 （ 株 ）ｅ ラ ー ニ ン グ サ ー ビ ス
大 友 、 中 村 お よ び 秋 山 が 開 発 し た テ ス ト デ ー タ 分 析プ ロ グ ラ ム TDAP2.02 は 、 単 体 の ツ ー ル と し て の 完 成 度は 高 い 。 し か し 、 ｅ ラ ー ニ ン グ が 普 及 し 始 め た 現 在 、LMS の 持 つ オ ン ラ イ ン テ ス ト 機 能 を 利 用 す る 場 合 には 、 い く つ か 改 善 す べ き 点 が 残 っ て い た 。 秋 山 は 、オ ー プ ン ソ ー ス ソ フ ト ウ ェ ア の Ｌ Ｍ Ｓ で あ る Moodle のプ ラ グ イ ン と し て tdapモ ジ ュ ー ル を 開 発 し 、 受 験 デ ータ を エ ク ス ポ ー ト せ ず に 、 テ ス ト デ ー タ を 分 析 し 、そ の 結 果 を ア イ テ ム バ ン ク に 登 録 で き る よ う に 改 善し た 。 本 発 表 で は 、 こ れ を 最 新 版 の Moodle 用 に 作 り 直し 、 さ ら に 、 １ ） 構 成 し た テ ス ト の テ ス ト 情 報 関 数を そ の テ ス ト を 構 成 す る テ ス ト ア イ テ ム の 項 目 情 報関 数 と と も に 重 ね 合 わ せ て グ ラ フ 表 示 す る こ と で テス ト 設 計 を 補 助 す る 機 能 、 ２ ） 受 験 者 シ ミ ュ レ ー タを 使 っ て 受 験 結 果 を 確 認 で き る シ ミ ュ レ ー シ ョ ン 機能 、 ３ ） テ ス ト ア イ テ ム に 使 用 さ れ て い る 語 彙 の 頻度 レ ベ ル 判 定 機 能 を 持 つ ア イ テ ム エ デ ィ タ ： E-Edit 、な ど を 付 加 し た 。 こ れ に よ り 、 Windows 版 TDAP2.02 の 持つ 機 能 を す べ て 備 え 、 か つ 、 新 た に 強 力 な 補 助 機 能を 持 た せ る こ と が で き 、 客 観 的 な 測 定 ツ ー ル と し ての テ ス ト を 適 切 に 作 成 す る こ と が 容 易 に な っ た 。
第 6 室 （ R10 4 ） Part V 習 熟 度 別 ク ラ ス 編 成 の た め の 英 語 基 礎 力 判 定 標 準 化テ ス ト 作 成 の 試 み
木 村 哲 夫 新潟 青 陵 大 学
大 学 に 入 学 し て く る 学 生 の 英 語 力 が 多 様 化 し て い るこ と か ら 、 英 語 の 授 業 を 習 熟 度 別 ク ラ ス 編 成 で 行 う（ あ る い そ の 必 要 性 を 感 じ て い る ） 大 学 が 増 え て きて い る 。 学 生 の 英 語 基 礎 力 を 判 定 に 、 英 検 や TOEIC など い わ ゆ る 資 格 試 験 や 、 英 語 力 判 定 の た め に 開 発 され た 様 々 な テ ス ト が 利 用 さ れ る こ と も 多 い が 、 近 年の Ｉ Ｔ 技 術 の 進 歩 に よ り 、 か つ て は 個 人 レ ベ ル で 行う こ と が 技 術 的 に も 費 用 的 に も 考 え ら れ な か っ た テス ト デ ー タ を 含 む 学 習 デ ー タ の 管 理 と 分 析 が 、 安 価に か つ 容 易 に 行 え る よ う に な っ て き た 。 本 研 究 は 、オ ー プ ン ソ ー ス ウ エ ア で あ り な が ら も 充 実 し た 機 能を 持 つ LMS と し て 定 評 の あ る Moodle を 使 い 、 英 語 基 礎力 を 判 定 す る テ ス ト を 作 成 ・ 実 施 し 、 デ ー タ を 管理 ・ 分 析 し 、 標 準 化 さ れ た テ ス ト と し て 、 習 熟 度 別
39
ク ラ ス 編 成 の た め の 基 礎 資 料 を 提 供 す る 試 み を 紹 介す る 。 テ ス ト 項 目 と し て は 独 自 の も の と 、 英 検 の 過去 問 題 を 使 用 許 諾 を 得 て 利 用 し た 。 デ ー タ 分 析 手 法と し て は 、 1 パ ラ メ ー タ と 2 パ ラ メ ー タ の ロ ジ ス テ ィッ ク ・ モ デ ル の 両 方 を 試 し た 。 ま た 、 本 研 究 の テ スト で 得 ら れ た 学 習 者 の 能 力 推 定 値 と 、 他 の 外 部 テ スト （ TOEIC Bridge 、 CASEC ） で 得 ら れ た ス コ ア と の 相 関 分析 も 行 い 、 本 研 究 の テ ス ト の 妥 当 性 の 検 証 も 行 っ た 。
40
会 場 へ の ア ク セ ス (Access to the Venue) See also
http://www.tokiwa.ac.jp/info/index_a.html
■ 水 戸 ま で (To Mito)公 共 交 通 機 関 ご 利 用 の 場 合
都 心 か ら ご 利 用 の 場 合 は 下 記 が 便 利 で す 。■ 「 上 野 駅 」 か ら 「 水 戸 駅 」 ま で Ｊ Ｒ 常 磐 線 の 特 急「 ス ー パ ー ひ た ち 」 「 フ レ ッ シ ュ ひ た ち 」 。 （ 所要 時 間 約 65 分 ） 。 片 道 4,220 円
■ 「 東 京 駅 」 と 「 水 戸 駅 」 北 口 ま で を 結 ぶ 高 速 バ スが 運 行 。 「 自 由 ヶ 丘 」 下 車 。 （ 所 要 時 間 下 り 約 100 分 、上 り 約 140 分 ） 。 片 道 切 符 は 2,080 円 。 ツ イ ン チ ケ ッ トを 買 う と 往 復 3,500 円 （ 片 道 1,750 円 。 バ ス 内 で も 買 え ます ） 。※ 時 間 帯 に よ り 発 着 場 所 が 新 宿 ま た は 上 野 の 場 合 があ り ま す 。
[From Downtown Tokyo to Mito]1. Take the Joban line (Japan Railways; JR) from Ueno Station to Mito Station. It takes about 65 minutes by the JR special express train.
41
2. Take the JR Highway Bus from Tokyo Station to Mito Station and get off at Jiyugaoka Bus Stop. It takes about 100 minutes from Tokyo to Mito.
で き る だ け 公 共 機 関 で お 越 し く だ さ い ま す よ う 、 お願 い 申 し 上 げ ま す 。
42
■ 水 戸 駅 ・ 赤 塚 駅 か ら 常 磐 大 学 ま で (From Mito Station or Aakatsuka Station to Tokiwa University)
■水 戸 駅 北 口 5 番 バ ス 乗 り 場 か ら 自 由 ヶ 丘 下 車 （ 所 要時 間 約 20 分 ） ※ 直 接 「 常 磐 大 学 」 経 由 の バ ス も あ り ま す 。 そ の時 刻 表 は 下 の バ ス 時 刻 表 を ご 覧 く だ さ い 。
■赤 塚 駅 駅 前 ロ ー タ リ ー 停 留 所 （ 水 戸 駅 行 き ） か ら常 磐 大 学 前 下 車 。
[From Mito Station to Tokiwa University]Take a bus from Stop #5 at Mito Station (North exit). It takes about 20 minutes from Mito Station to Jiyugaoka Bus Stop. Some buses go direclty to Tokiwa University, but the service is limited (see the Timetable below).
43
44
■バ ス 時 刻 表 (Bus Timetable)水戸駅北口→常磐大学
Mito Station North
Exit→Tokiwa University
赤塚駅北口→常磐大
学
Akatsuka Station North
Exit→Tokiwa
University
常磐大学→水戸駅北
口
Tokiwa University→
Mito Station North Exit
常磐大学→赤塚駅北
口
Tokiwa University→
Akatsuka Station North
Exit
JR Bus 茨城交通 JR Bus 茨城交通 JR Bus 茨城交通 JR Bus 茨城交通
7 59 59 44 51
8 18 31 18 59 26 41 14 42 32 47 21 49 12 31 44 12 31
9 4 39 23 42 12 38 15 48 18 44 22 55 17 52 12 36 55
1
0
18 17 33 6 54 10 54 12 17 31 30 46
1
1
0 19 59 00 48 27 54 27 0 33 01 34 13 32 13
1
2
23 23 54 18 55 0 25 12 36 01 36
1
3
19 59 02 53 17 05 38 0 23 02 12 45 32 15
1
4
32 23 18 30 23 33 24 36 30 40 12 45 06 36
1
5
46 02 33 58 53 38 59 45 59 16 46
1
6
7 47 31 16 00 43 22 07 50 20 11 44
1
7
34 01 30 38 0 44 05 37 47 6 50 12 44 54 0 47 14 43 51
1
8
35 13 38 0 23 6 30 48 26 51
1
9
18 0 10 43 6 16 49 29
2
0
02 28 34 13
注：水戸駅北口⇔常磐大学は、270 円。赤塚駅⇔常磐大学は、150 円。ただし、JRバスで、Suica か
pasmo を使うと、4 割引（それぞれ160 円、90円）。水戸駅北口⇔自由が丘は、230 円で、通常10分間
隔で運行。タクシーだと、1,300 円程度。
■ 学 会 が 開 か れ る R棟 ま で (To R Tower) バ ス か ら 降り る と 、 常 磐 大 学 正 門 前 で す 。
45
46
JLTA Conference R Tower
■R棟 の 配 置 図 (Layout of the R Tower) 実 際 は 円 形の 棟 で す 。R 棟 地 下 1 階 (First Basement in the R Tower)
R002 （ 開 会式 ・ 基 調 講演 ・ シ ン ポジ ウ ム 等Opening Ceremony, Plenary Speech, Symposium, etc. ）
R001 （ 第 1室 ）
R 棟 ロ ビ ー (R Tower Lobby) WC
階 段 (Stairs)
受 付 ・ お 茶 (Reception and Tea)
階 段 (Stairs)
R004 （ 第 2室 ）
R003 （ 第 3室 ）
R 棟 1 階 (First Floor in the R Tower) R101 （ 第 5室 ）
R102 （ 第 4室 ）
R105 WC階 段 (Stairs)
階 段 (Stairs)
R104 （ 第 6室 ） R103 （ Workshop ）
■ タ ク シ ー 会 社 （ 一 部 ） の 電 話 番 号 (Telephone number of taxi companies) (1) 茨 城 第 一 交 通 有 限 会 社 TEL ： 029-241-6611 茨 城 県 水 戸 市 見 川 1-1233-1
(2) 観 光 第 一 交 通 株 式 会 社 TEL ： 029-253-1123 茨 城 県 水 戸 市 石 川 1-4002-38
(3) 安 全 第 一 交 通 有 限 会 社 TEL ： 029-253-1123 茨 城 県 水 戸 市 石 川 1-4002-38
47
入 り 口 (Entrance)
(4) 新 星 タ ク シ ー TEL ： 0120-21-9191 茨 城 県 水 戸 市 宮 町 2 丁 目 1-6
(5) 関 鉄 水 戸 タ ク シ ー （ 株 ） 本 社 TEL ： 0120-21-1996 茨 城 県 水 戸 市 城 南 2 丁 目 7-17
（ 常 磐 大 学 近 辺 1, 2, 3； 水 戸 駅 北 口 近 辺 4 ； 水戸 駅 南 口 近 辺 5 ）
48
49
展示協賛企業
株式会社 e ラーニングサービス
国際教育交換協議会 日本代表部
英語運用能力評価協会
日本英語検定協会
