文法性判断課題における文法性判断課題におけるパフォーマンスと確信度の連関は反応時間に仲介されるか反応時間解析と時系列シミュレーション分析を用いて反応時間解析と時系列シミュレーション分析を用いて

結論• 文法性判断課題のパフォーマンスと確信度の連関は反応時間により複雑に仲介さ度の連関は反応時間により複雑に仲介されている

• 文法性判断課題のパフォーマンスを分析するには新しい手法を用いるとよいかもしれないしれない– 反応時間解析– 時系列シミュレーション分析

草薙邦広草薙邦広名古屋大学大学院／日本学術振興会特別研究員

川口勇作川口勇作名古屋大学大学院

背景• 文法性判断課題（GJT）

– 第二言語習得では主要な手法のひとつ– 第二言語習得では主要な手法のひとつ（Chaudron, 1983, Mandel, 1999）

– 最近では時間制限を用いる文法性判断課題も使用されるようになってきている（e.g., Gutierrez, 2013; 草薙，2013; Kusanagi &

Yamashita, 2013; Loewen, 2009））– しかし手法上の問題についての批判も多い– 多様な情報を駆使して総合的に検討すべき（草

薙，2013）

背景

• GJTにおける確信度情報文法性の判断結果に関する付随的

における確信度情報–文法性の判断結果に関する付随的および内省的データ

–量的データとして扱う

背景• 確信度はベクトル（有向量）！

– 向き：資源– 向き：資源• 規則的／直感

– ⼤きさ：程度• どれくらい自信があるか• 本来は連続データの筈

– 本研究では特に向きに着目

背景• なぜ確信度か？（Ellis, 2005）

明示的・暗示的知識を構成概念となぜ確信度か？–明示的・暗示的知識を構成概念としてみる

–構成概念の基準関連妥当性を調べるための外的基準のひとつるための外的基準のひとつ

背景• 明示的・暗示的知識とはなにか

– 観測としての文法運用の非均質性– 観測としての文法運用の非均質性– しかしタスク要因の効果は完全にランダムではな

い– そのばらつきを静的な状態としての学習者の知識

に帰し，⼆種類に集約した構成概念– 混成的：運用はその二種の知識による混成をなす– 混成的：運用はその二種の知識による混成をなす– 複表象的：知識は互いに異なる表象を持ちうる– 共にL2能⼒の構成素（構成技能）である

背景

• Ellis（2005）二つの知識が構成概念として持つ

（ ）–二つの知識が構成概念として持つ特性の列挙

作動する時間 確信度の資源（degree of awareness）

確信度の程度

暗示的知識 はやい 直感（feel） 強い暗示的知識 はやい 直感（feel） 強い明示的知識 おそい 規則的（rule） 弱い

背景• 先⾏研究

– Ellis（2005）– Ellis（2005）• 非文法文の⽅が確信度が⾼い• 確信度（資源：判断が規則によるものだと答える傾

向）は時間制限のないGJT・メタ言語的課題の成績と相関する

• しかし非文法文のみ– 島田（2014）– 島田（2014）

• 中級⽇本⼈学習者による追⾏• 時間制限のないGJTのみ• 文法文・非文法文に関係なく同等の相関

背景

• Ellis（2005）二つの知識が構成概念として持つ

（ ）–二つの知識が構成概念として持つ特性の列挙

作動する時間 確信度の⽅向性（degree of awareness）

確信度の程度

暗示的知識 はやい 直感（feel） 強い暗示的知識 はやい 直感（feel） 強い明示的知識 おそい 規則的（rule） 弱い

背景

• 確信度と反応時間確信度と反応時間–必ずしもはやい反応が直感的？–何をもって判断にともなうプロセスを終了させるか

研究課題• 本研究の主眼

–確信は施⾏の反応時間と独⽴した現–確信は施⾏の反応時間と独⽴した現象？

–そんなのありそうもないこと！！–「GJTにおけるパフォーマンス，確信度，反応時間の連関関係を明らかにす度，反応時間の連関関係を明らかにする」

研究課題• 研究課題

1. GJTの信頼性および確信度の信頼性は⼗分か？1. GJTの信頼性および確信度の信頼性は⼗分か？2. 文法文と非文法間においてパフォーマンスと確

信度に違いはあるか？3. 文法文と非文法間において反応時間に違いはあ

るか？4. 反応時間とパフォーマンスには連関があるか？5. 反応時間と確信度には連関があるか？5. 反応時間と確信度には連関があるか？6. 反応時間はパフォーマンスと確信度の連関を仲

介しているか？

実験• 被験者

– ⼤学生・⼤学院生読む

– ⼤学生・⼤学院生32名

• 多専攻• 年齢:M= 26.56, SD

=6.87

• TOEICスコア：M =

0

1

2

3

4

5

書く文法

• TOEICスコア：M =

777.05, SD = 129.84

聞く

話す

語彙

実験• 課題

– PC上のGJT– PC上のGJT

– 注視点→文提示→判断→確信度（資源について二択：規則的vs直感的）

実験• 材料

– 8つの文法項目×3つ×文法文・非文法文=48文– 8つの文法項目×3つ×文法文・非文法文=48文– 語⻑・使用語彙などについて統制– 条件をセットにしたブロックランダマイズ

*She wanted to know why had he studied *She wanted to know why had he studied English.

*The leaders must to attend the meeting tomorrow.

GJTの信頼性および確信度の信頼性は⼗分か？

分析1

• 信頼性の分析– 正答率– 正答率

• 比較的⾼い一貫性・平均項目間相関は低い• 非文法文の⽅が信頼性が⾼い• 希薄化の問題も…

– 確信度• 総じて⾼水準

正答率 確信度α 平均項目間相関 α 平均項目間相関

文法文 (k = 24) .69 .10 .91 .33

非文法文 (k = 24) .83 .18 .94 .39

全体 (K = 48) .85 .12 .95 .30

文法性による差文法性による差G文法文と非文法間においてパフォーマンスと

確信度に違いはあるか？

分析2

• 平均差– 2-2 ANOVA 1.0– 2-2 ANOVA

• 主効果なし– F(31) = 3.50, p

= .07, ηp2 = .10

– F(31) = 0.67, p = .68, ηp

2 < .01

• 交互作用あり 0.4

0.6

0.8

1.0

Mean

Sco

re

交互作用あり– F(31) = 5.52, p

= .02, ηp2 < .15

• 文法文における種類差• 正答率における文法性

0.0

0.2

Grammatical Ungrammatical

Accuracy

Certainty

分析2

• 相関– 散布図⾏列 Accuracy G

0.4 0.8 0.2 0.6 1.0

1.0

– 散布図⾏列– 偏相関係数による無向グラフ

（グラフィカルモデリング）

Accuracy G

0.53 0.21

0.4

0.70.25

0.4

0.8 Accuracy UNG

0.23 0.35

Certainty G

0.8

0.70

A-G

A-UNGC-UNG

.49

.22

0.0

0.40.70

0.4 0.7 1.0

0.2

0.6

1.0

0.0 0.4 0.8

Certainty UNG

A-UNGC-UNG

C-G

.68

分析2

• まとめ–文法性によって異なるのは正答率の–文法性によって異なるのは正答率のみ，確信度に影響はなかった（Ellis, 2005と対⽴）

–非文法文の場合の⽅が確信度と正答率（パフォーマンス）の相関係数がやや（パフォーマンス）の相関係数がやや⾼く，偏相関係数を求めると文法文の場合はほぼ無相関になる（Ellis,2005を支持，島田,2015と対⽴）

文法性による差：反応時間反応時間

文法文と非文法間において反応時間に違いはあるか？

分析3

• 反応時間の差– 全施⾏の分布 0.

0001

5

– 全施⾏の分布– 被験者分析・項目分析でも有意差なし

0.00

005

0.00

010

0.00

015

Den

sity

AllGrammaticalUngrammatical

0 20000 40000 60000 80000

0.00

000

0.00

005

Reaction TIme (ms)

反応時間とパフォーマンスパフォーマンス

反応時間とパフォーマンスには連関があるか？

分析4

• 方法–比較的早い反応におけるパフォーマン–比較的早い反応におけるパフォーマンス（正答率）と遅い反応におけるパフォーマンスを比較する

–折半でもいいが…

–混合ガウス分布を用いた分析–混合ガウス分布を用いた分析

分析4

• 混合ガウス分布– 所与の（標本の）確率密度分布に，複数の正– 所与の（標本の）確率密度分布に，複数の正規分布からなる確率関数をフィットさせる

2025

0.03

0.04

Fre

quen

cy

20 40 60 80 100

05

1015

0 20 40 60 80 100 120

0.00

0.01

0.02

0.03

分析4

• フィッティング– ベイズ情報量基準（BIC）で推定（mclust）– ベイズ情報量基準（BIC）で推定（mclust）– 不等分散2要素モデルを採用

• BIC = -1536.12（対数尤度比 = -15171.12）8e

-05

0 20000 40000 60000 80000

0e+0

04e

-05

8e-0

5

Reaction Time (ms)

Den

sity

分析4第一要素 第二要素

比率 80.50% 19.50%

µ 6645 16715

4e-0

58e

-05

Den

sity

µ 6645 16715

σ 2902 96430 20000 40000 60000 80000

0e+0

0

Reaction Time (ms)

0.00

010

0.00

015

Den

sity

ObservationMix Gauss

0.00

010

0.00

015

0 20000 40000 60000 80000

0.00

000

0.00

005

0.00

010

Reaction Time (ms)

Den

sity

0 20000 40000 60000 80000

0.00

000

0.00

005

0.00

010

Reaction Time (ms)

Den

sity

分析4

0.00

012

はやい反応 おそい反応

0.00

006

0.00

012

11500ms

0 10000 20000 30000 40000

0.00

000

分析4

• 分割による比較– 分割点11500ms以前の施

1.0

– 分割点11500ms以前の施⾏における平均正答率

– 分割点11500ms以後の施⾏における平均正答率

– 前半の⽅が正答率が⾼い0.2

0.4

0.6

0.8

0.0

0.2

< 11500ms > 11500ms

Grammatical

Ungrammatical

分析4

• 更なる方法– 時系列シミュレーショ– 時系列シミュレーション分析（草薙，投稿中）

• 分析を⾏う時系列点をシミュレーション

– 分割点シミュレーション» 特定の時系列点で成

績を分割して比較す

0e+0

04e

-05

8e-0

5

Den

sity

» 特定の時系列点で成績を分割して比較する

– 100ms単位400回» 100ms →40000msの

間隔で試⾏

0 10000 20000 30000 40000

0e+0

0

Reaction TIme (ms)

分析44e

-05

8e-0

5

Den

sity

0.8

0.9

1.0

Acc

urac

y S

core

0.8

0.9

1.0

Acc

urac

y S

core

0 10000 20000 30000 40000

0e+0

0

Reaction Time (ms)文法文 非文法文

0 10000 20000 30000 40000

0.5

0.6

0.7

0.8

Time (ms)

Acc

urac

y S

core

0 10000 20000 30000 40000

0.5

0.6

0.7

0.8

Time (ms)

Acc

urac

y S

core

分析4

• まとめ– 文法性による違いはほぼ無かった– 文法性による違いはほぼ無かった– 全体的にはやい反応の方が正答率が⾼い

反応時間と確信度確信度

反応時間と確信度には連関があるか？

分析5

0.00

012

はやい反応 おそい反応

0.00

006

0.00

012

11500ms

0 10000 20000 30000 40000

0.00

000

分析5

• 分割による比較– 文法文の⽅が後半

1.0

– 文法文の⽅が後半に差が⼤きくなる

– 非文法文は差が小さい

– 前半では文法性の影響が小さい

0.4

0.6

0.8

影響が小さい– 後半につれ文法性の影響が⼤きくなる

0.0

0.2

< 11500ms > 11500ms

Grammatical

Ungrammatical

分析54e

-05

8e-0

5

Den

sity

0 10000 20000 30000 40000

0e+0

0

Reaction Time (ms)文法文 非文法文

0.8

1.0

Cer

tain

ty S

core 0.

81.

0

Cer

tain

ty S

core

0 10000 20000 30000 40000

0.0

0.2

0.4

0.6

Time (ms)

Cer

tain

ty S

core

0 10000 20000 30000 40000

0.0

0.2

0.4

0.6

Time (ms)

Cer

tain

ty S

core

分析5

• まとめ– 文法性による違いが⼤きい– 文法性による違いが⼤きい– 文法文でははやい反応の方が確信度が⾼い（規則的だと答える）

– 非文法文は比較的反応時間の影響が少ない

パフォーマンス・確信度の連関と反応時間連関と反応時間

反応時間はパフォーマンスと確信度の連関を仲介しているか？

分析6

• 相関係数の時系列シミュレーション 1.

0シミュレーション– 全体的におそい反応では相関が弱い

– はやい反応では文法文の⽅が相関が強い

0.2

0.4

0.6

0.8

1.0

corr

esul

t

強い– おそい反応では非文法文の⽅が相関が強い 0 10000 20000 30000 40000

0.0

0.2

Reaction Times (ms)

分析6

• まとめ–反応時間はパフォーマンスと確信度の–反応時間はパフォーマンスと確信度の連関を仲介している

–時間が経過すればするほど，相関は弱くなっていく

–はやい反応では文法文が，おそい反応–はやい反応では文法文が，おそい反応では非文法文が相関が強い

結論結論

結論• 全体のまとめ

–パフォーマンスと確信度は反応–パフォーマンスと確信度は反応時間を介した動的な関係にある

• はやい反応ほど，正答率と確信度が⾼く，その連関も強い

• おそい反応は，正答率と確信度が低く，その連関• おそい反応は，正答率と確信度が低く，その連関も弱い

• しかし非文法文における確信度は時系列上比較的に安定している

結論• Ellis（2005）

作動する時間 確信度の⽅向性（degree of awareness）

確信度の程度

暗示的知識 はやい 直感（feel） 強い暗示的知識 はやい 直感（feel） 強い明示的知識 おそい 規則的（rule） 弱い

結論• Ellis（2005）

作動する時間 確信度の⽅向性（degree of awareness）

確信度の程度

暗示的知識 はやい 直感（feel） 強い暗示的知識 はやい 直感（feel） 強い明示的知識 おそい 規則的（rule） 弱い

結論• 今後の展望

–様々な条件下での追⾏研究の重要性–様々な条件下での追⾏研究の重要性–パフォーマンスと確信度の関係の今後–明示的・暗示的知識の測定法の兼ね合い

–反応時間解析と時系列シミュレーショ–反応時間解析と時系列シミュレーション分析

結論• 限界

–今度は程度としての確信度を–今度は程度としての確信度を–文法項目間の違い–熟達度の違い–時間制限との関係

参考文献• Chaudron, C. (1983). Research on metalinguistic judgments: A review of

theory, methods, and results. Language Learning, 33, 343–377.

• Ellis, R. (2005). Measuring implicit and explicit knowledge of a second• Ellis, R. (2005). Measuring implicit and explicit knowledge of a secondlanguage: A psychometric study. Studies in Second LanguageAcquisition, 27, 141–172.

• Kusanagi, K., & Yamashita, J. (2013). Influences of linguistic factors on theacquisition of explicit and implicit knowledge: Focusing on agreement typeand morphosyntactic regularity in English plural morpheme. Annual Reviewof English Language Education in Japan, 24, 205–220.

• Loewen , S . (2009). Grammaticality judgment tests and the measurementof implicit and explicit L2 knowledge . In R. Ellis, S. Loewen, C. Elder, R.of implicit and explicit L2 knowledge . In R. Ellis, S. Loewen, C. Elder, R.Erlam, J. Philp, & H. Reinders (Eds.), Implicit and explicit knowledge insecond language earning, testing and teaching (pp. 94– 112). Bristol, UK:Multilingual Matters Ltd.

• Mandell, P. (1999). On the reliability of grammaticality judgment tests in second language acquisition research. Second Language Research, 15, 73–99.

参考文献• 草薙邦広（2013）「時間制限を用いた文法性判断課題―基礎的検討と時間

制限の設定⽅法について―」『外国語教育メディア学会（LET）関⻄支部メソドロジー研究部会2012年度報告論集』 46–67.ソドロジー研究部会2012年度報告論集』 46–67.

• 草薙邦広（投稿中）「文法性判断課題の成績における信頼性係数の時系列シミュレーション：時間制限の適切な設定に向けて」

• 島田勝正（2014）「文法性判断と確信」『中部地区英語教育学会紀要』43, 293–298.

GJTの

パフォーマンス 1.0パフォーマンス

と確信度は

反応時間を介した

動的な関係にある 0.0

0.2

0.4

0.6

0.8

1.0

corr

esul

t

動的な関係にある草薙・川口（2014）

0 10000 20000 30000 40000

0.0

Reaction Times (ms)