Click here to load reader
Upload
hoangthu
View
214
Download
0
Embed Size (px)
Citation preview
正規分布・t分布・χ2分布・F 分布とは何か?分散分析第1回講義:資料1
土居正明
Q統計の勉強をしていると、t分布・χ2 分布・F 分布などと、色々分布が出てきます。互いにつながりがあるという話を
聞いたことがあるのですが、どういう風につながっているのですか。
1 はじめに
本稿では、基本的に具体例は医薬の話を持ってきます。その際に「別々の人から取ったデータは独立」という点は、特に
断らなくても常に成り立つものと仮定します。
2 正規分布とは
正規分布は、データのばらつき・誤差のばらつきをモデル化するためによく用いられる分布です。平均 µ,分散 σ2 の正規
分布 N(µ, σ2)の確率密度関数は、
f(x|µ, σ2) =1√
2πσ2exp
(− (x − µ)2
2σ2
)で表されます。特に、平均 0,分散1の正規分布 N(0, 1)のことを「標準正規分布」と言います。また、標準正規分布の下側
(100 · α)%点を z(α)と書きます。
ここで、注意していただきたいことは、分布というものが「最初からある」と考えるのではなく、「何かを(ここではたと
えば誤差を)調べた結果、出てきた」と考えるのが重要だということです。以下の内容は、たとえば「最初から t分布とい
うものがある。χ2 分布というものがある」などという風に考えると分かりにくくなってしまいますのでご注意ください*1。
2.1 正規分布の重要な性質
t分布の説明に入る前に、正規分布の重要な性質を3つだけ整理しておきます。
(i)x~N(µ, σ2)のとき、x−µ√σ2~N(0, 1)である。
(ii)x1, · · · , xn が独立に N(µ, σ2)に従うとき、x̄ = x1+···+xn
n ~N(µ, σ2
n )である。
(iii) (i),(ii)より、z = x̄−µ√σ2n
~N(0, 1)である。
ここでは正規分布を N(0, 1)に帰着させることにこだわっています。これには理論的な要請もあったでしょうが、現実的
な利益もあったと思われます。というのは、昔正規分布のパーセント点 (上側 95%点、97.5%点など)を数表で見て調べて
いた頃に、例えばN(10, 2), N(9, 4)など色々なデータのパーセント点を知りたかったとします。このときに別々の数表を見
るのではなく、全ての正規分布を N(0, 1)に結び付けることができれば、数表が1つですむことになり、大変便利です。。
*1 ただ、歴史的には正規分布は理論的に導かれたものだそうです。1733年、de Moivreが導出したそうですが、あまり詳しく知らないので 100%は信頼しないでください。また、ご存知の方がいらっしゃれば教えてください。
1
さて、本稿の主役は上の (iii)、もう一度書きますと x1, · · ·xn~N(µ, σ2)に独立に従うときに、
z =x̄ − µ√
σ2
n
~N(0, 1) (1)
です。この (1)をしっかり押さえて、先に進んでください
3 t分布はどのようにして生まれたか
まず t分布などなかった時代から話を始めます。t分布を「発見」したのは、Student(本名Gosset:1876-1937)ですが、彼
がどのように「発見」したのかを後追いしてみることにしましょう。以下の問題を考えます。
「問題1」
1クラス40人の収縮期血圧 (x1, · · · , x40とする)の平均が 120であるかどうかを検定(両側 5%)によって判断してくだ
さい。
(考え方)
とりあえず、最初にヒストグラムを描いて「正規分布に従っている」ことが大体確認できたとします*2。次に、「平均」な
ので x̄ = x1+···+x4040 を考えます。2.1(ii)より、仮に平均が 120だったとすると、x̄は N(120, σ2
40 )に従うことになります。
したがって、2.1(iii)より z = x̄−120√σ240
~N(0, 1)となるので、これより正規分布に従った検定ができそうな気がします。
ところが、ここで困るのです。なぜなら σ2 の値が分からないからです。そこで代替案として、「σ2 の値を推定値で置き
換える」という方法を考えます。σ2 の推定値は、以下のようにして求めます。
σ̂2 =1
40 − 1
40∑i=1
(xi − x̄)2
この値を z にあてはめると、
z′ =x̄ − 120√
σ̂2
40
(2)
はきちんと求まります。さて、ここで質問です。この z′ は正規分布 N(0, 1)に従うでしょうか?
正解は「従わない」です。もう少し詳しく言いますと、「いい線いっているけれど、厳密には従わない」です。なぜなら、
推定値 σ̂2 は σ2 そのものではないからです。別のもので置き換えているので、分布が変わってくるのは当たり前なのです。
ですけれど、「いい線」はいっているのです。つまり「推定精度が上りさえすれば、かなり正規分布に近くなる」のです。で
は、推定精度を上げるにはどうしたらいいでしょうか?簡単ですね。データの数を増やせばいいのです。つまり、(2) は
「データの数が十分に大きければ(近似的に)正規分布に従っているとみなせるが、データがそれほど大きくないときには正
規分布から外れてくる」ということになります。
そこで、Gossetは考えました(彼が考えたのは多分ビールの酵母とかの話ですけれど)、「じゃあ、(2)の従う分布は厳密
にはどうなっているのだろう?」と。そのようにして「発見」されたのが t分布なのです。ここで、「分布を調べる」という
行為は、直感的には分かりづらいと思いますので少しご説明します。直感的には、「x1, · · · , x40 を乱数で発生させて z′ を求
める」ということを 100万回繰り返します。そして、100万個の z′ のヒストグラムを描いてみます。そのときのヒストグラ
ムを式で表したものが「確率密度関数」と呼ばれるもので、(2)の従う分布となります。この「確率密度関数」の式を、正確
には式の計算のみで導くことになります。
さて、一般的な教科書などでは「(2) は t分布という分布に従う」、という、さも「t 分布というものが最初からあって、
(2)が偶然それに当てはまっている」かのような書き方をしているものが多いように見受けられます。しかし、そうではな
*2 例数が十分に大きい場合は、中心極限定理から「とりあえず t検定でよい」ことが広く言えるのですが、データを見たらまずプロットしておく習慣をつけておくことは重要です。
2
くて、これが t分布発見の経緯なのです。このような問題を彼が考えなければ、そもそも t分布などというものは存在しな
かった、ということです。ですから、「どうして (2)が t分布に従うのですか?」という質問には、「だってそれに t分布と
名前をつけたから」という答えが正解となります(厳密な数式の意味での質問の場合を除いてですが)。
さて、データの数が増えると正規分布に近づく、ということから明らかのように、
t分布の分布形は「データの数」に影響を受けます。正規分布と t分布の違いは、「σ2 を真の値にするか推定値にするか」だ
けであり、データが増えることで σ2 の推定精度がよくなるためです。その σ2 の推定精度を示す指標が「自由度」と言われ
るもので、1群の t検定の場合は「(データ数) − 1」と一致します*3。つまり、今回は自由度 39の t分布に従う、というこ
とになります。そして「自由度∞*4の t分布は N(0, 1)」となります。
まとめます ((2)の z′ は一般には「t」と書かれるので、下では tと書くことにします)。
「t分布」
n個のデータ x1, · · · , xn が独立に N(µ, σ2)に従うとき、
t =x̄ − µ√
σ̂2
n
(ここで、̄x =
1n
n∑i=1
xi, σ̂2 =1
n − 1
n∑i=1
(xi − x̄)2)
の従う分布のことを、自由度 (n − 1) の t 分布と名付け、t(n − 1) と書きます。また、t(n − 1) の下側 (100 · α) %点を
t(n − 1, α)と書くことにします。
考えていることは正規分布の場合 (1)と同じことなのですが、σ2 が分からないから仕方なく上の tを使っている、とい
う感じが分かっていただければよいと思います。
4 χ2 分布とはどういう分布か
4.1 定義と基本的な性質
以下の問題を考えます。
「問題2」
n個の独立なデータ x1, · · · , xn が「全て一斉に N(0, 1)に従っているかどうか検定するにはどうすればよいでしょうか?
(考え方)
1つ1つ、正規分布の検定をしていけばよさそうに思えるのですが、そうすると「検定の多重性(今回はご説明しません)」
の問題というやっかいなことが出てきてしまいます。そこで「1個の統計量で、1回で検定したい」という風に考えます。そ
のとき、
χ2 = x21 + · · · + x2
n (3)
の従う分布を考えるとうまくいきます*5。そこで、t分布と同じように、「この統計量 (3)の従う分布を調べる」ということ
をします。このようにして考えられた χ2 が x1, · · · , xn~N(0, 1)(すべて独立)のときに従う分布のことを「自由度 nの
χ2 分布」と呼んでいるわけです。当然これもデータの数に影響を受けますが、自由度は2乗する標準正規分布の数と等し
くなります。自由度 nの χ2 分布を χ2(n)で、その下側 (100 · α)%点を χ2(n, α)とおきます。
特殊な例として、自由度 1の χ2 分布を考えてみましょう。このとき χ2 = x21 となりますので、
(標準正規分布 N(0, 1)の統計量)2 = (自由度1のχ2分布の統計量)
となります。
*3 この部分をきちんと理解するには、χ2 分布のところで出てくる「定理」と、χ2 分布の「性質」(i)が必要になりますが、実際に重要なのは「分母の分散の推定精度(つまり自由度)」です。このため、たとえば 1群 n例の2群比較では、σ2 の推定量として各群別々に自由度 (n − 1)で推定して、それを足し合わせたものを考えるので、自由度は 2(n − 1)となります。
*4 n → ∞のとき(つまりデータが無限個あるとき)σ2 の推定量は σ2 に一致します(やや厳密に言うと、σ2 に収束します)。*5 どうして単純に足さないで2乗してから足すのか、という点なども今回はご説明しません。
3
ここで、N(0, 1)と χ2(1)のパーセント点を比較してみます。N(0, 1)の上側 2.5%点が χ2(1)の上側 2.5%に対応、と
なってくれたら楽なのですが、そこまで簡単にはいきません。
記号を整理して、z~N(0, 1)として、χ21 = z2 と置き直します*6と、χ2
1~χ2(1)は上で見た通りです。ここで、N(0, 1)の
上側 2.5%点(下側 97.5%点)を2乗してみたものを
χ̃2 = (z(0.975))2 (= 3.84)
とおくとき、これは χ2(1)において何%点を示すのでしょうか?
たとえば z = 2のときと z = −2のときを考えてみましょう。z(0.975) = 1.96, z(0.025) = −1.96より、z = 2 > 1.96
は N(0, 1)の上側 2.5%棄却域に、z = −2 < −1.96は N(0, 1)の下側 2.5%棄却域にあることになります。このとき、ど
ちらの z に対しても χ21 = 4となり、χ̃2 = (z(0.975))2 = 3.84より大きくなります。つまり、χ2
1 > χ̃2 には「標準正規分布
の大きい方の棄却域と小さい方の棄却域の両方」が含まれていることになります。
式で書きますと、χ21 = z2 であり、z(0.025) = −z(0.975)から χ̃2 = (z(0.025))2 でもあるため、
χ21 > χ̃2 ⇐⇒ z < z(0.025) または z(0.975) < z (4)
となります。ここで⇐⇒の両側の確率を考えてみます。まず右側は明らかに
Pr(z < z(0.025)または z(0.975) < z) = 0.05
です。これより左側の確率も
Pr(χ2
1 > χ̃2)
= 0.05
となります*7。χ21~χ2(1)なので、χ̃2 は χ2(1)の上側 5%点、つまり χ̃2 = χ2(1, 0.95)ということになります。
まとめますと、
(標準正規分布の上側 2.5%点)2 = (自由度1のχ2分布の上側 5%点)
つまり、(z(0.975))2 = χ2(1, 0.95)となります。
さらに一般的には (z(1 − α))2 = χ2(1, 1 − 2α)が成り立ちます。
ここで重要なのは、(4) より標準正規分布で両側検定を考える場合でも、χ2 分布で検定する場合は上側棄却域のみで十
分ということです。この点は、今回は自由度1の場合にご説明しましたが、自由度が nの場合でも同様に成り立ちます。本
稿のこれ以降でも出てきますので、下の図 1、図 2と共によく理解しておいてください。
-1.96 1.96
0.1
0.2
0.3
0.4
0.5
-1.96 1.96
0.1
0.2
0.3
0.4
0.5
図 1 標準正規分布の両側 5%棄却域 (z(0.975) = 1.96)
3.84
0.1
0.2
0.3
0.4
0.5
3.84
0.1
0.2
0.3
0.4
0.5
図 2 対応する χ2(1)の棄却域 (χ2(1, 0.95) = 3.84)
*6 少し見にくいですが、χ21 は「カイ2乗の1番目」という意味の1つの記号、z2 は z が1つの記号で、その2乗です。
*7 式がごちゃごちゃしてきますが、χ21 は確率変数、χ̃2 は数字であることに注意してください。
4
χ2 分布についてはこれが一番基本的なことなのですが、困ったこと(?)に、χ2 分布は、上のような形とは一見関わり
のないところにたくさん出てきます。けれど、イメージとして、「標準正規分布を2乗して足し合せている」というものを
持っていただけると、正規分布とのつながりも分かってよいかと思います*8。また、「たくさんのものを一括で検定してい
る」「検定で帰無仮説が棄却されたとしても、x1, · · · , xn のどれが N(0, 1)から外れているかは分からない」などの特徴も
重要です。
では、まとめます。
「χ2 分布」
x1, · · · , xn が独立に N(0, 1)に従うとき、χ2 = x21 + · · ·x2
n の従う分布を自由度 nの χ2 分布と名づけ χ2(n)と書く。
また、χ2(n)の下側 100·α%点を χ2(n, α)で表す。
「性質」
(i)χ21 ~ χ2(n), χ2
2 ~ χ2(m)が独立のとき、χ21 + χ2
2 ~ χ2(n + m)
(ii) x1~N(µ1, σ21), x2~N(µ2, σ
22), · · · , xn~N(µn, σ2
n)のとき(全て独立。従う正規分布は全て違ってもよい)、
χ2 =(x1 − µ1)2
σ21
+ · · · + (xn − µn)2
σ2n
は自由度 nの χ2 分布に従う(各項が正規分布の性質 (ii)の式 xi−µi√σ2
i
の2乗になっていることに注意)。
(iii) ((ii)の特殊な場合) x1, · · · , xn~N(µ, σ2)(全て独立)のとき、
χ2 =(x1 − µ)2
σ2+ · · · + (xn − µ)2
σ2
は自由度 nの χ2 分布に従う。
4.2 (iii)の補足
4.2.1 重要な定理
さて、上の (iii)は一見分かりやすいのですが、平均 µと分散 σ2 が分かっていないと使えません。これはあまり現実的な
状況ではありません。そこでせめて µは分かっていなくても使えるようなものがあれば、という気がします。実は、そのご
要望にお答えする定理があるのです。
「定理」
x1, · · ·xn ~ N(µ, σ2)(全て独立)のとき、
x̄ =1n
n∑i=1
xi
σ̂2 =1
n − 1
n∑i=1
(xi − x̄)2
とおくと、
(n − 1)σ̂2
σ2=
1σ2
n∑i=1
(xi − x̄)2 =(x1 − x̄)2
σ2+
(x2 − x̄)2
σ2+ · · · + (xn − x̄)2
σ2
は χ2(n − 1)に従う。
(iii)と比べて、平均値を真の平均値 µから標本平均値 x̄に変更することで、自由度が nから n − 1に減少していること
に注意してください*9。
*8 あとは中心極限定理が理解できれば、ほとんどの χ2 検定は理解できます。*9 長くなるので証明は省略します。数理統計学の基本的な本にはほぼ必ず書いてあるはずです。
5
4.2.2 定理の応用
では、上の定理を臨床に(比較的)即した例で考えてみます。次のような状況を考えてみてください。
「問題3」
降圧薬 A、B、Cの3種類をそれぞれ 5人ずつに投与します。このとき、Aを投与された人の投与後の血圧のベースライ
ンからの差を x11, x12, x13, x14, x15~N(µ1, σ2)、B、Cも同様に x21, x22, x23, x24, x25~N(µ2, σ
2)、x31, x32, x33, x34, x35
~N(µ3, σ2)とします (分散 σ2 は共通で既知とします)。このとき、
帰無仮説:µ1 = µ2 = µ3 (つまり3種類の薬で薬効が全て等しい)
対立仮説:それ以外
を両側 5%で検定するにはどうすればよいでしょうか*10。
「解答」
帰無仮説:µ1 = µ2 = µ3 に従うとしたら、各群が「全て同じ分布」に従うことになります。そのため、先の「定理」を使っ
て χ2 検定ができるのではないか、という方向で考えてみましょう。
さて、比べたいのは平均値なので、まず各群で平均値を計算しますと
x1 =15
5∑j=1
x1j ~N(µ1,
σ2
5
)
x2 =15
5∑j=1
x2j ~N(µ2,
σ2
5
)
x3 =15
5∑j=1
x3j ~N(µ3,
σ2
5
)となります。さらに、全体 15人の平均を考えると
¯̄x =13(x1 + x2 + x3)
=115
3∑i=1
5∑j=1
xij ~N(µ1 + µ2 + µ3
3,σ2
15
)が成り立ちます。ここで、帰無仮説のもとでは µ1 = µ2 = µ3 となるため、これを µと書くことにします。
このときに x1, x2, x3 ~ N(µ, σ2
5
)と3つとも同じ分布に従うことになりますので、これに対して先の「定理」を使いま
す。すると、帰無仮説のもとでは
χ2 =1σ2
5
3∑i=1
(xi − ¯̄x)2
が χ2(2)に従います(分散 σ2は既知なので、これが計算できる量であることに注意してください)。これより「χ2(2, 0.95) <
χ2 のときに帰無仮説を棄却すればよい」ということになります*11。
*10 何か分散分析っぽいな、と気付かれた方は、どこが同じでどこが違うかに意識を向けつつ読んでみてください*11 χ2 分布のところで述べましたとおり、正規分布に従うデータの「両側検定」は χ2 分布の「片側棄却域」のみを用いてできます。
6
5 F 分布とはどのような分布か
5.1 数値例
t分布のところでも述べましたが、現実問題として「データを取る前に分散が分かっている」というのは非現実的な状況
です。そこで同様に上の問題を分散未知のケースで考えてみましょう。
「問題4」
降圧薬 A、B、Cの3種類をそれぞれ 5人ずつに投与します。このとき、Aを投与された人の投与後の血圧のベースライ
ンからの差を x11, x12, x13, x14, x15~N(µ1, σ2)、B、Cも同様に x21, x22, x23, x24, x25~N(µ2, σ
2)、x31, x32, x33, x34, x35
~N(µ3, σ2)とします (分散 σ2 は共通で未知とします)。このとき、
帰無仮説:µ1 = µ2 = µ3 (つまり3種類の薬で薬効が全て等しい)
対立仮説:それ以外
を両側 5%で検定するにはどうすればよいでしょうか*12。
「解答」
帰無仮説のもとで µ1 = µ2 = µ3 を µとおいて、x1, x2, x3 ~ N(µ, σ2
5
)を考えるところは同じです。さらに、「問題3」
で考えたように
χ2 =1σ2
5
3∑i=1
(xi − ¯̄x)2 (5)
は自由度 2 の χ2 分布に従います。しかしこれを実際に計算しようとしても、分散 σ2 が未知なので計算できません。そこ
で t分布のところで行ったように、σ2 を不偏推定量で置き換えましょう。ここで、不偏推定量の計算としては、まず各薬ご
とに考えます。 降圧薬 A,B,Cのそれぞれにおける σ2 の不偏推定量は
σ̂2A =
14
5∑j=1
(x1j − x1)2
σ̂2B =
14
5∑j=1
(x2j − x2)2
σ̂2C =
14
5∑j=1
(x3j − x3)2
さて、これより、
χ̂2 =(x1 − ¯̄x)2
σ̂2A
5
+(x2 − ¯̄x)2
σ̂2B
5
+(x3 − ¯̄x)2
σ̂2C
5
を考えます。これで検定を行ってもよいのですが、もうひと工夫しましょう。いま、分散 σ2 は各群で共通です。そして、
推定は例数が増えれば増えるほど精度がよくなります。そこで、σ̂2A, σ̂2
B , σ̂2C を組み合わせて σ2 の推定精度を上げることを
考えます。4σ̂2
A
σ2 ,4σ̂2
B
σ2 ,4σ̂2
C
σ2 はそれぞれ独立に自由度 4の χ2 分布に従いますので、χ2 分布の性質 (i)より、
4σ̂2A
σ2+
4σ̂2B
σ2+
4σ̂2C
σ2=
5∑j=1
(x1j − x1)2
σ2+
5∑j=1
(x2j − x2)2
σ2+
5∑j=1
(x3j − x3)2
σ2 (6)
*12 これはよくある分散分析の問題そのものですね。
7
は自由度 12の χ2 分布に従います。これより、χ2 分布の性質*13から、
σ̂2 =112
(4σ̂2A + 4σ̂2
B + 4σ̂2C)
=13(σ̂2
A + σ̂2B + σ̂2
C)
は、σ̂2A, σ̂2
B , σ̂2C よりも精度のよい σ2 の不偏推定量になります*14。そこで、(5)式中の σ2 を σ̂2 で置き換えてやると、以下
のようになります。
χ̃2 =1σ̂2
5
3∑i=1
(xi − ¯̄x)2
これはパラメータの真の値を含まないので、計算できる統計量ですね。これを利用して検定してやりましょう。
この χ̃2 が従う分布を F 分布と呼んでやってもよいのですが、もう少し変形しましょう。式の形を「知っている分布に引
きつけて」整理します。まず、σ̂2 の部分ですが、12σ̂2
σ2 が自由度 12の χ2 分布に従いますので、「分子分母が χ2 分布(の定
数倍)」となるように整理すると、
χ̃2 =1
σ2
∑3i=1(xi − ¯̄x)2
σ̂2
σ215
=
1σ25
∑3i=1(xi − ¯̄x)2
112 · 12σ̂2
σ2
となります*15。ここで、分子は (5)と一致するので、自由度 2の χ2 分布に従います。一方、分母は自由度 12の χ2 分布を
自由度 12で割ったものとなっています。分母が「(χ2 統計量)/(自由度)」となっていますので、分子も同じ形に合わせま
しょう。つまり統計量 F を
F =
12 · 1
σ25
∑3i=1(xi − ¯̄x)2
112 · 12σ̂2
σ2
=12χ̃2
とするのです。ここで、実は分子の χ2 統計量と分母の χ2 統計量は独立になっています。この F の従う分布のことを、
自由度 (2,12)の F 分布と呼びます*16*17。ここで、自由度 (2,12)の F 分布の下側 95%点を F (2, 12, 0.95)とおくと*18、
F > F (2, 12, 0.95)
となったときに棄却すればよい、ということになります。
なお、この性質に基づいた検定を一般的に分散分析と呼びます。χ2 分布を使いたいのだけれど分散未知なので、t分布の
時と同じような手法で不偏推定量で置き換えた、という点がご理解いただけたでしょうか。
5.1.1 定義
では、F 分布を数式を用いて定義しましょう。
「定義」
χ21~χ2(n), χ2
2~χ2(m)(独立)とします。このとき、
F =χ2
1nχ2
2m
の従う分布を自由度 (n, m)の F 分布と呼び、F (n, m)と書きます*19。また、F (n,m)の下側 (100 · α)%点を F (n,m, α)
と書きます。
*13 χ2 が自由度 nの χ2 分布に従うとすると E[χ2] = n。
*14 (6)より、 12σ̂2
σ2 が自由度 12の χ2 分布に従います。*15 ここで、分子分母ともに σ2 という未知の値が出てきますが、χ̃2 はすでに計算できているので、σ2 が分からなければ計算できない、などということはありません。あくまで「χ2 分布の形にする」ために便宜的に分子分母を割ってやっただけです。
*16 ここで、自由度の2とは「薬の数-1」であり、12とは「薬の数」×「各群の人数ー1」です。*17 どうして χ̃2 自身の分布を考えないで、わざわざ定数倍しないといけないのか、という点については、今のところ著者には分かりません。こうしておくと F 分布がある種の対称性をもつので、その方が都合がよかったのかもしれません。
*18 χ2 分布の場合と同じく、F 分布の場合も上側棄却域のみで「両側検定」を考えることができます。*19 n, mの順番は逆にすると別の分布になってしまいます。nが分子、mが分母なので間違えないようにしてください。
8
5.1.2 一般式 (分散分析)
先の「問題4」を文字を用いて一般化させましょう。
「問題5」
降圧剤 1, · · · , I を、それぞれ n人ずつに投与するとします (全体の被験者数は N = nI 人です)。このときの、ある時点
での各被験者の血圧のベースラインからの差を
薬剤1:x11, · · · , x1n~N(µ1, σ2)
薬剤2:x21, · · · , x2n~N(µ2, σ2)
......
薬剤 I:xI1, · · · , xIn~N(µI , σ2)
とおきます(σ2 は未知とします)。このとき、
帰無仮説:µ1 = · · · = µI
対立仮説:それ以外
を両側 5%で検定するにはどうしたらよいですか。
「解答」
x1 =1n
n∑j=1
x1j , · · · , xI =1n
n∑j=1
xIj , ¯̄x =1In
I∑i=1
n∑j=1
xij
とおくと、帰無仮説のもとで、µ1 = · · · = µI を µとおくと、x1, · · · , xI~N(µ, σ2
n
)であり、
χ2 =(x1 − ¯̄x)2
σ2
n
+ · · · + (xI − ¯̄x)2σ2
n
=1σ2
n
I∑i=1
(xi − ¯̄x)2 (7)
は自由度 (I − 1)の χ2 分布に従います。ところが σ2 は未知なので、不偏推定量で置き換えることを考えます。
各薬剤における σ2 の不偏推定量を計算すると、
σ̂21 =
1n − 1
n∑j=1
(x1j − x1)2
σ̂22 =
1n − 1
n∑j=1
(x2j − x2)2
......
σ̂2I =
1n − 1
n∑j=1
(xIj − xI)2
となり、これらをまとめた
σ̂2 =1
I(n − 1)((n − 1)σ̂2
1 + · · · + (n − 1)σ̂2I )
=1
I(n − 1)
I∑i=1
n∑j=1
(xij − xi)2
もまた、σ2 の不偏推定量であり、
I(n − 1)σ̂2
σ2=
(x11 − x̄1)2
σ2+ · · · + (xIn − x̄I)2
σ2 ~ χ2(I(n − 1))
に従います。
9
ここで、(7)における σ2 を σ̂2 で置き換えると、
χ̃2 =1σ̂2
n
I∑i=1
(xi − ¯̄x)2
=
1σ2n
∑Ii=1(xi − ¯̄x)2
σ̂2
σ2
=χ2
σ̂2
σ2
=χ2
1I(n−1) ·
I(n−1)σ̂2
σ2
ここで、分子の χ2は (7)より自由度 (I−1)の χ2分布に従います。一方、分母の σ̂2
σ2 = 1I(n−1) ·
I(n−1)σ̂2
σ2 は、自由度 I(n−1)
の χ2 分布に従う統計量を自由度で割ったものとなっています。これより、分子を χ2 分布の自由度で割ってやった、
F =1
I−1 · χ2
1I(n−1) ·
I(n−1)σ̂2
σ2
=1
I − 1χ̃2
が、帰無仮説のもとで自由度 (I − 1, I(n − 1))の F 分布に従います*20。これより、
F > F (I − 1, I(n − 1), 0.95)
のときに棄却すればよい、ということになります。
5.2 F 分布のまとめ
このように、F 分布の使い方としては、「χ2 分布の分散未知版の計算」という風に解釈できるため、イメージとして「F
分布」=「t分布」×「χ2 分布」*21のように考えていただければよいかと思います。
分散分析において、一般的には「群内平方和と群間平方和の比をとって F 分布を用いて検定する」という風に言われるこ
とが多く、著者はどうしてそのような発想で「よい検定」が出来上がるのかが大変不思議でした。ですが、本稿の解釈をす
ると「別に分散の比をとることが目的ではなく、χ2 分布を使いたいけれど分散未知のため使えないので、しょうがなく分散
の不偏推定量で置き換えた結果、分母も分子も(定数倍を除いて)χ2 分布になった」という風に解釈でき、ごく自然な検定
をしている、と言えるのではないでしょうか*22。
5.2.1 F 統計量に関する補足 1
F 統計量の分母を構成するときに、「σ2 の推定を、できるだけ例数を多くしてしたい」と考えるならば、
σ̂2 =I∑
i=1
n∑j=1
(xij − ¯̄x)2
とする方が標準誤差は小さくなるので妥当のようにも思えます。確かに分母のことだけを考えるとこれは正しいです。しか
し、こうしてしまうと分子と分母の χ2 統計量が独立でなくなってしまい、分布が大変複雑になると同時に、検定の性能が
落ちているのではないかと思われます。結果的に、「どちらを使おうが同値な検定」となってしまいます。
5.2.2 F 統計量に関する補足 2
群の数が I = 2(つまり「分子の自由度」= 1)のとき、実は t統計量の2乗は F 統計量と一致します。正規分布と χ2 分
布の関係と同じように、一般に、
(t(m, 1 − α))2 = F (1,m, 1 − 2α)
*20 一般的には、この F 統計量の分子の部分を少し変形して、χ2 = 1σ2n
∑Ii=1(xi − ¯̄x)2 = 1
σ2
∑Ii=1 n(xi − ¯̄x)2 としてやった
∑の部分∑I
i=1 n(xi − ¯̄x)2 を群間平方和、分母の∑の部分、
∑Ii=1
∑nj=1(xij − x̂i)
2 を群内平方和と言います。*21 あくまでイメージです。*22 もちろん、「群内平方和と群間平方和の比をとる」という発想は大変重要です。本格的に分散分析を勉強される際は、そのような考え方ができないと読める本がありません。しかし、初学者にとって「不自然さ」の残る解釈であるようにも思います。
10
が成り立ちます。
6 まとめ
正規分布:(1,2群のデータが)ある正規分布に従うかどうかの検定(分散既知)
t分布 :(1,2群のデータが)ある正規分布に従うかどうかの検定(分散未知)
χ2 分布 :たくさんの群(3群以上)のデータが、ある正規分布に従うかどうかを1回の検定で判断する(分散既知)。
F 分布 :たくさんの群(3群以上)のデータが、ある正規分布に従うかどうかを1回の検定で判断する(分散未知)。
です。他にもこれらの分布の使い方はたくさんありますが、お互いの関係を理解するためには、このまとめ方が良いと思い
ます。
11