はじめに
よく研究データなどで、有意差あり！とお墨付きのように書かれているのをみることがあります。
有意差という言葉はよく見るものの、その意味はかなり複雑で直感的に理解できるものではなかったりします。
本記事では基本的な検定の方法と有意差の意味について説明します。
「有意差がある」とはどういう意味なのかが理解できるようになります。
統計のモヤモヤシリーズとして、ハマりやすい事項について解説しています。
前回記事
検定と有意差
検定とは、得られたデータをもとに母集団についての仮説が正しいかどうかを確率的に判断する手法を意味します。検定により、帰無仮説が棄却されたときに有意差があるといいます。
有意差は検定と深く結びついています。
次節から検定のやり方について、例を基に見ていきます。
問題設定
例えば、ある瓶詰めの製品Aを持っているとします。
この製品は1回あたり、20g詰められるように設定されています。10(=n)回瓶詰めをしたところ、重さは下記でした。
20.6, 20.1, 20.4, 19.8, 20.2, 20.7, 20.0, 20.3, 20.5, 20.4
ざっと見たところ、20g超える数値ばかりなので20gよりも多い量が詰められるのかな？という感じがします。
データを平均をとると$\bar{x}=20.3g$で、確かに20gを超えてますがこの結果だけで平均値が20gでないというのは、言い過ぎな感じがします。
こういう時に検定を使います。
考え方
先の問題では、製品Aは20g詰められている、と仮定します。
これを帰無仮説と呼びます。
「差がない」「効果がない」「関係がない」と仮定する、無（ゼロ）を意味する初期の主張という意味です。
帰無仮説を否定するには、それなりにしっかりとしたデータを持ってくる必要があります。
先の10回測定データはそれに足るものと言えるかを判断します。
正規分布の導入
先の問題で、製品Aによる瓶詰めの重さは正規分布しているとするのが自然です。
なんで正規分布としていいの？と思った人はこちらの記事を参照ください。
今の問題では母平均$\mu=20$と仮定しました。
また簡単のため、正規分布の分散$\sigma^2=0.4^2$で既知とします。
n点の平均値の分布では、分散$\sigma^2$は$\sigma^2/n$になります。
ここまでをまとめると、製品Aの10回平均の値は母平均20,分散$0.4^2/10$の正規分布と仮定できます。
統計検定量
先ほどは、実際のデータを扱っていました。(20.6, 20.1, 20.4, 19.8,,,)
正規分布で扱う都合上、正規化してしまった方が綺麗に扱えます。
つまり、以下の式で$u$に変換します。
$$
u = \frac{\bar{x}-\mu}{\sqrt{0.4^2/10}}
$$
帰無仮説の$\mu=20$が正しいという仮定の下で、uは平均値0,分散が$1^2$の標準正規分布に従います。
$$
u \sim N(0,1^2)
$$
uを統計検定量とよびます。
先の例では、$\mu=20,\bar{x}=20.3,n=10$なので、$u=2.37$と計算できます。
有意水準
正規分布の特性から、$|u|<1.96$となる確率は95%、逆にいうと$|u|>1.96$となる確率は5%です。
5%はかなり珍しいことと言えます。
もし $|u|>1.96$となった際は、こんなに珍しいことが起こるということは、平均値が20gという帰無仮説を棄却しようとなります。
先の例では$u=2.37$であり$|u|>1.96$を満たすため、偶然というには珍しすぎるため$\mu=20$という帰無仮説は棄却されます。
試しにu=0の条件(母平均が20gに一致)でサンプリングしてヒストグラムを出してみます。
2.37となるのは確かにかなり珍しい、起こりづらいことだと分かります。
この時の5%(=0.05)を有意水準と呼びます。
5%がよく使われますが、場合に応じて1%、10%も設定されます。
以上が検定の基本的な流れです。
定量的と言えば響きはいいですが、所々ガバガバな感じがしませんでしたか？
補足
今の例では母分散は既知としましたが現実では不明なことが殆どで、上記のような正規分布を使った検定を使うことはまずありません。
多くの場合は、t分布を使ったt検定を行います。
また平均値の検定を取り上げましたが、分散を扱う時はχ二乗検定、2つのデータの分散を比べるときはF検定、得られたデータが正規分布かどうかを判定するシャピロウィルクの正規性の検定、など様々なものがあります。
検定の注意事項
検定の流れを前節で解説しましたが、注意事項が多いのでここで説明します。
有意差は差の有無であって差の大小でない
研究データで有意差あり！と言われると成果が凄く、効果が大きいような印象を受けがちです。
検定で言えるのは、差があるかどうかです。
効果の大小や成果の大きささについては何も言っていない点を理解しておく必要があります。
5%はどこから来たの？
確率5%で有意差有無の基準にしましたが、なぜ5%なのでしょうか？
実は数学的な必然性はありません。
人間の直感にもあっていて、昔からよく使われている数値なのです。
検定は1回だけ行う
検定は何度も行ってはいけません。
帰無仮説が棄却できない状況でも、20回に1回(=5%)は有意差ありとなってしまうからです。
何回もデータをとっていると、帰無仮説が正しくても、棄却できるデータが取得されてしまうのです。
また少し見方を変えると、検定は「5%以下の珍しい現象は最初の一回目に起こることはないよね」というのが前提にしているとも解釈できます。
有意水準は状況に応じて決めていい
有意水準の値は、5%以外の値を設定してもよいです。
ただし、データを見てから有意水準をいくらにするかを考え出すと何でもありになってしまいます。
そのため、有意水準は測定前に決めて変更しないというのがお作法です。
まとめ
今回、検定の方法と有意差、注意事項について解説しました。
有意差があるというのは、「帰無仮説が正しいという仮定の下では、今回のデータは珍しい」という意味です。
そして、有意水準の5%にも数学的な必然性はありません。
「有意差あり！」というと凄いことのように感じさせる魔力のようなものがあると思います。
そう言ってしまえば突っ込まれることはほぼ無いように思います。
これは、検定自体はツッコミどころ多い割に手順と内容が複雑なため、きちんと理解している人が少なく適切にその意味を判断できる人が少ないためではないかと思います。
そして、この複雑さが検定や有意差に対して権威を与えているように感じます。
参考文献
今回触れませんでしたが、検定、有意差も頻度主義で用いられる手法です。
これはベイズ統計の歴史についての本ですが、どうやって頻度主義が受け入れられていったかの歴史について知ることができ、興味深いです。
スタンダードな統計の教科書です。永田先生は他にも教科書を執筆されていますが、どれも記述が簡潔でわかりやすい印象があります。この本も他の統計の教科書よりも読みやすいと思います。
コメント