統計学における推計統計学(統計的仮説検定、推定)は、限られたデータから、興味があるグループ全体に関する結論を導こうとする際に利用されます。
(このページではできる限り専門用語を使わずに、仮説検定、推定に関して説明をします。より正確な説明は別のページで改めてご紹介をします。)
例えば、日本の大学生のツイッターを利用している人の割合を知りたいとします。
でも、日本の大学生全員にアンケートをとって、「あなたはツイッターを利用していますか?」と聞くのは現実的ではありません。
ですので、大学生全員にアンケートをとるのではなく、数名〜数100名の大学生にアンケートをお願いするなどして、得られたデータから、大学生全体に対する結論を導こうとするわけです。
そこで役に立つのが推計統計学の技術。ここから推計統計学における統計的推定と統計的仮説検定について解説をしていきます。
【目次】
統計学的推定とは何か?
-点推定
-区間推定
-信頼区間
統計的仮説検定とは何か?
-仮説検定の例とメカニズム
-仮説検定まとめ
統計学的推定とは何か?
統計学的推定とは、手持ちのデータから、興味のあるグループを要約する値に関して統計学的な結論を導くための手法です。
上の例のように「日本の大学生のツイッターを利用している人の割合」を考えてみます。
するとここでは、「興味のあるグループ」は「日本の大学生全員」ということになります。
また、「要約する値」とは、「日本の大学生全員の中で、ツイッターを利用している人の割合」です。
上述したように、日本の大学生全員にアンケートをとって、何人がツイッターを利用しているかを聞くことは現実的には不可能ですね。
そのため、数名〜数100名の大学生にアンケートをとって、得られたデータから大学生のツイッター利用者の割合を推測するのです。
これを統計学において推定と呼びます。
点推定(Point Estimate)
それでは大学生100人にアンケートをとって40人がツイッターをしていると回答したとします。
(これはテキトウに筆者が作った値で、実際はどうなのか全く知りません。)
この場合、40/100=40%が点推定で得られる推定値となります。
つまり、「日本の大学生全員に聞いた分けではないから100%確かではないけれど、得られたデータから推測をすると、大体40%の大学生がツイッターを利用していると言える」ということです。
この点推定で得られた推定値は、本当の割合を推測するのにある程度は役に立ちますが、弱点があります。
その弱点とは、「大体40%」って言うのは40%の前後どれくらいまで「大体40%」と言えるのか?が不明確なことです。
例えば、日本の大学生全員を対象とした本当の割合は、35%の可能性も有り得るということでしょうか?それとも35%は「大体」の範囲に入らないでしょうか?
そんな弱点を克服するために利用するのが区間推定です。
区間推定(Interval Estimate)
点推定では大体40%の大学生がツイッターをしていると推測できる、というように、40%という1点を推定しました。
区間推定においては、「35%〜45%くらい」といったように、割合などの推定値を区間で表します。
区間推定の推定値が(35%,45%)と算出された場合、「日本の大学生のツイッター利用者の割合はおそらく35%から45%の間である」という意味です。
しかし、ここでも問題が生じます。「おそらく35%から45%」という時、「おそらく」とはどういう意味でしょうか?
そこで登場するのが信頼区間です。
●●%の信頼区間(●●% Confidence Interval)
信頼区間とは区間推定の推定値がどれくらい信頼できるのか?が示されているものです。
例えば上記の例で、95%の信頼区間が(35%,45%)であれば、「95%の確率で日本の大学生全員のうちツイッターをしている人の割合は35%から45%の間である」という意味です。
※厳密にいうとこの解釈は間違っているのですが、初心者の方が概要を理解するにはこの解釈でよいと筆者は考えています。正確にはまた別のページで解説しますが、当ページは推定、検定の意味を直感的に理解していただくことを目的にしています。
このように、信頼水準が付いた区間推定を信頼区間と呼びます。
統計的仮説検定とは何か?
推計統計学において、推定と並んで利用されるのが統計的仮説検定です。
仮説検定は、ある仮説が正しいと結論づけるために十分な根拠があるか?を決める手法です。
例えば、コインを100回投げて52回表が出たとします。このデータから、「このコインは表が出やすいように歪んでいる。」と結論づけることができるでしょうか?
100回中52回くらいであれば、コインが歪んでいなくても、十分に出る可能性があるので、これは表が出やすいように歪んでいるとは言えない、と考えられます。
次に、コインを100回投げて99回表が出たらどうでしょうか?このデータから、「このコインは表が出やすいように歪んでいる。」と結論づけることができるでしょうか?
おそらく、ほとんどの人が、「コインは表が出やすいように歪んでいる」と結論づけると思います。というのも、仮に、このコインが歪んでいなければ、100回コインを投げて99回表が出るなどということは、まずありえないからです。
それでは、100回コインを投げて80回表が出たらどうでしょうか?これは、コインが歪んでいなければ「ありえない」ことでしょうか?それとも、コインが歪んでいなかったとしても、「たまたまそうなった」の範囲で収まることでしょうか?
この「ありえない」ことなのか、「たまたまでも起こり得る」ことなのかを、確率論的に結論づけることができるのが統計的仮説検定なのです。
仮説検定の例とメカニズム
あなたの友達がコインを持ってギャンブルを持ちかけてきたとします。そのコインを投げて表が出たらあなたの負け、裏が出たらあなたの勝ちです。
コインを10回投げたところ、
{表、表、表、表、表、表、表、表、表、表}
このように、すべて表が出てあなたは大損をしてしまったとします。
そこであなたは、そもそもコイン自体が歪んだもので、
表が出る割合が50%より高かったのではないか?と疑います。
さて、この結果は統計学的に言って、「そのコインを投げて表が出る確率が50%より高い」、つまり「コインが表が出やすいように歪んでいた」と結論づけるための十分な根拠があるのでしょうか?
ここで統計的仮説検定を利用します。
仮説検定において、正しいと結論づけようとする仮説を対立仮説と呼びます。あなたは「そのコインを投げて表が出る確率は50%より高い」と結論付けたいので、対立仮説(,Alternative Hypothesis)は以下のようになります。
この仮説を検定するために帰無仮説(きむかせつ、,Null Hypothesis)を設定します。ここでは、帰無仮説は「そのコインを投げて表が出る確率は50%である。」です。
このように、統計的仮説検定では、常に対立仮説を「●●より大きい」、「●●より小さい」「●●と等しくない」となるように設定し、帰無仮説を「●●と等しい」となるように設定します。
統計学的仮説検定においては、対立仮説が正しいと結論づけるために、帰無仮説は間違っていることを確率論的に「証明する」のです。
改めて仮説を整理すると、
となります。
さて、この例では、コインを投げて10回連続で表が出たというデータがあります。
仮に、そのコインを投げて表が出る確率が50%であると仮定すると、10回連続で表が出る確率は、つまり、約0.1%(または1000分の1)の確率ですね。
一般的に言って1000分の1しか起こる確率がないことが起こったのであれば、たまたま偶然起こったと結論づけるには無理がありますよね?
つまり、仮に「表が出る確率が50%」であると仮定すると、10回連続で表が出る確率は1000分の1しかないわけですから、そもそも「表が出る確率が50%」という仮定自体が間違っていたのであろう、と考えるわけです。
その結果、そのコインを投げて表が出る確率は50%より高い(つまり対立仮説が正しい)と結論付けます。
仮説検定まとめ
このように、統計的仮説検定においては、帰無仮説が正しいと仮定して、実際に得られたデータが「偶然の範囲内では説明できないほど小さい確率でしか起こり得ないこと」なのか、それとも「たまたま起こり得ること」なのかを判定します。
「偶然の範囲内では説明できないほど小さい確率でしか起こり得ないこと」なのであれば、帰無仮説が間違っていたと判断し、対立仮説が正しいと結論付けます。
「たまたま起こり得ること」なのであれば、対立仮説が正しいと結論づけることはできません。
これにより、「帰無仮説:そのコインを投げて表が出る確率は50%である。」は間違いであったと結論づけることができるので、「対立仮説:そのコインを投げて表が出る確率は50%より高い。」が正しいという結論になります。
推計統計学(統計的仮説検定、推定)の概念について理解いただけましたでしょうか?このページではできる限り専門用語を使わずに、メカニズムを直感的に理解していただけるように内容を作成しました。難しく感じた点などがあれば、問い合わせフォームからご連絡いただけますと、必要に応じて内容を修正できるかもしれません。
推計統計学を深く理解するためには母集団、標本、パラメータ、統計量、検定統計量、P値、有意差などの用語が登場しますが、これは「統計学の基礎」の中で一つづつ解説をしていきます。また、推定、仮説検定に関しても、「専門用語を使う編」にてもう少し厳密にご紹介します。