公開

標本調査と仮説検定とは?アンケートの人数・選び方・p値を図解

文:野澤 嘉孝 (ソフトウェアエンジニア/プログラミングスクール Sandbox 代表)

標本調査と仮説検定とは?アンケートの人数・選び方・p値を図解

この記事の概要

20人に聞いたら青が人気。別の20人に聞いたら赤が人気。どちらの結果を信じればよいのでしょうか? 一部の人の回答から全体を考えるときは、人数だけでなく、選び方と結果のブレも確かめる必要があります。 先に結論:「何人に聞いたか」と「どう選んだか」をセットで見る

20人に聞いたら青が人気。別の20人に聞いたら赤が人気。どちらの結果を信じればよいのでしょうか?

一部の人の回答から全体を考えるときは、人数だけでなく、選び方と結果のブレも確かめる必要があります。

先に結論:「何人に聞いたか」と「どう選んだか」をセットで見る

  • 標本調査:全体(母集団)から一部(標本)を選び、全体の傾向を考える。人数を増やしても、選び方の偏りは自動的には直りません。
  • 仮説検定:仮説とモデルを置き、そのもとで今回と同じか、さらに極端な結果がどれくらい出るかを調べて判断する。
  • 今回の結論:青12票・赤8票だけでは、この記事の条件で「全体でも青を選ぶ割合が半分を超える」と判断する十分な証拠は得られません。

「標本で票が多かったこと」と「全体について言えること」を分けながら、ポスターの人気投票で考えてみましょう。

プロ研のYouTubeチャンネル

20人に聞いたら青の勝ち。翌日は赤の勝ち?

4月。部活紹介ポスターの青案と赤案を比べるため、ユウキが廊下で20人に聞きました。青12票、赤8票です。

ユウキ「4票差! 青が人気で決まりだね」
ハルカ「でも、私が翌日、別の20人に聞いたら青9票、赤11票だったよ」
Sandy「どっちも数えまちがいはない。せやけど、聞いた相手は同じやないで」

2回とも20人ですが、青と赤のどちらが多いかは逆転しました。

20人ずつの2回の架空調査で青12対赤8から青9対赤11へ逆転する比較

調べる一部が変われば結果も変わり得ます。今回の原因が偶然だけとは断定できません。

物語と票数は学習用の架空設定です。選ばれた人が変わることによるブレのほか、聞く場所や時間、回答する人の偏りも考えられます。まず「全体」と「調べた一部」を区別しましょう。

母集団と標本:全体を知るために一部を調べる

母集団は、調べたい対象全体。全校生徒の好みを知りたいなら全校生徒が母集団です。そこから取り出して調べる一部を標本といいます。

標本の大きさは、1つの標本に含まれる人数や個数です。20人の回答をまとめた標本なら、大きさは20です。

全体と、そこから調べる一部の関係を図にすると、次のようになります。

母集団の40点から標本の8点を取り出す関係を示した模式図

母集団は対象全体、標本は調べる一部。この模式図の標本の大きさは8です。

方法

調べる対象

例

全数調査

母集団すべて

全校生徒に好みを聞く

標本調査

母集団の一部

選んだ生徒に聞いて全体を考える

全員に聞くには時間や費用がかかります。また、電球の寿命試験のように、調べると対象が使えなくなる調査もあります。こうした場合に標本調査が役立ちます。

ただし、一部の結果から全体を考えるには、その一部をどう選ぶかが大切です。全数調査でも、未回答や記入ミスなどの問題は残り得ます。「全部に聞いたから、あらゆる誤りがゼロ」とも限りません。

無作為抽出と、標本誤差・偏りの違い

無作為抽出は、確率の仕組みを使って標本を選ぶこと。「近くにいる人を適当に選ぶ」という意味ではありません。

たとえば全校生徒の名簿から、決めた人数を重複なく選び、同じ人数のどの組合せも同じ確率になるようにする方法が単純無作為抽出です。無作為抽出にはほかの方法もあるため、すべてをこの方法と同じ意味にはしません。

適切に無作為抽出しても、毎回まったく同じ意見の人が選ばれるわけではありません。一部を調べることで生じる、標本の結果と全体の値とのずれを標本誤差といいます。

一方、昼休みの特定の廊下にいる人だけに聞けば、その場所に来ない人の意見が入りにくくなります。選び方や未回答などによって、全体をうまく代表できなくなる問題が偏りです。

人数を増やしたときの違いを、整理しておきましょう。

無作為抽出でも生じる標本誤差と選び方などに由来する偏りの違い

適切な抽出で人数を増やすと典型的なブレは小さくなりますが、偏りは人数だけでは解消しません。

  • 適切な抽出を保って人数を増やすと、ブレの典型的な大きさは一般に小さくなります。
  • ただし、個々の調査で誤差が必ず小さくなる保証ではありません。
  • 同じ偏った選び方のまま人数だけを増やしても、偏りは解消できません。

ユウキ「じゃあ廊下で200人に聞けば、全部解決……ではないのか」
Sandy「人数の前に、誰に届いて、誰に届いてへんかも見なアカンねん」

名簿の漏れ、回答しない人の特徴、質問の聞き方にも注意します。単に乱数を使ったというだけで、調査の問題がすべて解決するわけではありません。

帰無仮説と対立仮説:何を確かめるか先に決める

ここからは考え方を学ぶため、各回答が独立で、同じ確率で青を選ぶモデルを使います。廊下の調査がその条件を満たすと確定したわけではありません。

今回は、結果を見る前に「青を選ぶ割合が半分を超えるか」を調べると決めたものとします。青が多い方向だけを調べる片側検定の例です。

仮説

今回の内容

対立仮説

青を選ぶ割合は半分より大きい

帰無仮説

青を選ぶ割合は半分以下

計算では、帰無仮説の境界である五分五分を基準にします。青を選ぶ確率が半分以下の中では、半分のときが「青12票以上」を最も出しやすいからです。なお、「青と赤のどちらでもよいので差があるか」を調べる場合は、別の方向設定と計算が必要です。

五分五分だとしても、20人の結果が必ず10対10になるわけではありません。そこで「五分五分のモデルでも、12票以上の青はどのくらい出るか」を調べます。

今回のp値は、五分五分のモデルで青が12票以上になる確率です。12票だけでなく、それより青が多い13〜20票も合わせます。「青のほうが人気」という主張に沿って、今回以上に青へ偏った結果まで数えるためです。

一般にp値は、帰無仮説とモデルの条件のもとで、観測結果と同じか、検定で定めた方向へさらに極端な結果が出る確率として求めます。

p値は、次のどちらでもありません。

  • 帰無仮説が正しい確率
  • 今回の結果が偶然だけで生じた確率

また、帰無仮説をいつでも「差がないこと」と丸暗記するのも避けましょう。何を確かめたいかに応じて、仮説と調べる方向を決めます。

有意水準とシミュレーション:12票以上は約25%

有意水準は、帰無仮説が正しいのに誤って棄却する確率を、どこまでに抑えるかという基準です。5%や1%などを、結果を見る前に決めます。

用語

いつ・どう決まるか

今回の値

有意水準

結果を見る前に決める、判定の基準

5%

p値

観測結果と、決めたモデル・検定方法から求める

青12票以上の確率

検定の順番は、①仮説・方向・人数・基準を決める → ②データを集める → ③p値を求める → ④有意水準と比べて判断するです。

この記事では有意水準5%とし、p値が5%以下なら帰無仮説を棄却、5%を上回れば棄却しない、という規則にします。

Sandy「結果を見てから、都合ええ線に動かしたらアカンで」

五分五分のモデルを試すなら、公正なコインの表を青、裏を赤に対応させます。

  1. コインを20回投げることを、1回のアンケートに見立てる。
  2. 青が何回出たかを記録する。
  3. この20回セットを、たとえば1万セット繰り返す。
  4. 青が12回以上だったセットの割合を数える。

Pythonで1万セットを試すと、青12回以上は2,546セット、25.46%でした。Python標準randomで種45を使い、各回の乱数が0.5未満なら青としています。乱数の種を変えると、結果も変わります。

一方、同じ条件から計算した理論値は約25.17%です。シミュレーションはこの確率を繰り返しの実験で見積もる方法なので、結果は理論値とぴったり同じになるとは限りません。

理論分布で12票以上になる部分を色分けすると、次のようになります。

独立で青赤五分五分の20回の理論分布で青12票以上を着色したグラフ

青12票ちょうどではなく12〜20票の確率を合計すると、約25.17%になります。

「12票ちょうど」の理論確率は約12.01%。p値として使う「12票以上」の約25.17%とは別です。

約25.17%は、およそ4回に1回です。五分五分でも、このくらい青に偏った結果は出ます。p値約25.17%>有意水準5%なので、今回の規則では帰無仮説を棄却しません。

「棄却できない」は「差がないと証明した」ではない

この結果から言えるのは、今回のモデルとデータでは、青の割合が半分を超えるという十分な証拠は得られないということです。

ユウキ「じゃあ青も赤も人気は同じ、と証明できた?」
Sandy「そこまでは言うてへん。『青が半分を超えると言い切る証拠が足りん』いう結果や」

逆に棄却できた場合も、結論が絶対に正しいと証明されたわけではありません。有意水準5%は「この結論が間違っている確率は5%」という意味でもありません。

また、統計的に有意かどうかだけで、差の大きさや実用上の重要性までは分かりません。ポスターの選定なら、見やすさや制作費なども判断材料になります。

同じ6対4でも、20人と200人では違う

独立・五分五分のモデルで、青が多い側を調べるときの理論値を比べます。

結果

計算する上側の確率

p値

有意水準5%での判定

20回で青12・赤8

青12票以上

約25.17%

棄却しない

20回で青14・赤6

青14票以上

約5.77%

棄却しない

20回で青15・赤5

青15票以上

約2.07%

棄却する

200回で青120・赤80

青120票以上

約0.28%

棄却する

12対8も120対80も青の割合は60%ですが、同じモデルのもとでの証拠の強さは違います。

独立五分五分のモデルで票数と人数ごとにp値と5%水準の判定を比べる表

同じ青60%でも、20回と200回ではモデル上の証拠の強さが異なります。

20回の場合、この判定規則では青15票以上が棄却する範囲です。境目が整数の票数なので、五分五分のとき実際に棄却する確率は約2.07%となり、設定した5%ちょうどにはなりません。

ただし、名簿から重複なく200人を選ぶ実際の調査に、独立なコイン200回のp値を無条件に当てはめてはいけません。対象全体の人数や抽出する割合などに応じて、使うモデルを確認します。

では、結局何人に聞けばよいのでしょうか。「200人なら正解」という万能な人数はありません。 調査前に、次を整理します。

  • 何を知りたいか:青を選ぶ割合を見積もりたいのか、半分を超えるかを調べたいのか。
  • どれくらいの精度が必要か:割合の見積もりのブレをどこまで許すか、どの程度の差を見つけたいか。
  • 誰をどう選ぶか:母集団の人数、抽出方法、未回答への対応をどうするか。

その条件に合わせて必要な人数を計画します。結果を見てから有意になるまで人数を足す方法は、ここで決めた検定手順とは異なります。

オリジナル練習問題:判断と言い換えを確認

以下はこの記事用の学習問題です。実際の共通テスト問題ではありません。

今回の独立・五分五分モデルで、20回中青が14票でした。青が多い側を調べ、有意水準は事前に5%としています。「14票以上」の確率が約5.77%なら、どの判断が適切でしょうか。

  1. 帰無仮説を棄却し、青が人気だと絶対に証明した。
  2. 帰無仮説を棄却せず、青の割合が半分を超える十分な証拠は得られないとする。
  3. 帰無仮説が正しい確率は5.77%だとする。

正解は2。 5.77%は5%を上回ります。棄却しないことは「差なしの証明」ではなく、p値は仮説が正しい確率でもありません。

追加問題。特定の部活の生徒ばかりに聞いたアンケートで、同じ選び方のまま回答数を増やせば、全校の意見を代表できるでしょうか。

人数を増やすだけでは保証できません。 対象全体に回答の機会が届くように、選び方や未回答の状況を見直す必要があります。

まとめ:「何票差?」の前に「何人に、どう聞いた?」

ユウキとハルカは、全校の意見を知るための選び方を決め、調べ直すことにしました。名簿から選ぶ場合も、未回答や集計方法、使うモデルまで確認します。標本で多かった案と、全体について言えることを分けて報告します。

  • 母集団は調べたい対象全体、標本はそこから調べる一部。
  • 無作為抽出は確率の仕組みで選ぶこと。近くの人を適当に選ぶことではない。
  • 標本誤差と偏りは別。人数を増やすだけで偏りは解消しない。
  • 仮説・方向・有意水準・人数・分析手順を事前に決める。
  • p値や棄却の判断は、モデルの条件と合わせて読む。

Sandy「『こっちが人気』って聞いたら、『何人に、どう聞いたん?』。その一言から、結論の見え方が変わるで」

関連学習:第44話|記事原稿|正規分布・標準化・偏差値

乱数でアンケートを再現すると、結果が毎回変わることを確かめられます。プログラミングスクールSandboxでは、アプリ制作やデータ分析などに取り組めます。

参考資料

あわせて読みたい記事

Sandboxのサポート内容 Sandboxの情報Ⅰ学習サポートを見る →
共通テスト情報Ⅰのまとめ 共通テスト「情報Ⅰ」対策シリーズの一覧を見る →
野澤 嘉孝

この記事を書いた人

野澤 嘉孝

ソフトウェアエンジニア/プログラミングスクール Sandbox 代表

ソフトウェアエンジニア。同志社大学理工学部を経て、京都大学大学院で核融合発電の基礎研究(プラズマ物理)に従事。高校生向け数学塾の講師、大学での物理実験の授業を通じて延べ500名以上の学生をサポート。現在は業界特化型SaaSの開発に携わりながら、小中高生向けプログラミングスクール Sandbox を運営。

プロフィールと執筆記事の一覧 →

「情報Ⅰ、うちの子はどう対策すればいい?」

情報Ⅰ対策について無料で相談する

志望校の配点を一緒に確認したい方は → 無料の学習相談へ

入会金無料・いつでも退会OK・退会後もいつでも再入会できます