統計には誤差があるんですってば

このブログは最近は隔週刊を目安にしているので、今日はエントリーを書く気はなかったのだが、週末にこんなアツいネタを用意されてしまっては書かないわけにも行かない。これは何かの挑戦ですか朝日新聞社。

要するに、朝日新聞社の社員が小泉首相の靖国参拝についての世論調査の解釈を巡って大激論の末に乱闘騒ぎになって警察が呼ばれた、というしみじみと味わい深いイベントがありました、ということらしい。ただ、筆者はこの乱闘騒ぎそれ自体についてどうこう言うつもりはない。オトコノコたるもの、拳で友情を語り合うのは至極自然な事である。日本が誇るクオリティペーパーの社員が40になっても青春の輝きを保ち続けていたという事実に、筆者は日本の将来の明るい輝きを見た思いがした。後は来月あたりに、彼らが肩を組んで夕日へ向かって歩み去る姿を築地界隈で見る事が出来るかどうか、それだけが関心事だ。

で、一体彼らはどんな問題にその青春の熱い血潮をたぎらせたのかねと思って記事を読み進むと、（世論調査の）『結果は「よかった」が４２％、「するべきではなかった」が４１％とほぼ拮抗（きっこう）。関係者によると、この微妙な解釈をめぐって大ゲンカとなったという。』 待てコラ。何をどう間違えたらこれが喧嘩の種になるのか。他のどんな問題で喧嘩になっても構わないが、この問題で、世論調査部という統計処理の担当者が喧嘩をすることだけはありえない。というか許されない。

とりあえず、読者の皆様に筆者の脱力感を共有していただくために、以下少し世論調査の読み方を説明したい。お付き合いいただければ幸いだ。(10月26日:文末に重要な追記)

アンケート調査の読み方

どんなものであれ、アンケート調査というのは「ごく一部の人たちから意見を聞き、その結果から全員の意見を類推する」という作業だ。もちろん、全員に端から聞いて回れるならばそれが良いに決まっているが、何かを知るためにいちいち1億2000万人に聞いて回っていたのでは手間とコストがかかりすぎる。で、しょうがないので1億2000万人の中からランダムに何千人かのサンプルを選び、その調査結果が1億2000万人全体の動向を反映していると考えるわけだ。

で、当たり前の話だが、こういうやり方にはどうしても誤差が付きまとう。靖国参拝の賛否を問うにしても、もしかしたらものすごい確率で靖国参拝反対の人にだけ電話をかけてしまい、反対が100%になりました、という可能性だってゼロでは無いのだ（ただし、もし1億2000万人の半分が賛成だったとしたら、1000人に電話調査をかけて全員が反対と言う確率は0.00…ゼロが300個続く…009%に過ぎないのだが）。1億2000万人全員に聞いたら賛成が45%だった時に、1000人だけに聞いたら42%になりました、なんてことはごく普通にあると思わないだろうか。

つまり、世論調査を読むときには、その数字には所詮1000人分の結果に過ぎず、1億2000万人分の結果とは違う可能性があるのだ、ということを絶えず考えておかなければならない。では、今回のように賛成42%、反対41%という結果が出たときに、ここから日本国民全体の支持率をどう推測すればいいのだろうか？ここでちょっとしたテクニックを使うのだが、そうすると以下のような数字が計算できる（計算の仕方は文末）。

本当の支持率が41.6%から42.4%の間にある確率は20%
本当の支持率が40.9%から43.1%の間にある確率は50%
本当の支持率が39.4%から44.6%の間にある確率は90%
本当の支持率が38.9%から45.1%の間にある確率は95%
本当の支持率が38.0%から46.0%の間にある確率は99%
本当の支持率が0.0%から100.0%の間にある確率は100%

つまり、1億2000万人のわずか0.001%の意見を調べただけでも、1億2000万人全体の支持率について、かなり正確な推測が出来るということだ。で、通常は慣習として「本当の数字がこの範囲内にある確率は95%」となるものを誤差として採用する。つまり、42.0%±3.1%が一般的に誤差と呼ばれるものだ。専門用語を使って「信頼区間95%で誤差±3.1%」という言い方もする。

さて、これで冒頭の筆者の脱力をご理解いただけるのではないだろうか。1%の差なんて余裕で誤差の範囲内なのだ。賛成42%、反対41%から導き出せる結論は「賛成も反対も大体同じくらいなんじゃないすか」ということだけで、どちらが多いかなど結論が出しようがない。きれいに数字で結果が出ているのだから、激論の余地などこれっぽっちも存在しないのだ。そんなネタで警察呼ばれるほどに盛り上がったというのでは、間抜け以外に形容する言葉がない。

ちなみにこれは統計学の基礎の基礎であり、経済学部か商学部であれば大学1年生の必修科目に入っているはずだ。よりにもよって世論調査の担当者がそれを知らないというのはどういうことだ。乱闘がどうのというのも十分恥ずかしいが、統計を毛ほども理解していない人間が世論調査を作っているという事実はそれと同じくらい恥ずかしい話だと思うのだが。

あまりにもマナーがない日本の新聞

ちなみに、このエントリーを書いていてもう一つ呆れたのが、朝日新聞の世論調査についての記事にアンケート調査の概要が載っていないことだ。上の誤差の数字はサンプル数によって大きく変わる（サンプル数が300だと誤差は±5.6%、サンプル数が3000だと±1.8%）。それも載っていないのでは読者は判断のしようがない。それに、1500人に聞いて有効回答数1000人、というのと5000人に聞いて回答数1000人、というのとでは解釈が全く変わってくる。それはなにか答えにくい質問であって、それに答えられる少数の人（例えば暇人）の意見だけが結果に反映されていると考えねばならないからだ。当然、調査結果の信頼性は低下する。

そもそも、このエントリーで計算した誤差の数字など、本来新聞社が提供して然るべき数字だ。The Economist誌は当然にそうしていたし、朝日新聞をしのぐネタ新聞として名高い朝鮮日報ですら必ず誤差の数字を載せている（例）。なのに、筆者は日本の新聞でそれをやっている例を見たことがない。もしかしたら「読者のニーズがないからだ」という反論を受けるかもしれないが、これはそういう問題ではない。統計調査をする者が最低限守るべきマナーの問題なのだ。

そんなわけで、日本の新聞がそういう情報を明かさないまま世論調査の数字にいい加減な解説を加えているのを見るたびに、「読者なめんな馬鹿」と独り憤慨していたのだが、どうやら筆者の考えは間違っていたようだ。彼らは読者を舐めていたのではない。知らなかったのだ。よりにもよって総合研究本部世論調査部の担当者が。大学1年生レベルの基礎の統計学を。これを予想の斜め上っていうんでしょうか冨樫先生。

とりあえず、朝日新聞はこの世論調査部だけでも伊勢丹化計画を実行した方が良いと思うのだが。1ヶ月前は与太話として書いたのだが、今はわりと本気だ。

本日のまとめ

統計調査は必ず誤差を伴う（サンプル数が1000前後で、支持率その他が5割近辺であれば、誤差は大体±3%くらいになる）。

世論調査のサンプル数や誤差を表記するのは最低限のマナーだが、朝鮮日報ですら守っているそのマナーを、日本の新聞は守っていない。

それ以前に、調査の担当者がごく基本的な統計学を理解していない。

追記：誤差の簡単な計算法は以下の通り（信頼区間95%の場合）。

1.96 × { p × (1 - p) ÷ n}^0.5

pは支持率（またはそれに類するもの。40%ならp=0.4）、nはサンプル数。^0.5は0.5乗またはルートのこと。信頼区間99%を計算したい場合は1.96の代わりに2.58を使えばよい。

ビデオリサーチ社のテレビ視聴率がサンプル数2000前後らしいので、それで視聴率15%(p=0.15)の番組の誤差を計算すると、コンマ以下の数字の動きに一喜一憂するのがいかに馬鹿馬鹿しいかが分かると思う。

追記2：ここまで書いて、乱闘というのは片方が一方的に殴っただけだったということに気がつきました。そうなると冒頭の文章はちょっと違和感がありますが、どうせ与太だということで放置させてください。

追記3：以上の統計誤差の議論は、アンケート調査それ自体は完璧に行われたという仮定に基づいての話で、アンケート調査のやり方に問題があれば当然誤差は拡大します。Y売新聞の世論調査のバイトをしているという方が書かれたエントリーを読んでしまうと、もう誤差をどの程度取ればよいのか想像も出来ません（この点はぶらいあんさんのコメントも参照してください）。というか、ここまで杜撰だとは流石に思いませんでした。これはもう読者と統計学に対する重大な背信行為でしょう。もう内閣府の世論調査以外は無かったことにするのが正しいのかもしれません（こういう「何も信じられない」的な言動は好きでは無いのですが、リンク先を読んでしまうと流石に・・・）。

なお、リンク先のエントリーの信憑性は私は高いと考えています。というのは、毎回毎回世論調査で読売新聞の内閣支持率が朝日のそれよりも有意に（＝統計誤差を考慮に入れても）高く出ているという事実が傍証となっているからです。本来、どの新聞社が内閣支持率を聞いても、その数字にはほとんど差が出ないはずです。それが5%以上の開きが出る確率は極めて低く、それが常態化しているということは「朝日か読売、もしくは双方の調査の仕方が間違っている」ことの証明になります（統計的に断言できます）。所詮傍証、という見方もありますが、無視すべからざる事実だろう、ということで。