サンプリングとクレンジング

1. 標本誤差とサンプリングバイアスの違い

第3章で学んだとおり、私たちが分析する多くのデータは、母集団全体ではなく、その一部を抜き出した標本です。標本を使う以上、母集団の真の値と標本から計算した値との間には、どうしてもズレが生じます。このズレには、性質の異なる2種類があることを区別しなければなりません。

ひとつは標本誤差^※1です。これは、たとえ標本の抽出方法がまったく偏りなく正しく行われていたとしても、「たまたま」抜き出した標本が母集団の縮図とぴったり一致しないことから生じる、避けられない誤差です。標本誤差は、一般に標本のサイズ(データの個数)を大きくすることで小さくできます。

もうひとつはサンプリングバイアス^※2(選択バイアス)です。これは、標本の抽出方法そのものに偏りがあるために生じる誤差で、標本のサイズをいくら増やしても解消しません。むしろ、偏った方法でたくさんデータを集めるほど、誤った結論に自信を持ってしまう危険すらあります。

さえ

「アンケート回答数が1万件もあるから信頼できる!」って安心するのは早いかも。回答者が偏ってたら、いくら数を集めてもサンプリングバイアスは消えないんだよね。

2. 実験計画法の3原則 ― 局所管理化・反復・無作為化

サンプリングバイアスを避け、正しく結果を比較するための伝統的な方法論が実験計画法^※3です。もともとは農業実験(肥料や品種の効果比較)から発展した考え方ですが、A/Bテストなど現代のビジネス実験にも直結する重要な基礎知識です。実験計画法には、フィッシャーが提唱した3つの基本原則があります。

この3原則の中でも、特にビジネス実務で重要なのが無作為化です。たとえば新しいWebデザインの効果を試すとき、「アクセスの多い曜日だけ新デザインを見せる」といった恣意的な割り当てをしてしまうと、デザインの効果なのか曜日の効果なのかを区別できなくなります。対象をランダムに2群に分ける(A/Bテスト)ことで、既知・未知を問わずさまざまな要因の影響を両群で均等にならし、比較したい条件そのものの効果だけを取り出しやすくなります。

さえ

A/Bテストで「ランダムに振り分ける」のが大事だってよく聞くと思うけど、それってこの「無作為化」のことなんだよね。名前は難しいけど中身はシンプル!

3. 外れ値・異常値・欠損値への対応

サンプリングの方法を整えても、実際に集まったデータには「汚れ」がつきものです。この汚れを取り除き、分析に使える状態に整える作業をデータクレンジング^※4と呼びます。クレンジングで扱う代表的な3つの問題が、外れ値・異常値・欠損値です。

外れ値^※5とは、他の大部分のデータから大きく離れた値のことです。必ずしも誤りとは限らず、まれに発生する正当な値(たとえば超大口の注文)であることもあります。異常値^※6は、入力ミスやシステムの不具合など、明らかに誤りと判断できる値のことです(たとえば年齢が「−5歳」や「300歳」など)。欠損値^※7は、本来記録されるべきデータが記録されていない、空欄の状態を指します。

対応の基本は、指示のもと適切に検出と除去・変換などの対応ができることです。外れ値をむやみに削除すると、実は重要な兆候(不正利用や新たな顧客層など)を見逃してしまう場合があります。逆に異常値をそのまま残すと、平均や分散などの基本統計量が大きく歪んでしまいます。欠損値についても、単純に行ごと削除してよい場合と、平均値や中央値で補完すべき場合、欠損していること自体に意味がある場合(未回答が多い設問など)があり、機械的に一律の処理をするのではなく、データの性質と分析の目的に応じて判断する必要があります。

さえ

外れ値だからって脊髄反射で消しちゃダメだよ。「なんでこの値になったのか」を確認してからじゃないと、大事な発見を消しちゃうかも。ここはよく引っかかるポイントだから注意!

まとめ

4-3では、データの集め方(サンプリング)と、集めたデータの整え方(クレンジング)の基礎を整理しました。振り返っておきましょう。

1. 標本誤差とサンプリングバイアス ― 標本誤差は偶然のズレでサンプル数を増やせば小さくなるが、サンプリングバイアスは抽出方法自体の偏りでサンプル数を増やしても解消しない
2. 実験計画法の3原則 ― 局所管理化(グループ分け)・反復(繰り返し)・無作為化(ランダムな割り当て)
3. 外れ値・異常値・欠損値 ― それぞれの定義を区別し、指示のもと適切に検出・除去・変換の対応を行う

次のレッスンでは、クレンジングを経て整ったデータを、実際に分析やモデリングに使える形へと加工する技術(4-4. データ加工と特徴量)を扱います。標準化やダミー変数化など、統計・機械学習の土台となる処理を見ていきましょう。