機械学習の全体像

1. 機械学習とは何か ― 教師あり学習と教師なし学習

機械学習^※1とは、コンピュータにルールを人間がすべて書き下すのではなく、大量のデータからパターンや規則性を自動的に学習させる技術の総称です。従来のプログラミングが「条件と処理を人間が明示的に書く」ものだったのに対し、機械学習は「データを与えると、モデルが自らパターンを見つけ出す」という発想の転換にあります。

機械学習は、学習のさせ方によって大きく2つに分類されます。ひとつは教師あり学習で、「入力データ」と「正解ラベル」がセットになった訓練データを使い、入力から正解を予測するモデルを作ります。もうひとつは教師なし学習で、正解ラベルを与えず、データそのものの構造やパターン(グループ分けなど)を見つけ出します。「教師あり学習」「教師なし学習」の違いを理解していることは、DS検定の必須スキルチェック項目です。

機械学習の手法は、回帰や分類、クラスター分析など解決できる問題によって性質が異なります。たとえば「来月の売上金額を予測したい」という連続的な数値を当てる問題は回帰、「この顧客は解約するかしないか」という区分を当てる問題は分類、「似た購買行動をとる顧客をグループ分けしたい」という正解のないグループ化はクラスター分析にあたります。手法を3つ以上知っており、それぞれがどんな問題を解決できるかを説明できることが、DS検定でも求められます。

さえ

「正解ラベルがあるかないか」、これだけで教師あり・教師なしを見分けられるよ。試験でもまずここが問われるから、迷ったら「正解、渡されてる?」って考えてみてね。

2. アノテーションという地味だけど大切な作業

教師あり学習を行うには、入力データに対応する「正解ラベル」が必要です。この正解ラベルを人手などで付与していく作業をアノテーション^※2と呼びます。たとえば猫と犬を見分ける画像分類モデルを作りたいなら、大量の画像1枚1枚に「これは猫」「これは犬」というラベルを付ける必要があります。

アノテーションは地味な作業に見えますが、教師あり学習の精度は、アノテーションの質と量に大きく左右されます。ラベル付けの基準が担当者によってバラバラだったり、誤ったラベルが混ざっていたりすると、どれだけ優れたアルゴリズムを使っても正しい予測はできません。実務では、アノテーションのガイドラインを整備し、複数人でチェックする体制を組むことが多くあります。

3. 過学習と汎化 ― モデルは「丸暗記」してはいけない

機械学習モデルを訓練するとき、もっとも注意すべき現象のひとつが過学習^※3(オーバーフィッティング)です。過学習とは、モデルが訓練データに対して異常なほど精度良く適合してしまい、訓練データの細かいノイズやクセまで丸暗記してしまう状態を指します。

過学習したモデルは、訓練データに対しては驚くほど高い精度を出しますが、訓練時に見たことのない未知のデータ(テストデータや本番データ)に対しては精度が大きく落ちるという問題を引き起こします。これは、モデルが「データの背後にある本質的なパターン」ではなく、「その訓練データだけに存在する偶然の癖」を学習してしまったために起こります。過学習とは何か、それがもたらす問題について説明できることは、DS検定の必須スキルチェック項目です。

過学習の対義語にあたる、未知のデータにもうまく対応できる能力を汎化性能と呼びます。機械学習モデルづくりの目標は、訓練データへの当てはまりの良さだけでなく、この汎化性能を高めることにあります。過学習を防ぐには、モデルを複雑にしすぎない、データ量を増やす、正則化と呼ばれる手法でモデルの複雑さにペナルティを課す、といったアプローチが取られます。

さえ

過去問を丸暗記しただけだと、本番で問題文が少し変わっただけで解けなくなっちゃうよね。モデルもまったく同じで、「暗記」じゃなくて「応用が利く学び方」を目指すのが大事なんだよ。

4. 次元の呪い ― 変数を増やせばよいわけではない

機械学習モデルに使う「特徴量(変数)」の数を増やせば増やすほど精度が上がる、と思われがちですが、実際にはそう単純ではありません。特徴量の数(次元数)が増えるにつれて、データが存在しうる空間が爆発的に広がり、同じデータ量ではその空間をスカスカにしか埋められなくなる現象を次元の呪い^※4と呼びます。

次元が高くなるほど、データ点同士の距離の意味が薄れ、「近い/遠い」を使う多くのアルゴリズム(kNNなど)の性能が悪化しやすくなります。また、次元が増えるほど過学習も起きやすくなります。次元の呪いとは何か、その問題について説明できることが、DS検定でも問われます。対策としては、本当に重要な特徴量だけを選ぶ「特徴量選択」や、情報を圧縮する「次元削減」といった手法が用いられます。

5. モデルの公平性 ― バイアスと差別的な振る舞いのリスク

機械学習モデルは、与えられたデータからパターンを学習するため、元のデータに偏り(バイアス)が含まれていれば、そのバイアスをそのまま、あるいは増幅して学習してしまうリスクがあります。観測されたデータに社会的な偏見や過去の差別的な慣行の痕跡が含まれている場合、モデルはそれを「正しいパターン」として学習してしまいます。

さらに、学習データの中で少数派にあたるデータは、モデルから見ると出現頻度の少ない「ノイズ」のように扱われてしまうことがあります。その結果、モデルの出力が特定の属性の人々に対して不利益をもたらす、差別的な振る舞いをしてしまうリスクがあることを理解しておく必要があります。これはDS検定の必須スキルチェック項目のひとつです。

こうしたリスクに対応するには、モデルの予測結果が特定の属性ごとに不当な差を生んでいないかを事後的にチェックしたり、学習データ自体の偏りを是正したりする取り組みが求められます。モデルを「作って終わり」にせず、公平性の観点から継続的に点検する姿勢が重要です。

さえ

AIは中立に見えて、実はデータの偏りをそのまま映す鏡なんだよね。少数派のデータが「ノイズ扱い」されちゃうって話、試験でもよく問われるポイントだから覚えておこう!

6. モデルの説明可能性 ― 大域的な説明と局所的な説明

機械学習モデル、とくに複雑なモデルは「なぜその予測をしたのか」がブラックボックスになりがちです。この予測の根拠を説明する方法には、大きく2つの視点があります。ひとつは大域的(global)な説明で、モデル全体として「どの変数が予測にどれくらい寄与しているか」を示します。もうひとつは局所的(local)な説明で、「この1件のレコード(個々の予測)について、どの変数がどう寄与したか」を示します。

たとえば与信スコアリングモデルであれば、大域的な説明は「モデル全体として、年収と返済履歴が最も重要な変数である」という説明であり、局所的な説明は「この申込者個人が否認された理由は、直近の延滞履歴の影響が大きかったから」という説明にあたります。大域的な説明と局所的な説明の違いを理解していることは、DS検定のスキルチェック項目です。

7. データの分け方 ― ホールドアウト法と交差検証

過学習を防ぎ、モデルの本当の実力(汎化性能)を正しく評価するには、手元のデータを役割ごとに分割することが欠かせません。基本となるのがホールドアウト法^※5で、手元のデータを訓練データ(モデルを学習させるためのデータ)、検証データ(パラメータチューニングに使うデータ)、テストデータ(最終的な性能評価に使う、一度も学習に使わないデータ)の3つに分割します。

テストデータを訓練やチューニングに一切使わないことが重要です。もしテストデータの情報が学習過程に漏れてしまうと、テストデータでの評価が「見たことのある問題を解く」評価になってしまい、本当の汎化性能を測れなくなります。

ホールドアウト法は手軽ですが、データの分け方によって評価結果がぶれやすいという弱点があります。これを補うのが交差検証(クロスバリデーション)です。データをいくつかのグループ(フォールド)に分割し、そのうち1つを検証用、残りを訓練用として使う、という手順をグループを入れ替えながら繰り返します。すべてのデータが1度は検証用として使われるため、より安定した精度評価が可能になります。ホールドアウト法、交差検証法の仕組みを理解し、訓練データ、検証データ、テストデータを作成できることが、DS検定でも求められます。

さえ

テストデータをチューニングに使っちゃうのは「カンニングして模試の点数が良かった」って言ってるようなもの。試験でも「テストデータは学習に使わない」って原則、絶対覚えておいてね!

8. 運用後の落とし穴 ― データドリフト

機械学習モデルは、一度精度良く作ったら終わりではありません。モデルは学習を完了した時点のデータの傾向にもとづいて作られているため、時間の経過とともに世の中のデータの性質が変化すると、モデルの前提とズレが生じ、精度が徐々に劣化していきます。この現象をデータドリフト^※6と呼びます。

たとえば消費者の購買行動や市場環境、季節性、競合の動きなどは常に変化しています。学習時点では優秀だったモデルも、こうした変化についていけなくなれば、いずれ実務で使い物にならなくなります。そのため、機械学習モデルは運用開始後も継続的に精度をモニタリングする必要があることを理解しておくことが重要です。

9. ニューラルネットワークの基本的な考え方

機械学習の中でも、人間の脳の神経細胞(ニューロン)のつながりを模した仕組みをニューラルネットワーク^※7と呼びます。ニューラルネットワークは、データを受け取る入力層、情報を変換・組み合わせて特徴を抽出する隠れ層、最終的な予測結果を出力する出力層という3種類の層が連なった構造をしています。

各層のニューロンは、前の層からの入力を重み付けして合計したあと、活性化関数と呼ばれる関数を通して次の層に伝えます。活性化関数が重要なのは、それが入っていないと、どれだけ層を重ねても結局は単純な足し算・掛け算の組み合わせ(線形な変換)にしかならず、複雑なパターンを表現できないためです。活性化関数によって非線形性が加わることで、ニューラルネットワークは複雑な関係性を学習できるようになります。ニューラルネットワークの基本的な考え方、入力層・隠れ層・出力層の概要、活性化関数の重要性を理解していることは、DS検定の必須スキルチェック項目です。

10. 連合学習 ― データを持ち寄らずにモデルを鍛える

機械学習は「データを1か所に集めて学習する」のが基本形ですが、個人情報保護や機密性の観点から、データそのものを外部と共有できないケースも多くあります。この課題に対応する技術が連合学習(フェデレーテッドラーニング)^※8です。

連合学習では、各拠点(スマートフォンや病院、企業など)が自分の手元にあるデータを外部に出すことなく、それぞれの手元でモデルを学習し、学習によって得られた「モデルのパラメータ(重み)」だけを中央のサーバーに送って統合します。データそのものは各拠点から一歩も外に出ないため、プライバシーを保ちながら、複数の組織のデータを活かした強力なモデルを構築できる点が特徴です。

11. モデルより先にデータを見直す

機械学習の精度を上げたいとき、多くの人はまず「もっと高度なアルゴリズムを使おう」「パラメータをもっとチューニングしよう」と考えがちです。しかし実務では、モデル自体の改善よりも、データの質と量を向上させるほうが効果的な場合が多いことが知られています。

たとえば、ラベルの誤りが多い訓練データをどれだけ高度なアルゴリズムに通しても、間違ったパターンを学習してしまいます。逆に、シンプルなアルゴリズムであっても、質の良いデータを十分な量そろえられれば、複雑なアルゴリズムを凌ぐ精度が出ることも珍しくありません。モデルの性能改善において、データの質と量を見直すアプローチの有効性を理解していることは、DS検定の必須スキルチェック項目です。

さえ

「アルゴリズムを頑張って改良する」より「地味にデータをきれいにする」ほうが効果的なこと、実務だとすごく多いんだよね。派手さはないけど、これが本当に効くコツだよ!

まとめ

本ページ(6-1)では、機械学習の基礎概念を整理しました。次のページ(6-2)では、決定木・ランダムフォレスト・SVMなど、代表的なアルゴリズムそのものを具体的に見ていきます。最後に1行ずつ振り返っておきましょう。

1. 教師あり学習・教師なし学習 ― 正解ラベルの有無で分かれる、機械学習の2大分類
2. アノテーション ― 教師あり学習に不可欠な正解ラベル付け作業
3. 過学習と汎化 ― 訓練データの丸暗記ではなく、未知データへの対応力を高める
4. 次元の呪い ― 特徴量は多ければよいわけではなく、増やしすぎると精度が悪化しうる
5. 公平性リスク ― データのバイアスがモデルの差別的な振る舞いにつながりうる
6. 大域的・局所的な説明 ― モデル全体の説明と、個別レコードの説明は異なる
7. ホールドアウト法・交差検証 ― 訓練・検証・テストを分けて汎化性能を正しく評価する
8. データドリフト ― 運用後もデータの変化にともなう精度劣化を監視し続ける
9. ニューラルネットワーク ― 入力層・隠れ層・出力層と活性化関数による非線形な学習
10. 連合学習 ― データを共有せずパラメータだけを統合する仕組み
11. データの質と量 ― モデル改善よりデータの見直しが効果的な場合がある