自然言語処理と大規模言語モデル

1. テキストデータのクリーニング処理

SNSの投稿、顧客アンケートの自由記述、コールセンターの応対ログ。こうした非構造化データ^※1としてのテキストは、表形式のデータのように整然と並んでいるわけではありません。人によって書き方の癖があり、表記のゆれもあれば、分析の邪魔になる記号や余計な情報も混ざっています。そこで最初に必要になるのが、目的に応じたテキストクリーニングです。

代表的なクリーニング処理には、次のようなものがあります。小文字化(英語の"Data"と"data"を同じ単語として扱えるようにする)、数値置換(「2024年」「35歳」のようにバラバラな数値を「年」「歳」といった共通のトークンに置き換え、数値のゆれによる影響を抑える)、半角変換(全角の「ＡＢＣ」と半角の「ABC」の表記ゆれをそろえる)、記号除去(「!」「☆」「絵文字」など分析上不要な記号を取り除く)、そしてステミング^※2(英語の"running"「走っている」や"ran"「走った」を語幹の"run"にそろえ、同じ意味の単語のゆれを吸収する)などです。

重要なのは、これらのクリーニング処理を「目的に応じて」適切に選ぶという考え方です。たとえば感情分析をしたい場合、「!」や絵文字は感情の強さを表す重要な手がかりになることがあるため、安易に除去すると情報を失ってしまいます。逆に、単語の出現頻度だけを見たい場合は、記号を除去した方が集計がすっきりします。何を明らかにしたいのかによって、どのクリーニングを行うべきかは変わってくるのです。

さえ

テキストデータって数字と違って「表記のゆれ」がすごく多いんだよね。同じ意味の言葉がバラバラに書かれてると、コンピュータには別物に見えちゃう。だからこそクリーニングが大事なんだよ！

2. 形態素解析と係り受け解析 ― 文書構造をとらえる

クリーニングを終えたテキストを分析するには、文章を単語単位に分解し、その構造を理解する処理が必要です。ここで登場するのが形態素解析^※3と係り受け解析^※4です。

日本語は英語と違って単語と単語の間にスペースがないため、「今日は良い天気です」という文章をそのままコンピュータに渡しても、どこからどこまでが1つの単語かを認識できません。形態素解析は、この文章を「今日／は／良い／天気/です」のように意味を持つ最小単位(形態素)に分割し、それぞれの品詞(名詞・動詞・形容詞など)を判定する処理です。日本語の自然言語処理ライブラリとしてはMeCab^※5などが広く使われており、こうした形態素解析や係り受け解析のライブラリを適切に使い、基本的な文書構造解析を行うスキルが求められます。

形態素解析が「単語への分解」であるのに対し、係り受け解析は「単語同士の関係」を分析します。「太郎が花子にプレゼントを渡した」という文であれば、「太郎が」は「渡した」に係り、「花子に」も「渡した」に係る、というように、どの単語がどの単語を修飾・説明しているかの構造を明らかにします。この構造がわかると、「誰が」「誰に」「何を」「どうした」という文の骨組みを機械的に取り出せるようになります。

3. 自然言語処理で解けるタスクを知る

自然言語処理は、単に文章を分解するだけでなく、さまざまな実用的なタスクを解くために使われます。DS検定では、自然言語処理を用いて解けるタスクを理解し、各タスクの入出力を説明できることが求められます。代表的なタスクを整理してみましょう。

こうした自然言語処理のタスクの達成度を横断的に評価する枠組みとしてGLUEタスク^※6と呼ばれるベンチマークが知られています。GLUEは、文法的な正しさの判定や、2つの文の意味が同じかどうかの判定、含意関係の判定など、複数の自然言語処理タスクを1つのセットにまとめたもので、モデルの言語理解力を比較する共通のものさしとして広く使われています。

また、固有表現抽出^※9は、文章中から「人名」「地名」「組織名」「日付」「金額」といった意味のあるまとまり(固有表現)を検出し、その種類を分類するタスクです。「田中さんが2024年に東京で新会社を設立した」という文からは、「田中さん(人名)」「2024年(日付)」「東京(地名)」「新会社(組織名)」を抽出できます。ニュース記事から重要な情報を自動的に整理したり、契約書から日付や金額を自動抽出したりする実務に応用されています。

さえ

試験では「このタスクの入力と出力は何?」っていう聞かれ方をよくするよ。タスク名だけ覚えるんじゃなくて、「何を入れたら、何が出てくるか」までセットで覚えるのがコツ！

4. 大規模言語モデル(LLM)とHallucination(幻覚)

近年、自然言語処理の世界を大きく変えたのが大規模言語モデル(LLM)^※7です。膨大な量のテキストデータを学習することで、まるで人間が書いたかのような自然な文章を生成できるようになりました。チャット形式で質問に答えたり、文章を要約したり、プログラムコードを書いたりと、これまで個別のタスクとして扱われていた自然言語処理の多くを、1つのモデルでこなせるようになった点がLLMの大きな特徴です。

一方で、LLMには見過ごせない弱点があります。それがHallucination(幻覚)^※8と呼ばれる現象です。Hallucinationとは、LLMがもっともらしい口調で、事実とは異なる内容や、存在しない情報をあたかも真実であるかのように生成してしまう現象を指します。試験でも重視されるのは、この現象がなぜ起こるのかを、学習に使われているデータの観点から説明できることです。

Hallucinationが起こる主な理由は大きく2つあります。ひとつは、学習用データそのものが誤りや歪みを含んでいる場合です。LLMはインターネット上の大量のテキストを学習しますが、その中には誤った情報や偏った意見も含まれています。LLMは「正しいかどうか」を判断しているわけではなく、あくまで学習データに現れた言葉のパターンをもとに、統計的にもっともらしい文章を生成しているにすぎません。そのため、学習データに含まれる誤りをそのまま(あるいは組み合わせて)出力してしまうことがあります。

もうひとつの理由は、入力された問いに対応する学習用データが存在しない、あるいは乏しい場合です。LLMは、知らないことについて「わかりません」と正直に答えるとは限りません。学習データに答えが存在しない質問をされても、言語モデルとしての性質上、それらしい単語のつながりを生成しようとする力が働くため、存在しない事実やもっともらしい嘘を、自信満々な口調で生成してしまうことがあるのです。

さえ

LLMって自信満々に間違ったことを言ってくることがあるから怖いんだよね…。「知らないことは知らないと言う」わけじゃなくて、それらしい文章を作ろうとしちゃうのがポイント。試験でもよく問われるから要チェック！

まとめ

ここまで、DS検定の出題範囲である「非構造化データとAI／自然言語処理と大規模言語モデル」の内容を見てきました。テキストという非構造化データを扱うための土台となる考え方を振り返っておきましょう。

1. テキストクリーニング ― 小文字化・数値置換・半角変換・記号除去・ステミングなどを目的に応じて適切に実施する
2. 形態素解析・係り受け解析 ― ライブラリを用いて単語への分割と単語同士の関係をとらえ、基本的な文書構造解析を行う
3. 自然言語処理のタスク ― GLUEタスクや固有表現抽出、機械翻訳など、各タスクの入出力を理解する
4. LLMのHallucination ― 学習データの誤り・歪みや、該当データの不足という観点から、その発生理由を説明できる

次のレッスンでは、もうひとつの代表的な非構造化データである「画像」を扱います。画像のデジタル表現の仕組みから、画像認識の代表的なタスクまで見ていきましょう。