分析プログラミングとSQL

1. 外部ライブラリを使いこなす

プログラムをゼロから書くのではなく、他の人がすでに作ってくれた便利な機能の部品を取り込んで使うことができます。この部品の集まりを外部ライブラリ^※6と呼びます。料理で言えば、出汁を昆布から取るのではなく、市販の「顆粒だし」を使うようなイメージです。データ分析の世界では、表計算のような処理をしてくれるライブラリや、グラフを描くライブラリ、機械学習のアルゴリズムをまとめたライブラリなどがよく使われます。

外部ライブラリを使うときに大切なのは、その関数(機能のまとまり)にどんな引数(入力)を渡す必要があり、どんな戻り値(出力)が返ってくるのかを、公式ドキュメントなどで確認してから呼び出すことです。仕様を確認せずに使うと、思わぬエラーや誤った結果につながります。

import pandas as pd

df = pd.read_csv("sales.csv")   # 引数: ファイルパス／戻り値: 表形式データ
print(df.mean())                # 各列の平均を計算して返す

さえ

外部ライブラリは「先人が作ってくれた便利な道具箱」だよ。使い方(引数と戻り値)さえ分かれば、中身の仕組みを全部理解してなくても活用できるのが強み！

2. Notebook環境で分析する ― Jupyter・Colabなど

データ分析では、コードを1行ずつ実行しながら結果をすぐに確認できる対話型の開発環境(Notebook)^※1がよく使われます。代表的なものに、PythonのJupyter Notebook^※7や、R言語のRStudio^※8があります。コードとその実行結果、グラフ、説明の文章を1つのファイルにまとめられるため、分析過程を記録しながらレポートを作成するのに向いています。

さらに近年は、自分のパソコンに環境を構築しなくても、Webブラウザだけで使えるクラウド上のNotebookサービスが充実しています。代表的なものにGoogle Colab^※9、AWS SageMaker Studio Lab、Azure Data Studio、IBM watsonx.ai Studioなどがあります。これらを使えば、環境構築の手間をかけずにPythonやRのコードをすぐに実行できます。

3. APIでデータをやり取りする

異なるシステム同士が情報をやり取りするための窓口をAPI^※2と呼びます。レストランの厨房とホールをつなぐウェイターのような役割で、「こういう形式でお願いします」という決まった手順に従って注文(リクエスト)を出すと、決まった形式で料理(データ)が返ってくるイメージです。データの受け渡しには、JSON^※10やXML^※11といった標準的なフォーマットがよく使われます。

{
  "customer_id": 1023,
  "name": "山田太郎",
  "purchase_total": 15800
}

このようなJSON形式のデータを受け渡しするプログラムを設計・実装できることは、DS検定でも問われるポイントです。APIを使ったプログラムを組む際は、「どんなURLに」「どんな形式のデータを送ると」「どんな形式のデータが返ってくるか」という仕様(APIドキュメント)を確認することが出発点になります。

さえ

APIは「決まった注文の仕方をすれば、決まった形でデータをくれる窓口」ってイメージ。JSONはその「決まった形」の代表例だよ。

4. SQLの基本構文 ― データベースを操作する共通言語

表形式のデータを大量に保存・管理するデータベースを操作するための言語がSQL^※3です。SQLはデータの操作を行うDML^※4(データ操作言語。SELECT・INSERT・UPDATE・DELETEなど)と、テーブルの構造を作るDDL^※5(データ定義言語。CREATE TABLEなど)に大別されます。DS検定では、SELECT文を中心に一通りの構文を理解していることが求められます。

SELECT customer_name, SUM(amount) AS total
FROM orders
GROUP BY customer_name
HAVING SUM(amount) > 10000;

上の例は、注文テーブルから顧客ごとに購入金額を合計し(GROUP BY^※12と集計関数SUM)、合計額が1万円を超える顧客だけを抽出する処理です。複数のテーブルを結び付けたいときはJOIN^※13を使います。JOINには、両方のテーブルに一致するデータだけを残す内部結合(INNER JOIN)と、一致しないデータも残す外部結合(OUTER JOIN)があります。外部結合はさらに、左側のテーブルの行をすべて残すLEFT JOIN、右側のテーブルの行をすべて残すRIGHT JOIN、両方のテーブルの行をすべて残すFULL OUTER JOINに分かれ、「どちらのテーブルを主役にして、一致しない行も残すか」によって使い分けます。

-- 顧客テーブルを主役にして、注文がない顧客も含めて一覧を作る
SELECT c.customer_name, o.amount
FROM customers AS c
LEFT JOIN orders AS o ON c.customer_id = o.customer_id;

SELECT
  SUM(CASE WHEN gender = '男' THEN 1 ELSE 0 END) AS male_count,
  SUM(CASE WHEN gender = '女' THEN 1 ELSE 0 END) AS female_count
FROM members;

CASE文^※14は「もし～ならA、そうでなければB」という条件分岐をSELECT文の中で行う構文です。上の例では、性別ごとに1・0の値を作り、それをSUMで合計することで、行方向(縦)に並んでいたデータを列方向(横)に組み替えています。この操作はピボット(縦横変換)と呼ばれ、Excelのピボットテーブルで行う集計をSQLだけで再現するイメージです。

-- 平均購入額より多く買っている顧客だけを抽出する(副問合せの例)
SELECT customer_name
FROM orders
WHERE amount > (SELECT AVG(amount) FROM orders);

-- 一度でも注文したことがある顧客だけを抽出する(EXISTSの例)
SELECT c.customer_name
FROM customers AS c
WHERE EXISTS (
  SELECT 1 FROM orders AS o WHERE o.customer_id = c.customer_id
);

EXISTS^※15は、副問合せの結果が1件でも存在すれば条件を満たすとみなす書き方です。「該当する行があるかどうか」だけを判定したいときに使い、副問合せ側の列の中身そのものは使わないのが特徴です(上の例のようにSELECT 1と書くことが多いです)。反対に、一度も注文したことがない顧客を探したいときはNOT EXISTSを使います。

さえ

SQLはDS検定で必ず得点したい分野！ JOINの種類、GROUP BYと集計関数の組み合わせ、CASE文の使い方は特に頻出だから、実際に手を動かして書いてみるのが一番の近道だよ。

まとめ

このページでは、分析の現場で実際に使うプログラミングとSQLの基本を見てきました。最後に振り返っておきましょう。

1. 外部ライブラリ ― 引数と戻り値の仕様を確認しながら、既存の便利な機能を活用する
2. Notebook環境 ― Jupyter NotebookやGoogle Colabなど、コード・結果・説明を1画面にまとめられる対話型環境を使う
3. APIとデータ形式 ― JSON・XMLなど標準的な形式でデータをやり取りするプログラムを設計する
4. SQLの基本構文 ― DML/DDLの理解、JOINの使い分け、GROUP BYと集計関数、CASE文、副問合せ・EXISTSを一通り扱えるようにする

次のレッスンでは、近年急速に普及しているAIサービスやコーディング支援ツールを、データエンジニアリングの現場でどう活用するかを扱います。