データプロファイリングとは？データの品質と構造を事前に把握する分析手法

データプロファイリングとは

データプロファイリング（Data Profiling）とは、データの構造、値の分布、品質の問題点を統計的に調査・可視化する手法です。分析や統合、移行といったデータ活用プロジェクトの初期段階で実施し、「このデータは信頼して使えるのか」「どのような品質課題があるのか」を客観的に把握するための基盤作業にあたります。

この手法は、1990年代後半にデータウェアハウスの普及とともに体系化されました。ETL処理の設計やマスターデータ管理の前段階として、元データの実態を正確に把握する必要性から発展してきた経緯があります。現在では、データガバナンスやデータ品質管理の中核プロセスとして位置づけられています。

コンサルティングの現場では、クライアントが「データは揃っている」と主張していても、実際にプロファイリングを行うと、欠損率が30%を超えるカラムや、定義と実態が乖離したコード値、重複レコードの山が見つかるといったケースが日常的に発生します。分析に着手してから品質問題に気づくのではなく、プロファイリングで事前に可視化しておくことが、プロジェクトの手戻りを最小化する鍵です。

構成要素

データプロファイリングは、調査の対象範囲によって3つの種類に分類されます。これらを組み合わせてデータの全体像を把握します。

構造プロファイリング

データの「形式」を調べる作業です。テーブル定義（カラム名、データ型、制約条件）、主キーと外部キーの関係、ER図との整合性、メタデータの充実度などを確認します。設計書に記載された定義と実データの乖離を検出するのが主な目的です。

値プロファイリング

各カラムに格納されている「値」の実態を統計的に調べる作業です。以下のような指標を算出します。

チェック項目	内容	問題の例
NULL率	欠損値の割合	必須項目のNULL率が15%を超える
カーディナリティ	ユニーク値の数	性別カラムに10種類以上の値が存在
値の分布	ヒストグラム・頻度	売上金額にマイナス値が混在
パターン分析	値のフォーマット	電話番号の桁数がバラバラ
外れ値	統計的な異常値	年齢に999が入力されている

関係プロファイリング

複数のテーブルやカラム間の「関係性」を調べる作業です。参照整合性の検証（外部キー制約の実効性）、テーブル間の結合率（JOINしたときのマッチ率）、重複レコードの検出、カラム間の依存関係（関数従属性）などを確認します。

実践的な使い方

ステップ1: スコープと目的を明確にする

プロファイリングは対象データが多ければ多いほど作業量が膨大になります。まず「何のためにプロファイリングするのか」を明確にし、対象となるテーブルやカラムの優先順位を決めます。データ移行プロジェクトであれば移行対象テーブル、分析プロジェクトであれば分析に使用するデータセットに絞ります。全件を一度に調べようとするのではなく、ビジネスインパクトの大きいデータから着手するのが実務上の鉄則です。

ステップ2: 自動プロファイリングツールで一次スキャンを実行する

手作業ですべてのカラムを確認するのは非効率です。Talend、Informatica、Great Expectations、pandas-profilingなどのツールを用いて、統計サマリーを自動生成します。NULL率、ユニーク値、最小値・最大値、頻出値、データ型の一貫性などの基本指標を網羅的に取得し、品質ダッシュボードとして一覧化します。この段階では「問題の発見」に集中し、原因の深掘りは次のステップに回します。

ステップ3: 異常パターンを特定しビジネスルールと照合する

ツールが検出した統計的な異常を、ビジネスルールと照合して「本当に問題なのか」を判断します。たとえば、受注日が出荷日より後になっているレコードはビジネスルール違反ですが、キャンセル処理による正当なデータかもしれません。データの数値的な異常と業務的な妥当性を切り分けて評価し、修正が必要な項目をリスト化します。

ステップ4: 品質スコアカードを作成し改善計画を立てる

プロファイリングの結果を品質スコアカードとして整理します。各テーブル・カラムに対して品質次元（正確性、完全性、一貫性、有効性、一意性、適時性）ごとのスコアを付与し、閾値を下回る項目を改善対象としてリスト化します。深刻度とビジネスインパクトで優先順位をつけ、クレンジング計画やルール整備計画につなげます。

活用場面

• データウェアハウスやデータレイクへのデータ統合プロジェクトの事前調査として
• システム移行・リプレース時のデータ移行計画策定の基礎資料として
• 新規分析プロジェクトの着手前に、利用予定データの信頼性を検証する場面
• マスターデータ管理（MDM）の導入時に、現行データの品質ベースラインを確立する場面
• M&A後の統合（PMI）において、被買収企業のデータ資産を評価する場面
• データガバナンス体制の構築時に、品質モニタリングの初期ベンチマークを設定する場面

注意点

プロファイリングで最もよくある失敗は、「一度やって終わり」にしてしまうことです。データは日々変化するため、定期的にプロファイリングを実行し、品質の推移をモニタリングする仕組みが不可欠です。

また、ツールの出力をそのまま報告書にするだけでは意味がありません。統計的な異常がビジネス上の問題なのか、許容範囲の変動なのかは、業務知識を持つ担当者との対話を通じて初めて判断できます。データエンジニアとビジネスサイドの協働がプロファイリングの精度を決定づけます。

さらに、プロファイリングの結果を改善行動につなげないまま放置するケースも散見されます。プロファイリングは「現状把握」であり、それ自体が品質を改善するわけではありません。品質ルールの定義、クレンジングの実行、モニタリングの自動化という後続プロセスとセットで設計する必要があります。

まとめ

データプロファイリングは、データ活用プロジェクトの成否を左右する「事前調査」の手法です。構造・値・関係性の3つの観点でデータの実態を可視化し、品質課題を早期に発見することで、分析や移行の手戻りを最小化します。ツールによる自動化とビジネス知識による判断を組み合わせ、継続的な品質改善サイクルの起点として活用することが重要です。