データ連携失敗の原因になる4つの不整合とは
BIデータの整合性を確保するのに役立つデータ連携のポイント
データ連携のプロセスを適切に管理していないと、BIや分析のアプリケーションで整合性に欠けるデータが生じる可能性がある。こうした問題を回避する手順を幾つか紹介しよう。
一般的にはデータ品質の重要な要素として、正確性、完全性、適時性、整合性がある。データの整合性とは、実際には何を意味するのだろうか。データ管理のチームは整合性によってどのような影響を受けるだろうか。複数のアプリケーションでデータの整合性を確保するために利用できるデータ連携手法には、どのような種類があるだろうか。
データの整合性が必要になるのは、ある状況が前提にあるためだ。それはBIや分析に利用する複数のアプリケーションが、同じソースのデータセットをさまざまな方法で頻繁に使用するような状況だ。毎日の売買取引を表すデータがあるとする。業務報告をするときは、複数ある販売地域での類似製品の販売数を比較するために、このデータを使用する。高度な分析アプリケーションでは、顧客が購入した商品の種類に基づいて、顧客プロファイルを作成するためにこのデータを使用することもある。
この2種類のアプリケーションに同じ売買取引データが使用されている。一方で、このデータを抽出、変換、再編成、送信するプロセスは、それぞれのアプリケーションで違う。こうしたプロセスでは、少なくとも4つの異なる形式のデータ不整合がもたらされるリスクがある。
併せて読みたいお薦め記事
データマネジメントのために企業は何をしているか
データ活用先進企業はいま
データの連携に失敗する理由
異なるタイミングでソースシステムからデータを抽出すると、「経時的な不整合」が生じる可能性がある。つまり、あるタイミングで行われたデータ抽出の後に修正が加えられ、次のタイミングでの抽出にその修正が含まれる可能性がある。
データ連携プロセス中にデータ値に異なる形式が指定されると、「構造的な不整合」が生じる。例えば、誤って別の型を想定して郵便番号を抽出したため、0から始まる郵便番号が4桁の数値に変換されてしまう場合などがこれに当たる。
複数のアプリケーションが、データをそれぞれ異なる意味で解釈すると、「意味的な不整合」が生じる。例えば、「顧客」という言葉は、データの発生元がマーケティングシステム、営業システム、顧客サポートシステムのいずれかによって異なる定義になる可能性がある。
データ連携のジョブが同一のソースデータに異なる変換を適用すると、「変換の不整合」が発生する。各ジョブが個別のビジネスルールに基づき、条件に応じて属性値を変更する場合がこれに当たる。
多くの場合、こうした不整合がデータを扱うアプリケーションに紛れ込むのは、アプリケーションの開発者とデータ連携の開発者の連携が不足しているためだ。連携不足は、データ管理のベストプラクティスが共有されていない可能性があることを示す。ビジネスの運営がサイロ化した状態では、部門間のコミュニケーションがほとんどなく、各部門が孤立した状態でデータ連携プロセスが開発される。
最初の手順として、企業全体で使用している既存のデータ連携手法とベストプラクティスを文書にする。そしてどのようなアプリケーションが、いつ、どのような状況でデータソースにアクセスしているかを特定する。この方法で、データ管理者はさまざまな連携の流れを調査して、データの不整合につながる可能性のある明確な齟齬(そご)があるかどうか見極めることができる。
システム構築のプロセスを制御する
データの整合性を確保する次の手順として、不整合が生じるのを防ぐ制御が必要になる。そのためには、まとまりのないデータ連携シーケンスの影響に対処するポリシーと手続きを設定する。この手順を実現し、前述の4種類のデータ不整合を回避する新しい連携方法についてのヒントを幾つか紹介する。
- データ連携の流れを同期する。運用システムや取引システムが非同期の状態でデータ抽出していることが「経時的な不整合」の原因になっている場合は、連携のさまざまな流れを開始する同期トリガーを作成する。このアプローチにより、計画的な抽出とデータのストリーミング処理を実現できる。計画的なストリーミング処理は、データをキャッシュして全ての連携ジョブに同時にリリースすることで可能になる。
- データ値のフォーマットを標準化する。データフォーマットのストレージやプレゼンテーションの標準を設定する目的は、個別に作業するアプリケーション開発者が違いを生み出すのを減らすことだ。データの担当者は、定義済みのフォーマット標準にデータ値が対応しているかどうかを検証する全社規模のサービスを作成することで、「構造的な不整合」を減らすことができる。
- データの定義を合わせる。データの定義にばらつきがある(そもそも定義が存在しない)場合、データのユーザーは、データセットに独自の意味を与えてもよいと考える。社内で協力して異なるデータ定義を特定、確認し、すり合わせることで、「意味的な不整合」を減らすことができる。
- データの変換を調整する。多くのデータ連携ジョブは定義済みのビジネスルールに従って実行される。データ管理者が異なるビジネスルールを確認することで、整合性のない変換が適用される状況を特定しやすくなる。整合性のない変換が適用される状況では、結果が整合性を保つように調整するか、データの不整合を認識するために、出力を個別に指定するよう制限を設ける。
データの標準化、データの検証、適切なデータ管理のベストプラクティス、しっかりと計画された連携手法を組み合わせることで、連携プロセスに求められる規律と整合性がもたらされるだろう。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[サイボウズ株式会社] 受注約1.5倍と年間2万3000時間超の業務時間を削減、日機装に学ぶDX実践術 -
製品レビュー
[サイボウズ株式会社] 人材不足にどう挑む? ものづくり太郎が語る、製造現場でのAI活用成功の鍵 -
市場調査・トレンド
[グーグル・クラウド・ジャパン合同会社] 金融機関はAIエージェント導入でどう変わる? 7つの変化から19の事例まで解説 -
市場調査・トレンド
[グーグル・クラウド・ジャパン合同会社] 製造業のエージェント型AI活用に向けて押さえておきたい5つのトレンドとは? -
市場調査・トレンド
[グーグル・クラウド・ジャパン合同会社] 1231人への調査で見えた、企業が今直面するインフラの課題と今後採るべき戦略
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
RAGで「データをAIに送る」運用が限界を迎えている理由
-
2
Googleの業務向けAIエージェント「Gemini Agent」が登場 しかし課題は山積み
-
3
「Copilot」がIT予算を食いつぶす? 高額請求を招く課金体系と節約術
-
4
8割がアナログに逆戻りする“やっぱりな理由” DXを阻む2つの落とし穴
-
5
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
6
Claude利用8割のGMO、AI人材の評価軸が「トークン管理」に変わった
-
7
建設業のAI活用はなぜ「メール作成」止まりなのか 調査に見る“浸透の壁”
-
8
なぜ「Claude Code」拡張は消しても危ないのか? Cursorで不正版配信
-
9
SAPの負荷増に苦しむZeissが「リアルタイム分析」「安定運用」を両立させた道
-
10
いまIBM iエンジニアが直面する「5つの技術的課題」とその解決策
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
侵入から横展開まで27秒の脅威にどう立ち向かう? 防御のカギがEDRの理由
-
3
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
4
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
5
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
6
なぜAIは組織で定着しないのか? 全社展開を阻む「3つの壁」と突破のヒント
-
7
パスワードレスへの移行で失敗しないためには? 導入・運用上の注意点を解説
-
8
自社のセキュリティ対策は大丈夫? 自己診断リストで対策の優先順位が分かる
-
9
ランサムウェア攻撃“究極の対策”はこれだ
-
10
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー