こうした状況の中、新しいコンピュータ言語が生まれ、新たなOSがリリースされている。IT担当者は実のところ、こうしたテクノロジーの変化についていけていない。それを受けて、ベンダーは新しいコンピュータ制御ソフトウェアを開発した。それがエミュレーションソフトウェアだ。これにより、ソフトウェア環境でOSの過去のバージョンを模倣できるようになり、古いアプリケーションを使い続けられるようになった。その結果複雑なシステムがさらに複雑になり、データ品質の問題も積み重なり続けている。

　大規模なデータベース管理システム（DBMS）を取り巻く状況もほぼ同じだ。DBMSは、増えるデータ量に応じて構築され、変更が加えられていく。企業は複数のデータベース製品を購入し、単一のアプリケーションや小規模なアプリケーション群ごとにデータベースを設計した。こうしたデータへのアプローチによって、複雑化が進んだ状況が生み出され、データの品質管理の問題へとつながっていった。本稿執筆時点でも、いまだに大半の企業がこうした問題に取り組んでいる。

AIとRPAボット

　データクレンジングの負担を軽減するためには何ができるだろう。単一のソリューションは存在しないが、筆者のチームはデータのクレンジングと照合を行う方法の一つとして、RPA型botの調査を始めている。正しいデータを特定するには、いまだ誰かの判断が必要だ。複数のソースから取得した、重複するデータを人手で照合しなければならない。データクレンジングの負担軽減のためには、人手による介入や確認の必要性を限りなく少なくすることが目標となる。

　RPA型botの利用によって、データを自動的に比較し、正しいデータである可能性が最も高いデータを特定できる可能性がある。この特定手法には、人工知能（AI）技術の使用が効果的かもしれない。しかし本稿執筆時点ではこのデータクリーニングの手法は概念レベルであり、これが機能するとは断言できない。しかし将来性のある手法だと考えている。

　RPA型botは人間の行動を模倣する。正しいバージョンのデータを特定するために人間が使う全てのロジックが一連のルールに組み込まれ、それらのルールがRPA型botで実行される。ルールはサポートデータを追加することで、運用後も新しく組み込むことができる。正しいデータのバージョンを判断できるようにするには、こうしたサポートデータを集めることが必要になる。

　botは各データベースを読み取り、データの形式やその他の情報を識別して、各アプリケーションのデータベースの情報を記録するように構築する。それもデータベースの設計や構築に使用されたツールが、何であっても読み取れるようにする。データ要素レベルでは、このRPA型botの入力には、入力済みのデータや変更後のデータが含まれることになるだろう。次にbotはそのデータと最終更新時刻を比較して、確認を必要とする何らかの種類の相違を指摘する。各種の相違点に対処するなかで、そうした対処方法が単一または一連のルールとなってbotの動作に追加され、その後使用される。このような方法で、データ品質に関する問題がRPA型botの学習に使われ、RPA型botは改善されていく。

RPA型botのトレーニングとテスト

　初期バージョンのbotは更新が不可欠だろう。つまりアクティビティーの実行に必要な、全てのルールを最初から設定できる可能性は低い。botを更新してデータ特定の精度を上げるには、botで複数のデータベースを確認する必要がある。そして技術スタッフが経験を積むのと同じように、botのルールを改善する。

　複数のデータベースにおけるデータの照合にはbotを使う。ルールが適切かつ正しく適用されていることを確かめるために、導入初期はデータ照合を手動で確認する。表面化したデータの問題は、手動で修正することになるだろう。修正を通じて、botのルールをどのように変更する必要があるかを判断する。このアプローチでbotのルールが進化し、時がたつにつれてより複雑な状況に対応できるようになる。

　特殊なDBMSでテストすると、RPA型botが不正確になる恐れがある。筆者のチームは、まずほぼ共通するデータ要素が含まれたシステムグループに、このデータクレンジングプロセスを適用することを推奨する。そうすることで、出発点となる最低限のライブラリを作成できる。その後このライブラリを使用して、他のライブラリ全体で各種データ要素を比較することが可能だ。botが優れているのは、全データの確認とクレンジングを完了するまで止まることなく自動で実行できる点だろう。

　既に述べたように、このアプローチは調査中の段階だ。多くの概念的アプローチと同様、この方法も試す中で変わっていくと考えている。最終的なソリューションは本稿で述べたものとは全く異なるものになるかもしれない。しかし筆者には、業務やプロセスを変えて競争力を高めたいなら、データベースのデータをクリーニングしなければならないと確信している。これはデータの問題に対処して、創造的な活用方法を見つけるための初めの一歩だ。