「スクレイピング」の理想と現実【後編】

小売業者が社外サイトのデータを加工せずに使う“深刻な理由”とは？

小売業者やEコマース業者は、社外のWebサイトから得られるデータに価値を認めている。一方でデータのスクレイピングやデータマネジメントになかなか取り組めていないという。それはなぜなのかを調査結果から探る。

公開 2022年07月14日 05時00分

[TechTarget]

印刷する連載新着通知を受け取る

　調査会社Censuswideとレジデンシャルプロキシ（住宅向けIPアドレスを使ったプロキシサーバ）ベンダーOxylabs.ioが2021年10月に公開した調査結果（調査対象は英国の小売業者とEコマース業者のシニアデータ意思決定者251人）は、企業が社外のWebサイトからデータを収集する際の課題を明らかにした。Webサイトからデータを収集して使いやすく加工する「スクレイピング」や、名寄せなどの「データクレンジング」を実施していない理由として、回答者の38％が「予算の制約」、35％が「人材不足」と答えた。

　より深刻な理由がある。回答者の44％が懸念するのは、スクレイピングに伴う

著作権やプライバシーの侵害
Webサイトの利用規約違反

といった、法制度およびルールに関する問題だ。「小売業者やEコマース業者は、スクレイピングで考慮すべき法的要件を従業員には伝えているが、それだけではなく業界全体に周知する必要もある」とOxylabs.ioは指摘する。

併せて読みたいお薦め記事

連載：「スクレイピング」の理想と現実

前編：小売業者への調査で分かった「社外データ活用」“驚きの実態”とは？

さまざまなデータ活用技術

　調査において、企業が社内コンプライアンスチームを保有していると答えた回答者は、全体の59％だった。それに対して、コンプライアンス業務を社外人材に委託していると答えた回答者は17％だった。特にスクレイピングに関するコンプライアンス業務では、社外人材への委託はあまり効率的ではないとOxylabs.ioは説明する。例えば収集しようとしているデータを保管することが、法令違反かどうかを判断するといった業務だ。こうした業務では問題が判明した際に、対処できる人が常に待機している状態が望ましい。

　スクレイピングの手順を細部まで掘り下げ、すでに戦略を立案している企業があることも調査で分かった。回答者の52％は、スクレイピングやデータマネジメントに関する取り組みと並行して、より多くの社外データを収集する意向を示している。「より多くのリアルタイムデータを収集する方法を検討している」と答えた回答者は50％だった。