AIの業務活用、どこまでできる?【後編】
「AIが記事を書く時代」はまだ来ない? IT記者が主要LLMで検証してみた
LLMを用いた業務効率化が進む中で、「人間の仕事は代替される」という声も上がっている。実際のところはどうなのか。IT記者が複数のLLMを使って検証した。
さまざまなAI(人工知能)ツールが登場し、業務効率化に活用する動きが広がっている。それらを使う中で、「期待通りに動作しなかった」と感じるユーザーは少なくないだろう。そこで、米Informa TechTargetがフランスで展開するIT専門メディア「LeMagIT」の編集部は、「AIは業務にどこまで使えるのか」を見極めるための検証を実施。記者が取材中に録音した音声を幾つかのLLM(大規模言語モデル)に渡し、それを記事として公開できる形に変換してもらったものを評価した。
検証では、回数制限やコスト、セキュリティが課題になりがちなクラウドサービス経由ではなく、PCでLLMを動作させた。対象となるLLMは以下の通り。
- Googleの「Gemma 3」
- Meta Platformsの「Llama 3.3」
- Anthropicの「Claude 3.7 Sonnet」
- Mistralの「Mistral」「Mistral Small 3.1」「Mistral Nemo」「Mixtral」
- IBMの「Granite 3.2」
- Alibabaの「Qwen 2.5」
- DeepSeekの「DeepSeek R1」(※)
※厳密には、DeepSeek-R1の蒸留モデル。蒸留とは、大規模モデルから学習した知識を、小規模モデルの訓練に活用する手法。ここでは、LlamaおよびQwenといったオープンソースモデルをベースに、DeepSeek-R1の推論パターンを学習させたもの。
「LLMから実用に足るアウトプットを得られるか」を焦点に検証した結果を解説する。
「AIが記事を書く時代」はまだ来ない? 記者がLLMを比較検証
併せて読みたいお薦め記事
連載:AIの業務活用、どこまでできる?
AI活用の最前線を探る
検証の結果として、LLMが生成した文章の完成度は高く、一貫性、複数のテーマに沿った章立て、適切な引用の挿入、躍動感のある見出し、結びの文まで、体裁は整っていた。しかし、どのLLMによるアウトプットも、生成された記事をそのまま公開できる水準には至らなかった。
推論能力に定評のあるDeepSeek R1でさえ、取材中に提示された論点の優先順位を適切に判断できず、重要なポイントを見落としてしまう傾向があった。その結果、文章の体裁は整っていても、実質的な意味に乏しい記事が生成された。
LLMによって語彙(ごい)や文体にも大きな違いがあった。Llamaは可読性に課題があり、MistralとGemmaは抽象的でマーケティング的な表現が多く、具体性に欠ける内容が目立った。意外な発見としては、今回の検証で最も自然かつ美しいフランス語を生成したのが、中国のAlibabaが開発したQwenだったことだ。
初期段階で最も安定して高品質の出力を示したのは「Mixtral 8x7B」だった。Mixtralはタスクによって最適なモデルを使い分ける「スパース混合エキスパート」(MoE:Mixture of Experts)手法を採用しており、70億個のパラメーター(AIモデルの振る舞いを決定する変数)を持つ8つのタスク別LLMを使用している。
ただし、今回の検証環境の48GB構成では、Qwenは140億パラメーターの軽量版、Mixtralは3bit量子化(圧縮)版しか選択の余地がなかった。その結果、QwenはDeepSeek R1と併用しても内容が曖昧で面白に欠ける出力となった。Mixtralに至っては構文エラーが多発する結果となった。
Mixtralの4bit量子化版「Mixtral 8x7B Q4_K_M」は、品質と速度のバランスが取れていたものの、LM Studioのアップデートによりメモリ使用量が増大し、処理が途中で打ち切られるトランケート問題が発生。現在は安定稼働が難しい状況にある。代替候補として注目されたのが「Mistral Small 3.1」だ。これは240億のパラメーターを8bitで量子化したもので、Gemma 3にと同等レベルの出力品質を示しつつ、出力速度も毎秒8.65トークンと、Gemmaの毎秒6.82トークンを上回った。
「プロンプト設計」が鍵に
特定媒体向けに記事を生成させるためのプロンプト(AIモデルへの指示)設計は、もはや一種のエンジニアリングタスクと呼ぶべき作業だ。その出発点として有効なのは、既に人間が完成させた記事と、その元となるインタビューの文字起こしデータをLLMに渡し、「この成果物を得るには、どのようなプロンプトを与えるべきだったか」と逆算する方法だ。このプロセスを5例程繰り返すことで、LLMによる記事生成において本質的に重要なプロンプト要素が見えてくる。
ただし注意すべき点として、LLMが自動生成するプロンプトは内容が短く抽象的になりがちで、そのままでは十分ではない。そのため、LLMが示すヒントを手掛かりに、ユーザー自身の業務知識や経験を生かしてプロンプトを補強する必要がある。
プロンプトの文体にも工夫が求められる。読みやすく自然な文体で書かれたプロンプトは、かえって一部の意味をLLMが正確に理解できなくなる傾向がある。これを回避するには、「彼」「これ」「それ」などの代名詞を極力使わず、「この記事」「このプロンプト」などの主語を毎回明示的に記述することが効果的だ。人間にとっては読みづらくても、AIにとっては明確で誤解を生みにくい指示となる。
アウトプットに毎回異なるニュアンスや構成を持たせたい場合、LLMに適度な自由度を与える必要がある。しかし、どれほど慎重にプロンプトを設計しても、アウトプットにはどこか似通った「ファミリー感」が出てしまう傾向がある。人間の創造性をAIモデルに模倣させるには、視点、構成、スタイルの異なるプロンプトを複数用意し、比較と検証を繰り返すといった、バリエーションを追求する努力が必要だ。
結論:「AIが記事を書く時代」はまだ来ない
2025年3月時点におけるAIモデルの性能水準と今回の検証結果を踏まえると、「AIモデルが単独でインタビューの内容から重要度を判断し、的確な記事を自動生成できる」と期待するのは非現実的だ。実用的な記事を生成するには、インタビューの書き起こし(トランスクリプト)を、不要な発言を除去しつつ、文脈維持に必要な情報は残すという形で、事前に人間が整理しておく必要がある。
この整理作業は単なる情報の削除だけでなく、記事には直接使わなくても、AIの出力精度を高めるために必要な文脈をどう残すかという判断が求められる。結果として、人の手によるトランスクリプトの編集は不可欠であり、本来の記者業務の省力化にはつながらない。
ここに、AI活用の本質的な課題がある。現時点でLLMは「時間を節約するツール」ではなく、執筆を任せる代わりに、事前準備に時間を要する道具に過ぎない。作業の効率化ではなく、単なるタスクのすり替えが起きている。
加えて、今回設計したプロンプトは特定のタイプの記事にしか通用しない。例えば以下の記事では、それぞれ異なるプロンプトが必要となる。
- 新技術を発表したスタートアップに関する記事
- 新製品を発表したサプライヤーの記事
- 戦略転換を語る経営者インタビュー記事
LLMの用途が多様化するほど、プロンプト設計の負担は増す。プロンプトを汎用(はんよう)化する試みはある程度までは可能だが、実用段階では細かな調整が不可避だ。
さらに今回の検証では、話し手が事前に構成した内容を発言する記者会見が中心だった。つまり、最も単純な用途であり、LeMagITが日常的に扱うような複数の取材対象を組み合わせて執筆する複雑な記事にはまだ使えていないのが現状だ。
結論として、AIツールを活用して記者の業務を軽減するためには、むしろ記者がより多くの準備をしなければならないというパラドックスが生じている。ただし補足しておくと、PCで動作するLLMの性能は、クラウドサービスから利用する有料のLLMと比べても遜色はなかった。
Computer Weekly発 世界に学ぶIT導入・活用術
米国Informa TechTargetが運営する英国Computer Weeklyの豊富な記事の中から、海外企業のIT製品導入事例や業種別のIT活用トレンドを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly発 世界に学ぶIT導入・活用術
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[株式会社マクニカ] アイカ工業に学ぶ脆弱性対策 情シスが把握できずにいたアセットも正確に把握 -
製品資料
[株式会社マクニカ] 「脆弱性総まとめ」解説 被害事例から考える必須の対策ポイント -
製品資料
[Splunk Services Japan合同会社] サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには -
製品資料
[株式会社うるる] 「入札市場」完全ガイドブック:メリットから資格取得のポイントまで -
市場調査・トレンド
[株式会社うるる] はじめての「自治体/官公庁入札」 必要な知識がすぐに学べる入門ガイド
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
2
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
3
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
4
AI基盤は本当に「オンプレ回帰」する? Broadcomの言い分と企業の本音
-
5
オフコンからの脱却 小川建設が自社開発システムを捨てパッケージERPを選んだ訳
-
6
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
-
7
「Microsoft 365」が乗っ取られる 跡形もなくMFAを破る手口
-
8
Netflixのバックエンドは「ほぼJava」 3000超のアプリを支える開発基盤の裏側
-
9
「技術屋」で終わらないために 情シスが今取るべき認定資格5選
-
10
「有線LAN環境」に関するアンケート
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
-
3
5回聞くだけじゃ足りない? トヨタ式「なぜなぜ分析」の正しい実践方法
-
4
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
5
「脱Excel」か「Excel快適化」か? 現場にやさしい業務改善の進め方
-
6
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
7
PostgreSQLの「機能」「性能」「運用」「拡張性」に関する悩みの解消法
-
8
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
9
Macの安全神話は崩壊? 最新の脅威動向から見えた攻撃のトレンドと有効な対策
-
10
情報セキュリティ対策早分かりガイド:25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー