Poeticsの山崎はずむ氏

　Poeticsは2017年の設立以来、「音声から人の感情を解析するAIモデル」の開発に取り組んできた。2022年6月にはSaaS（Software as a Service）型の商談解析AIサービス「JamRoll」の提供を開始。音声認識技術を用いて商談内容を文字起こしした後、LLMによる要約やレポート作成、商談の進め方に対するアドバイスを提供する。

　JamRollの開発においては、2020年以降のコロナ禍を意識して時流を捉えた側面もあったという。「特に大きかったのは、テレワークの普及により、会話をデジタルで記録する環境が整ったことです」と山崎氏は語る。コロナ以前は、会話を記録する際はICレコーダーのようなアナログな手法を用いることが一般的だった。コロナ禍でオンライン会議が普及したことで、会話をデジタルアセットとして容易に蓄積できるようになった。「大量の音声データを収集できる環境が整えば、そのデータを基に音声モデルの精度を大きく向上させることができます。この変化は当社にとって非常に大きなチャンスでした」（山崎氏）

　Poeticsは、オフィス回帰の動きも見据えた開発を進めている。日本の営業スタイルは米国と異なり、東西の時差がなく、移動コストもそれほど発生しないので、対面での商談が依然として重要視される傾向にある。そのためPoeticsは、対面商談向けのスマートフォンアプリケーションも開発し、オンラインとオフライン両方に対応できるサービスを提供している。これを実現するために、話者の識別やノイズキャンセルといった、基本的な要素でありながらも重要な周辺技術の精度向上にも力を入れている。

GPTを使う中で浮かび上がった課題

　Poeticsは当初、JamRollの商談要約機能やレポート作成機能、商談の進行に対するアドバイス機能に、GPTのAPI（アプリケーションプログラミングインタフェース）を使用していた。しかし、運用を重ねる中で幾つかの課題が浮き彫りになったという。

　中でも課題となったのは、処理できるトークン（テキストデータを処理する際の基本的な単位）数の制限だ。商談の要約やレポート作成では大量のテキストデータを扱うため、この制限が運用上のボトルネックになった。

　もう一つの課題は、セキュリティ面の懸念だ。企業はサービス選定の条件として、「日本国内のデータセンターでデータが処理されること」「機密データがAIモデルの学習に利用されないこと」を重視する。しかし、当時のGPTのAPIでは、入力データが米国のデータセンターで処理される上、学習に使用されるリスクもあったという。

　こうした背景を踏まえて、Poeticsは2024年3月から、代替となるLLMの検討を開始。その中でBedrockに注目し、2024年4月には移行を決めた。

Amazon Bedrockへの移行の決め手は？

　Bedrockへの移行を決めた理由は、大きく3つだと山崎氏は説明する。1つ目が、利用できるLLMの性能だ。Bedrockでは、AnthropicのLLM「Claude」が利用可能な点が決め手だった。Claudeは「Sonnet」や「Haiku」のように複数のバージョンから最適なものを選べる他、複数のLLMを容易に切り替えて使用できる柔軟性を評価した。

　2つ目は、日本国内でデータの処理が完結し、入力したデータが学習に利用されないことが保証されるというセキュリティ面の優位性だ。

　3つ目は、サービスの安定した提供体制だ。「日本国内のリージョンにおける新機能追加や機能更新の早さもBedrockを選んだ決め手でした」と山崎氏は話す。MicrosoftのAIサービス「Azure OpenAI Service」では「GPT-3.5」が突如利用できなくなるといった事例も発生しており、そうしたリスク要因をできる限り抑制したいといった要望もあったという。「その点、Claudeでは導入時点ではそういった問題が発生せず、安定した可用性が確保されていたので、運用上の不安が少なかったです」（同氏）

　「もちろん、将来には用途に応じて他のLLMやAIサービスを使う可能性もあります。現時点では、JamRollとの親和性や運用面での安定性を踏まえ、ClaudeとBedrockとの相性が一番良いと判断しました」。そう山崎氏は話す。

運用ではやはり“あの課題”も

　PoeticsがBedrockを活用する中で直面しているのが、コスト面の課題だ。「特に為替レートなど、自分たちではコントロールできない要因がコストに直結してしまうのは、どのスタートアップでも大きな悩みだと思います」（山崎氏）。コストの課題に対して、PoeticsはAWSが提供するコスト最適化のためのワークショップを活用し、コスト削減の余地を洗い出しているという。

　AWSによるコスト面の支援はそれだけではなかった。Poeticsは2024年、AWSのAIスタートアップ支援プログラム「AWS Generative AI Accelerator」に選出された。これにより、クレジット（支援金）提供を受けてLLMのトレーニングや比較検証を進めることができたという。「特に当社のようなスタートアップが限られたリソースの中で技術開発やサービス改善に集中する上で、こうしたコスト面の支援は大きな助けとなっています」（山崎氏）

　Poeticsは引き続きAWSを活用しつつ、自社の強みである音声領域に人的リソースを集中する方針だ。「インフラ部分はAWSに任せ、Poetics独自の価値を生む領域に集中するスタンスは変わりません」と山崎氏は語る。

　今後の展望について山崎氏は、「商談データだけではなく、営業資料やメールなどのテキストデータも扱えるAIエージェントを開発したい」と話す。単なる商談記録の自動化にとどまらず、大量のデータから洞察を抽出し、アクションにつながるようなインサイト（洞察）として可視化する「インサイトダッシュボード」の提供を目指すという。扱うデータ量の増加に対応しながら、処理の高速化とコスト削減を両立させることが、技術的な挑戦になっていく。

（取材協力：アマゾンウェブサービスジャパン）