こうしたネットワークが利用するモデルではパラメーター数が増大する。その数が数億にも達することがあるため、演算には新たなパラダイムが必要になる。

　業界でAI利用への関心が高まっていると感じたトゥーン氏が、サイモン・ノールズ氏と共同でGraphcoreを設立したのは2016年のことだ。同社は、自社が名付けた「Intelligence Processing Unit」（IPU）の開発を目指している。

マシンインテリジェンス

　トゥーン氏によると、「マシンインテリジェンス」の実現を妨げる問題を幾つか解決するためにIPUを設計したという。

　「現状のマシンインテリジェンスを見ると、主に静的データを分類し、ラベル付けした大量のデータを使ってシステムをトレーニングしている。このシステムは、経験から学ぶことはない」（トゥーン氏）

　同氏はNLPを例に挙げて次のように話す。「本当に必要なのは、単語の並び、各単語の意味、そして会話の文脈を理解するマシンだ。マシンは会話の文脈を記憶し、記憶した文脈を使ってその後の会話を理解する」

　IPUは処理速度と効率を向上させるために、IPU自体が機械学習モデルとデータを保持する。遅延を最小限に抑えるため、IPUには外部メモリを配置しない。「大容量メモリが離れた位置にある場合、後からストリーミングすることは可能だ。だが演算中は全てのデータをプロセッサ内に保持する」とトゥーン氏は話す。

　各IPUは1216の特殊コアを備える。各コアには6つの独立したプログラムスレッドがあり、機械学習モデルで並列に動作する。IPUは125TFLOPSの演算性能を実現する。

　「そのため、モデルをレイヤー別ではなく複数のレイヤー全体で見ている。さらには、一つの問題を解決するために、複数のIPUを連携させることもできる。状況を把握し、複数のプロセッサで多数の並列処理を行うことができる」（トゥーン氏）

　トゥーン氏によると、IPUのアーキテクチャはトレーニングにも推論にも適しているという。現在の機械学習は、トレーニングと推論を独立したタスクとして扱うことが多い。

　「今後、経験から学ぶ確率的なシステムが実現すれば、そのシステムは導入後も経験から学び続けるだろう。そうなればトレーニングと推論の境界はなくなる」と同氏は話す。

　ソフトウェア面では、IPUは「TensorFlow」などの著名な機械学習フレームワーク（訳注）やGraphcore独自のグラフフレームワークをサポートする。このフレームワークを使って、開発者がライブラリ関数やニューラルネットワーク機能を独自に開発できる。

訳注：Graphcoreの資料には、TensorFlowの他に「PyTorch」や「MXNet」をサポートするとある。

　Graphcoreは設立以来3億ドル（約321億円）の資金を調達してきた。同社は貸借対照表上多くの現金を保有し、2020年には多くの収益を得ることを期待しているとトゥーン氏は述べている。