今回は「CPUからGPU、そしてXPUへ」というテーマでブログを書いていきたいと思います。「PU」とはご存じの通り、Processing Unitの略で、PUの前にXとつけたのは、近年はCPUやGPUに加えて、NPU・TPU・LPUといった新たなチップが次々と登場しており、それらをカバーする意図を込めました。
（Source: https://pixabay.com/illustrations/chip-technology-software-tech-7732459/）
LLMとGPU
私たちが毎日欠かさず使用するスマートフォンやパソコンにはCPU（Central Processing Unit）が搭載されており、さまざまな演算処理の中核を担っています。
一方、LLM（大規模言語モデル）をはじめとする機械学習モデルの実行や学習においては、従来のCPUよりもGPU（Graphics Processing Unit）の方が向いていると言われています。そして近年のAI"ブーム"を受けて、最大手のGPUメーカーであるNvidiaの株価はここ数年で急激に高騰しています。
CPUとGPUの主な違いは、チップの設計と処理能力にあります。CPUは少数タスクの高速処理に特化している一方で、GPUは並列処理に特化しています。GPUはもともとグラフィックス処理を目的として設計されましたが、その高度な並列処理能力がAIや機械学習の分野で大量のデータを同時に処理するのに適しているため、AI開発の現場ではGPUの方が多く利用されるようになりました。
LLMの学習にはたくさんのデータを用いた複雑な行列演算が伴います。この演算プロセスにおいて、計算資源が大量に必要となるため、より多くのデータを同時に処理することができる大きなメモリを持つGPUが求められます。NvidiaのH100やA100のような高価なGPUは、この要求を満たすために設計されており、特に大規模なAIモデルのトレーニングに必要な高度な計算能力と巨大なメモリ容量を有しています。これらのGPUはLLMのようなAIモデルの開発に不可欠なコンポーネントとなっています。
こういった背景もあり、ビッグテックはNvidiaのH100というGPUを買い占める動きを見せています。以下は2023年のOmdiaの調査に基づいてThe Vergeが作成したチャートです。クラウドコンピューティングサービス「Azure」を提供するMicrosoftと「Facebook」や「Instagram」を展開するMetaがそれぞれ15万基（約2千億円もの発注額）ずつH100を発注しています。これは同じくクラウドコンピューティングサービスプロバイダーであるGoogle（Google Cloud Platform）やAmazon（Amazon Web Services）を大きく上回る数字です。
（Source: https://www.theverge.com/2023/12/4/23987953/the-gpu-haves-and-have-nots）
また、Metaは2024年内に少なくとも34万基ものH100を追加購入するとThe Vergeに報じられています。Metaは祖業であるFacebookに加え、Instagram・Oculus（VR）・WhatsApp等、さまざまなサービスを提供しており、それらの製品群とLLMのシナジーが期待されます。例えばWhatsAppにAIコンシェルジュがいたり、VR空間の中に自然な会話をするNPC（Non Play Character）が存在し、まるで人と会話するかのような体験を提供できるかもしれません。
（Source: https://game.capcom.com/manual/MHX/ja/page-142.html）
MetaはOpenAIのGPTやGoogleのGemini（ジェミニ）に並ぶLLMとして、Llama（ラマ）も提供しています。Llamaは現在（厳密には違うという議論もありますが）OSSとして提供されており研究でファインチューニングのベースモデルとして使用されることの多いLlamaですが、今後は大量のGPUを用いてクラウドサービスとして提供されることも考えられます。
チップセットに搭載されるNPU
NPU（Neural network Processing Unit）は、AI Acceleratorと呼ばれることもある、ニューラルネットワークの処理に特化した処理装置です。後述するTPUと同じく、GPUから更に機械学習に最適化された機構を持ちます。（今回は、NPUとそれに似た機構を総称としてNPUと呼ぶこととします。後述のTPUがNPUの一部に分類されることもあります。）
（Source: https://pc.watch.impress.co.jp/img/pcw/docs/1087/013/html/1_o.jpg.html）
NPUが話題になるよりも前の2016年ごろから、AppleのMacbook、iPhone、SamsungのGalaxyなどのチップセットにはNPUが搭載されており、NPUが搭載された製品は市場に多く見られるようになりました。AndroidではAndroid Neural Networks APIに、iOSではCore MLから専用APIにアクセスすることで、デバイスに搭載されたNPUを動かすことができ、例えばカメラの背景ぼかしやSiriなどのAIアシスタントはこれによってスムーズに動作するようになっています。
Googleが開発するTPU
TPU（Tensor Processing Unit）は、Googleが開発した機械学習に特化したASIC（特定用途向け集積回路）の一種です。TPUは前述したNPUの一種であり、GPUをよりAIに特化させたようなものです。GPUは元々グラフィック処理のために設計されたプロセッサですが、その並列構造は、機械学習でよく見られる大量のデータブロックを処理する用途にも向いているため、機械学習の現場でも使用されることが多くあります。そしてGPUの機構を更に機械学習の計算に特化させたのが、Googleが開発するTPUです。
GPUは1次元（ベクトル）や2次元（行列）の配列計算に強みがある一方で、TPUはベクトルや行列より高次元の配列を計算することに重きを置いています。ちなみに、tensor（テンソル）はベクトルや行列を含む概念で、1次元テンソルがベクトル、2次元テンソルが行列となります。あえてテンソルという時には、3次元以上の高次元配列を指すことが多いようです。
（Source: https://iq.opengenus.org/cpu-vs-gpu-vs-tpu/）
TPUは2015年に第1世代が発表され、現在は第5世代のTPU v5シリーズがGoogle Cloud Platformで提供されています。GoogleのLLMであるGeminiもTPUを用いて学習されました。LLMとASICを同時に研究開発するアプローチは、その両輪が噛み合うことで加速度的なパフォーマンス向上が見込まれます。
GroqとLPU
GoogleのようにLLMとASICを同時に研究開発する、Groqというスタートアップ企業が注目を集めています。Groqの創業CEOであるJonathan Ross氏は、2013年からGoogleでTPUの開発に従事し、チップ設計と実装に携っていたエンジニアです。TPUの強みも弱みも知るRoss氏が、新たに開発したのがLPU（Language Processing Unit）です。
同社は2021年時点ではTSP（Tensor Streaming Processor）と呼ばれる製品を開発していました。TSPは、米国の金融系企業や自動運転関連の企業をはじめ、ホワイトハウスなどの国家機関への提供もされた実績があるそうです。現在話題となっているLPUは、同社のTSPに組み込まれた自然言語処理に特化した処理機構で、言語翻訳や音声認識といったAIアシスタントのタスクに最適化されています。
Groqのハードウェア設計は非常にシンプルです。下の画像は、左が “Groq Chip 1” で、右が “Nvidia GTX 1070” というGPUです。ひと目見てわかる通り、従来のGPUとは全く異なる設計がなされています。
（Source: https://wow.groq.com/groq-closes-300-million-fundraise/）
Groqのコーポレートサイトのトップページ （https://groq.com）にはチャット機能が搭載されており、すぐにでも使用することができます。Groqを利用すると、生成速度の速さにびっくりします。Llamaシリーズで最大のLlama 2 70B-4kモデルを実際に使用すると、秒間284.31トークンで生成されました。これは体感的には「一瞬」です。
（Source: https://groq.com）
将来的に同社のハードウェアとLLMがAWSやAzureにも提供されれば、現在の生成速度に関する不満の多くは解消されるでしょう。またCloudflareのようなCDN（Contents Delivery Network」の略で、Webコンテンツを迅速に、効率よくユーザーに配信するためのネットワーク）プロバイダーのエッジで稼働するようになれば、更にレイテンシーが短縮され、信じられないほどの生成速度になることが考えられます。こうした周辺技術の革新から生まれる新たなUXが、アプリケーションの裾野をさらに広げていくと思います。
IDATEN Ventures（イダテンベンチャーズ）について
フィジカル世界とデジタル世界の融合が進む昨今、フィジカル世界を実現させている「ものづくり」あるいは「ものはこび」の進化・変革・サステナビリティを支える技術やサービスに特化したスタートアップ投資を展開しているVCファンドです。
お問い合わせは、こちらからお願いします。
今回の記事のようなIDATENブログの更新をタイムリーにお知りになりたい場合は、下記フォームからぜひ IDATEN Letters に登録をいただければ幸いです。