SambaNova、Fugaku-LLMをSamba-1 Composition of Expertsのエキスパートに導入

ISC24、ドイツ・ハンブルグ、2024年5月13日－ SambaNova Systems（https://sambanova.ai/ja/）は本日、日本最速のスーパーコンピュータ「富岳」で学習された日本語に特化した大規模言語モデルで、5月10日にHugging Faceに公開された「Fugaku-LLM」を、SambaNovaの独自技術であるSamba-1 Composition of Experts（CoE）のエキスパートとして導入したことを発表しました。


理化学研究所計算科学研究センターの松岡聡センター長は、次のように述べています。「スーパーコンピュータ「富岳」によってゼロからから大規模に学習された日本語の大規模言語モデルであるFugaku-LLMが、SambaNovaのCoEにいち早く導入され、多くの人が「富岳」の成果を利用できるようになることは大変喜ばしいことです。SambaNovaのCoEの柔軟性と拡張性の高さは、世界のスーパーコンピュータによる大規模言語モデル学習の成果をホストする基盤として多いに期待できます。」

SambaNova Systems の共同創業者兼CEOであるロドリゴ・リアンは次のように述べています。「SambaNovaのSamba-1 CoEは、オープンソースによるベスト・オブ・ブリード戦略を採用しており、常に世界最高水準で最速のAIモデルにアクセスできるようにしています。今回、日本が誇るスーパーコンピュータ「富岳」でスクラッチから学習された日本語の大規模言語モデルであるFugaku-LLMをCoEのエキスパートの一つとして加えたことは、この戦略に合致しています。「富岳」の成果をいち早く取り入れられたことを大変嬉しく思います。」

SambaNova独自のCoEアーキテクチャは、複数の専門家モデルを集約し、用途に応じて最適なエキスパートを選択することでパフォーマンスと精度を向上させます。