」

Artificial Analysis社の共同設立者兼CEOであるMicah Hill-Smith氏は次のように述べています。「SambaNovaのSamba-1 Turboは、Artificial Analysis社による最近のベンチマークにおいて、大規模言語モデルの推論性能の新記録を樹立しました。

Artificial Analysis社は、Meta社のLLMであるLlama 3 Instruct 8B上でSamba-1 Turboの性能について独自にベンチマークを行い、1秒間に1,084の出力トークンを記録しました。これは我々がベンチマークを実施しているプロバイダー全体の出力速度の中央値よりも8倍以上速い数値でした。Artificial Analysis社は、Samba-1 Turbo上のLlama 3 Instruct 8Bが16ビット精度と同等の品質スコアを達成することを検証しました。

新境地ともいえる言語モデルの驚異的な推論速度は、AIアプリケーション構築の新たな方法をもたらします。新たなユースケースとして、例えば、シームレスな会話を維持しながらマルチステップのアクションを取るエージェント、リアルタイムの音声体験、大量の文書解釈などが含まれます。」

何百ものチップで同じモデルを実行する競合他社とは異なり、Samba-1 Turboはわずか16個のチップでLlama 3 8Bを毎秒1000トークン（t/s）で実行し、16ソケットのSN40Lノード1台で最大1000個のLlama3チェックポイントを同時にホストできます。これは、競合他社よりもはるかに低コストで、完全な精度を維持しながらLlama 3を提供するための最速の速度です。最も近い競合他社は、メモリ容量の制限により、各モデルのシングル・インスタンスを実行するために数百のチップを必要とし、GPUは総スループット、メモリ容量とも低くなります。SambaNovaは、この記録的な速度を維持しながら、1つのノードで数百のモデルを実行することができ、競合他社よりも10倍低いTCOを提供します。