DeepSeek-V4の登場に伴い、SGLangはリリース当初からこの高性能言語モデルのサポートを提供してきました。しかし、初期段階での実装はあくまで出発点であり、その後の継続的な最適化により、大きな性能向上を実現しています。 SGLangチームは、カーネル、ランタイム、およびシステム全体のハードニングに関わる一連の調整を、NVIDIA GB300ハードウェア上でDeepSeek-V4を運用する環境で実施してきました。これらの最適化の成果として、同じレベルの対話性を維持しながら、スループットを5倍近く向上させることに成功しました。この達成は、単なる機械学習フレームワークの改善にとどまらず、低レイテンシ推論とバッチ処理の効率性のバランスを取るという、実運用環境における重要な課題を解決するものです。 GB300などの最先端のAIアクセラレータ上で大規模言語モデルを効率的に運用することは、生成AIの実用化において重要な意味を持ちます。対話性を損なわずにスループットを大幅に改善するということは、同じハードウェア投資で処理できるユーザーリクエストの数を飛躍的に増やすことを意味し、運用コストの削減と応答品質の維持という相反する課題の両立を実現しています。 こうした継続的な最適化の取り組みは、オープンソースプロジェクトであるSGLangが、産業レベルの推論性能を追求する姿勢を示すものであり、今後さらなる性能改善が期待される領域です。