arXiv (ML)AI
機械学習向けIEEE SA P3109算術フォーマットの新しい側面
Novel Aspects of IEEE SA P3109 Arithmetic Formats for Machine Learning
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
IEEE P3109は機械学習を主な用途として設計されたパラメータ化された二進浮動小数点フォーマットとその演算の標準を定義する新しい規格草案である。この規格の大きな特徴は、限られたビット数で値を効率的かつ一貫して表現できる点にある。定義されるフォーマットはビット幅と精度、符号の有無、無限大の有無などのパラメータで柔軟に設定でき、機械学習の様々なニーズに対応することを目指している。
IEEE P3109の演算定義の核となるのは、実数を無限大とNaN(Not a Number)で拡張した閉じた拡張実数集合への変換である。無限大やNaN値を明示的に処理することで、演算定義の中で純粋な実数演算のみを用いるという設計思想が貫かれている。これにより、複雑な例外処理を避けることができる。
規格では豊富な丸めモードと飽和モードが定義されており、確率的丸めも含まれている。例外処理を最小化する設計により、スループットを大幅に加速させることが可能となる。例外的な状況が発生した場合でも、NaNなどの戻り値を通じて情報が伝達される仕組みになっている。また、共通のスケール因子を持つ値のブロック処理も統一的な方法で定義されている。
さらに、システムベンダーは近似実装を説明するために、カッパ近似と呼ばれる新しいスケール不変測度を利用できる。この測度は従来の「最後の位での単位」に相当する概念である。規格の関数定義とその他の特性は形式仕様を用いて機械的に検証・生成されており、高い信頼性が確保されている。