PyTorch BlogAI
PyTorch 2.13がリリース、Apple SiliconのMPSでFlexAttentionが利用可能に
PyTorch 2.13 Release Blog
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
PyTorchの最新バージョン2.13がリリースされました。このバージョンは、機械学習開発者にとって重要な機能拡張を複数含んでいます。特に注目すべきは、FlexAttentionがApple SiliconのMPS(Metal Performance Shaders)に対応したことです。これにより、MacBook ProやMac Studioなどのアップルシリコン搭載デバイスでも、FlexAttentionを活用した高速な計算が可能になりました。
FlexAttentionは、トランスフォーマーモデルの学習と推論において、アテンション機構の計算を最適化する機能です。これまではNVIDIAのGPU環境が主な対象でしたが、今回のアップデートにより、アップルシリコンの強力な機械学習能力を引き出せるようになりました。開発者がMacデバイス上で大規模言語モデルやビジョンモデルの開発を行う際の選択肢が広がります。
PyTorch 2.13のリリースは、オープンソースの機械学習フレームワークが、より多くのハードウェアプラットフォームに最適化されていく方向性を示しています。異なるデバイス間での開発環境の統一と、各プラットフォームの性能を最大限に活用する取り組みが進んでいるといえます。