量子コンピューティング分野において、大規模言語モデル（LLM）の応用が急速に進展している中、新たなベンチマークデータセットが登場しました。QASM-Evalは、OpenQASM-3言語を用いた量子プログラミングの領域でLLMを訓練・評価するために設計された初の包括的なデータセットです。このデータセットは、現在の量子コンピュータが直面している課題に対応することを目的としています。 現在の量子コンピュータはNISQ（雑音を含む中規模量子）時代にあり、計算性能が大きなノイズの制約を受けています。この問題に対処するためには、単純なゲート配列の回路仕様を超えた、ハードウェアレベルの機能が不可欠です。具体的には、量子誤り訂正のための中途測定と古典的フィードバック、動的デカップリングのための正確なタイミング制御、キャリブレーション用のパルスレベルの波形アクセスなどが必要となります。OpenQASM-3はこうした先進的な機能を備えたハードウェア指向のプログラミングインターフェースとして開発されました。 QASM-Evalデータセットは、専門家による検証を受けた100タスクのテストセットと4,000タスクの訓練セットで構成されており、古典論理、タイミングスケジューリング、パルス制御、そして実世界のワークフローを網羅的にカバーしています。構文チェック、量子状態検証、プログラムタイムラインの検証に対応した拡張検証器によって、生成されたプログラムの自動的な妥当性確認が可能です。 研究チームの評価では、最先端のLLMは現在OpenQASM-3のコーディングタスクで大きな困難に直面していますが、QASM-Evalを用いたターゲット特化型のファインチューニングにより、顕著なパフォーマンス向上が実現されることが明らかになりました。このデータセットは、NISQ時代におけるハードウェア指向量子プログラミング向けの信頼性の高いLLMアシスタントの開発を加速させるための重要なベンチマークと訓練基盤となるでしょう。