大規模科学データセットをAIの訓練に用いる際、データの変換・整理には膨大な手作業が必要とされてきました。リーダーシップコンピューティング施設が管理するこうしたデータは、生のままではAI訓練に適さず、実用的な状態に整えるまでに多大な時間と労力を要します。従来は、データ変換、品質評価、来歴追跡、そして実際の運用といった各段階が統一されたフレームワークなしに行われていました。 こうした課題に対応するため、研究チームはREDIと呼ぶオープンソースフレームワークを開発しました。REDIは「取り込み（ingest）、前処理（preprocess）、変換（transform）、構造化（structure）、出力（output）」という5段階のパイプラインを統一的に提供し、各段階で再現性を確保する計測機能を備えています。さらにAIエージェントから直接呼び出し可能なスキルとして機能するよう設計されており、付属ツールのSetGoはFAIR原則への準拠とカタログ公開を自動化します。 気候科学、プロテオミクス、材料科学、核融合といった複数分野での評価を通じ、REDIは生のデータすべてをAI対応状態に変換することに成功しました。出力結果は領域専門家の参照基準に対して検証され、気候分野のケースではFrontierスーパーコンピュータで100ノードへの並列展開時に理想的なスケーリングを示しました。来歴追跡機能付きのプロファイリング分析からは、ファイルI/Oがパイプラインコストの主要因であり、形式選択が最適化の重要な手段となることが明らかになっています。 REDIはこうした成果により、科学AI向けの汎用データ準備プラットフォームとして確立され、データ準備というボトルネックを再現可能で再利用可能なコミュニティ資産へと変革するものとして期待されています。