自然言語処理の研究において、大規模言語モデルの処理負荷を軽減しながら推論精度を維持することは重要な課題です。この研究は、小規模言語モデルを用いた多段階の質問応答タスクにおけるコンテキスト圧縮手法を検討しています。研究チームは「Telegraph English」という新しい圧縮フォーマットを提案しました。これは取得した文章を構造化されたエンティティ・関係ステートメントに書き直すもので、推論に必要な証拠をより少ないトークン数で保持できます。 MuSiQue、TwoWiki、HotpotQAの3つのベンチマークデータセットで行われた統制実験では、Telegraph Englishは文字レベルの削除、短縮化、ランダム部分サンプリングという3つの予算が同じ圧縮ベースライン手法すべてを上回りました。その性能向上は13～20パーセンテージポイントのF1スコア改善という顕著なものです。さらに、同じエンコーダで生成されたコヒーレントな散文要約よりも、最も難易度の高いデータセットで優れた結果を示しました。 事前登録された仮説では、推論の深さが増すにつれて性能差が拡大するとの予測がありましたが、この仮説は支持されませんでした。つまり利益は各データセット内の推論深度に伴って増加しませんでした。これらの結果から研究者らは、可読性のある記号的再表現が、自然言語やコヒーレントな要約と同じトークン予算の下では、エンティティ内容をより密に保存できることの証拠だと解釈しています。