arXiv (NLP)AI
ネストされた階層的繰り返しからのテキスト距離:圧縮ベースの観点
Text Distance from Nested and Hierarchical Repetitions: A Compression-Based Perspective
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
本論文は、アルゴリズム情報理論(AIT)に基づいた新しい構造的シーケンス分析手法を提案しています。その核となるのが「Ladderpath」というアプローチで、言語シーケンス内の繰り返し部分構造の中に存在するネストされた階層的関係を抽出します。これはAITの「最小限の生成プログラムによってデータを記述する」という原理を実践したものです。
抽出された構造を基に、研究者らは3つの距離測定法を定義しました。正規化圧縮距離(NCD)と、Ladderpath表現から直接導出された2つの代替距離です。これらをk最近傍法分類器と統合すると、訓練分布内、訓練分布外(OOD)、および少数ショット学習を含むテキスト分類タスクにおいて、強く一貫性のある性能を実現しました。
特に注目すべき点は、これら3つの方法がすべて、gzipベースのNCD およびBERTを、OODおよび低リソース設定下で上回るということです。Ladderpath によってキャプチャされた構造的表現は、シーケンスの本質的性質を保持し、軽量で解釈可能かつ訓練不要なテキストモデリングの代替案となります。本研究はAITベースのアプローチが構造的でドメイン非依存のシーケンス理解にもたらす可能性を実証しています。