arXiv (NLP)AI
TITLE_JA: ModTGCN:テキスト分類のためのモジュール性を考慮したグラフニューラルネットワーク
ModTGCN: Modularity-aware Graph Neural Networks for Text Classification
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
テキスト分類におけるグラフベースのモデルは、局所的な近傍の情報集約に依存する傾向にありますが、文書グラフが強いクラス一貫性のあるクラスタリング構造を示しているにもかかわらず、その全体的なコミュニティ構造を見落としがちです。このアプローチの問題点は、クラス間の境界を曖昧にし、過度な平滑化(over-smoothing)を招くことにあります。
研究チームが提案するModTGCNは、テキスト分類のためのモジュール性を考慮したグラフニューラルネットワークで、クロスエントロピーとモジュール性ベースの補助目的関数を共同で最適化します。この手法により、クラス一貫性のある文書コミュニティを促進しながら、同時に識別的な表現を保持することが可能になります。モジュール性項は、トランスフォーマー埋め込み(事前学習済みまたはファインチューニング済み)から導出された文書間の類似度グラフ上で計算されます。
スケーラビリティを向上させるため、元の異種テキストグラフを文書・単語間コンポーネントと単語・単語間コンポーネントに分離することで、学習速度を2倍から10倍高速化しています。さらに、グラフ構築戦略、ラベル認識エッジの重み付け直し、モジュール性最適化の監督選択についても検討しています。
5つのベンチマークデータセットでの実験により、一貫した性能改善が確認され、特にOhsumedや20NGといった複雑で低ホモフィリー特性を持つデータセットでより顕著な改善が見られました。