arXiv (Neural Computing)AI
スパイキングニューラルネットワークを用いた手書き文字認識システム「Spike-HTR」
Spike-HTR: Spiking Neural Transformer for Handwritten Text Recognition
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
手書き文字認識(HTR)は計算上、二つの不均衡を抱えています。画像全体のほとんどのピクセルが背景であり、横軸の多くの位置が空白で埋まっているという課題です。これはスパイキングニューラルネットワーク(SNN)にとって深刻な不一致を生み出します。手書き画像は静的に観察されるのに対し、スパイキング計算は時間軸に沿って展開されるためです。
この問題を解決するため、研究チームが提案したのが「Spike-HTR」という画期的なハイブリッド型スパイキング認識器です。このシステムはスパイキングステップの数と処理される横軸位置の数の両方を制御します。静的な画像をスパイキング推論に適した形に変換するために、InkCoderと呼ばれるコンポーネントが画像を粗から細へと段階的に処理できる入力ストリームに変換します。初期ステップで広い筆画領域をカバーし、後のステップではより鋭い筆画の詳細に焦点を当てる設計になっています。
さらに計算量を削減するため、CTC誘導型の長さ削減機構が、文字位置の可能性が高い部分や不確実な位置を保持しながら、空白が多い領域を圧縮してから深い配列混合処理を実施します。T=2という最小限のスパイキングステップ数で学習を実現し、言語モデルや辞書を使わずにデコード可能です。IAM、LAM、READ2016の三つのデータセットで、それぞれ検証データで3.5/2.3/4.2、テストデータで5.4/2.5/3.9というCER(文字誤り率)を達成しています。