arXiv (ML)AI
粒度のパラドックス:時系列予測におけるデータ細分化がサンプル内適合を過大評価し、サンプル外誤差を増幅する仕組み
The Granularity Paradox: How Temporal Disaggregation Inflates In-Sample Fit and Compounds Out-of-Sample Error
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
時系列予測において、データの時間的粒度をより細かくすることは一見して望ましいと思われる。より多くのデータポイントが得られ、モデルの学習に有利に働くからだ。しかし、本研究が指摘する「粒度のパラドックス」は、この直感に反する現象を明らかにしている。月次データを週次や日次に細分化すると、サンプル内での適合度は向上し、データセットのサイズも増加する一方で、サンプル外での予測精度は逆に低下してしまうのである。
この矛盾が生じる根本的な原因は、予測期間の延長に伴う再帰的誤差の複合化にある。細かい粒度で予測を行うほど、予測ステップが増加し、各ステップでの誤差が次のステップに伝播していくため、累積誤差が指数的に増大してしまう。本研究では、公共調達データの13年分を用いて、素朴な予測法から統計手法、機械学習、深層学習まで10種類のモデルを6つの異なる粒度で検証した。その結果、Holt-Wintersなどの再帰的自己回帰モデルは日次予測で極めて悪い成績を示す一方で、LSTMはU字型の誤差曲線を描き、月次から隔週にかけて悪化した後、日次で回復するという興味深いパターンが観察された。
特に重要な発見は、線形回帰がすべての粒度で安定した性能を維持したことである。これは、パラドックスが単なるモデルの複雑性によるものではなく、再帰的フィードバック構造に由来することを示唆している。さらに本研究は、RMSE やMAEといった標準的なポイント単位の指標が累積誤差の伝播を本質的に隠蔽していることを指摘し、目標に応じた累積指標を含めた評価が必要であることを強調している。