arXiv (AI)AI
CSTutorBench:ブロックベースプログラミング教育におけるスモールランゲージモデルの評価ベンチマーク
CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)がAI家庭教師として活用される事例が増えていますが、K-12教育環境への導入には、プライバシーやコスト、独占的なモデルへの依存といった課題があります。これに対してスモールランゲージモデル(SLM)は有望な代替案となりうますが、ブロックベースプログラミングのような特定の教育領域では学習データに含まれないため、適切なモデルの選定が困難です。
この課題に対応するため、研究チームはCSTutorBenchという新しいベンチマークを開発しました。このベンチマークはVEX VRというブロックベースのロボティクス環境におけるCS家庭教師としての言語モデル性能を評価するもので、教育学的ルーブリックに基づいた17のシナリオベースの質問で構成されています。評価には人間がループに入ったLLM審査パイプラインが採用されました。
4Bから120Bパラメータの11モデルで予備的調査を実施した結果、語彙や表現調子といった表面的な基準ではモデルの性能が良好でしたが、答え漏洩の回避やStudentのデバッグ履歴への対応といった深い教育学的行動では不足が見られました。調査から判明したことは、パラメータ数単独よりもモデルファミリーと命令チューニングアプローチが教育品質の予測因子としてより有効であるということです。教育的プロンプトエンジニアリング研究に基づいた標的型プロンプト改訂により、11モデル中10モデルのスコアが向上しました。これらの結果は、教育現場でのSLM選定において、文脈に特化した教育学的根拠を持つベンチマークの価値を示しています。