EXPERIMENT SETUP
3分野・各500人分の合成データ
微分、三角関数、暗号通信のナレッジグラフを使い、コンピューター上で正解となる理解状態を設定した各500人分の回答を作りました。一問ごとに出題、合成データ、推定更新、次問選択を繰り返し、最大8問まで比較しました。
Independent CAT各知識を独立して更新し、知識間の関係を推定に使わない比較方式
GIADベイズ更新後、同義・類似・前提関係へ証拠を伝播する提案方式
WEAKNESS F1
弱点検出F1を保ちながら、何問減らせたか
F1は「本当の弱点をどれだけ見つけたか」と「弱点と判定したものがどれだけ正しかったか」を一つにまとめた値です。0〜1で、1に近いほど弱点の場所を正しく特定できています。
Independent CAT・8問GIAD・初めて基準へ到達した時点
微分2問削減・25%
三角関数3問削減・37.5%
暗号通信3問削減・37.5%
0弱点検出F1（高いほど良い）1.0
MASTERY MAE
MAEは、理解度の数値がどれだけずれたか
MAEはMean Absolute Error（平均絶対誤差）です。全知識について、モデルが推定した理解度と、合成データで正解として設定した理解度の差の絶対値を求め、その平均を取ります。
MAE = (1 ÷ 知識数) × Σ｜推定理解度 − 正解理解度｜
たとえば正解が0.9、推定が0.6なら、その知識の誤差は｜0.6−0.9｜=0.3です。MAEは0に近いほど正確です。以下は両方式を8問実施した時点の値です。
Independent CATGIAD
微分GIADが+0.020
三角関数GIADが+0.026
暗号通信GIADが+0.022
0MAE（低いほど良い）0.5
読み取り
3分野すべてでGIADの棒が長く、誤差が大きくなっています。GIADは8問以内にIndependent CATのMAEへ到達しておらず、質問削減と理解度全体の精度を両立できたとは言えません。
3分野すべてでGIADの棒が長く、誤差が大きくなっています。GIADは8問以内にIndependent CATのMAEへ到達しておらず、質問削減と理解度全体の精度を両立できたとは言えません。
INTERPRETATION
弱点探索には可能性、精密な理解度推定には課題
GIADは比較方式8問の弱点検出F1へ5〜6問で到達し、弱点候補を早く絞る用途には可能性が見られました。一方、8問時点のMAEは微分0.385、三角関数0.402、暗号通信0.379で、いずれもIndependent CATより悪い結果です。
この結果から言えないこと
少ない質問だけで、全知識の理解度を比較方式と同じ精度で推定できることは示されていません。また合成データによる予備実験であり、実際の学習者への有効性も未検証です。
少ない質問だけで、全知識の理解度を比較方式と同じ精度で推定できることは示されていません。また合成データによる予備実験であり、実際の学習者への有効性も未検証です。
次は、前半で弱点候補を広く探し、後半で候補の理解度を詳しく測る二段階方式と、実回答データによる係数校正を検討します。