MODEL OVERVIEW
GIADが持つ3種類のデータ
各知識に理解確率 p を持たせます。初期値は0.5で、「分かる・分からないが同程度に不確か」な状態です。
同義、類似、前提関係を区別します。類似度や前提方向を、回答後の伝播に使います。
対象ノード、識別力、難易度、推測正答率、うっかり誤答率、所要時間、認知負荷を持ちます。
RESPONSE MODEL
理解度から正答確率を計算する
問題には識別力 a、難易度 b、推測正答率 g、うっかり誤答率 s を設定します。理解確率 p をロジットへ変換し、次の4パラメータ型の式で正答確率を求めます。
合成実験の項目バンクでは、各ノードに難易度の異なる3問を生成し、識別力は1.2または1.4、推測正答率は0.25、うっかり誤答率は0.10を既定値としています。
BAYES UPDATE
一つの回答で対象知識の確率を更新する
回答前の理解確率を事前確率、問題モデルから得た正答・誤答の起こりやすさを尤度として、ベイズ則で事後確率を計算します。正答なら理解側へ、誤答なら未理解側へ動きますが、問題の難易度や推測正答も考慮するため、正誤だけで0または1に決めません。
p = 0.5＋ 回答の尤度ベイズ更新→事後確率
0.005〜0.995
GRAPH PROPAGATION
直接聞いていない知識へ、弱い証拠を伝える
- equivalent：同値グループの理解確率を平均し、同じ概念の表現違いをそろえる
- similar：類似度0.12以上のノード同士を、既定強度0.12×類似度だけ近づける
- prerequisite：応用側が前提側より高い不自然な差を検出し、既定強度0.25で前提を上げ、応用を弱く下げる
伝播は2回反復します。これはニューラルネットワークが学習した不透明な重みではなく、コード上で確認・調整できる明示的な規則です。
QUESTION SELECTION
期待情報利得から「次の一問」を選ぶ
各候補問題について、正答した場合と誤答した場合のモデルを仮に作り、回答後の総エントロピーを予測します。回答前との差が期待情報利得です。さらに未出題範囲の網羅性を加点し、既出知識との重複と回答負担を減点します。
したがってGIADは、単に最も難しい問題を選ぶのではなく、「全知識について残っている不確かさを、次の回答でどれだけ減らせるか」を基準にします。
STOPPING RULE
必要な確信が得られたら終了する
対象ノードすべてで分散 p(1−p) が0.20以下になった場合、または弱点境界0.5から十分離れて90%相当の確信が得られた場合に停止できます。予備実験では方式を公平に比べるため、最大8問の共通予算も設定しています。
ROLE OF LLM
生成AIは問題の草案、GIADは数値推定
研究評価用のGIADコアはLLMから独立しており、理解確率の更新と次問選択は明示的な数式で行います。Ollama／Gemmaは問題文の草案や自由記述の構造化に利用しますが、合成実験の理解度推定をLLMへ任せてはいません。
現在の対話型プロトタイプには、Gemmaが回答から理解度・確かさ・根拠を直接出す実装もあります。予備実験でIndependent CATと比較したGIADは、ベイズ更新・情報利得・グラフ伝播を使う測定可能な研究コアです。