概要と背景
- 課題: データのアノテーション（ラベル付け）作業を省くためにLLMをゼロショット分類器として実稼働させることが増えていますが、APIの呼び出しごとに高額なコストが発生
- 着眼点: LLMのAPIを呼び出すたびに、「入力と出力（ラベル）」のペア（トレースと呼称）がログとして蓄積されます
- TRACERの解決策: この蓄積されたトレースを教師データとして軽量な機械学習モデル（サロゲート）を学習させ、簡単な入力はサロゲートで処理し、難しい入力のみLLM（教師）へ委譲する
ハイブリッド分類のアーキテクチャ
- テキスト入力をベクトル化(BGE-large-en-v1.5：1024次元)
- サロゲートモデルで予測
- ロジスティック回帰モデル(アクセプター)で1位の確率、2位の確率、マージン(1位のラベルの予測確率と2位のラベルの予測確率)、エントロピーを元にした信頼度スコアを算出し、LLM(Claude Sonnet 4.6) or サロゲートモデルの推論を振り分け
-
信頼度スコアの閾値はLLMとの一致率が目標値（α）以上になるようにキャリブレーション
- TA：LLMとの一致率
-
サロゲートモデルの選択方法
- 下記モデルから教師モデル(LLM)の予測ラベルとの一致率が最も高いモデルを選択して採用
- ロジスティック回帰
- SGD線形分類器
- MLP（多層パーセプトロン）
- 決定木
- ランダムフォレスト
- エクストラツリー（Extra-trees）アンサンブル