@Higuchi Kokoro

Demystifying evals for AI agents

Demystifying evals for AI agents

The structure of an evaluation

• Single turn eval
  • 一連のAIのプロンプト、レスポンス、評価ロジックのシングルターンの評価
• Agent evaluation
  • 複数のターンにまたがり、複数のツールを使う中での評価
  • より複雑
    • 状態を持つ = 環境も変わる
    • 失敗は引き継がれる

語彙

• task: 一つの明確な入力と基準がある中でのテスト
• trial: taskの中での1つ1つの取り組み
• grader: agentのパフォーマンスを評価するロジック. 複数ある
• transcript: 完了したtrialのレコード　output,呼び出したtoolなどが記録される
• outcome: trialが終了した時の環境の状態. ex) 予約が終わる = resevation DBにレコードができる
• evaluation harness
• evaluation suite: 特定のケイパ・振る舞いを評価するための一連のタスクリスト

Why build evaluations