ML/DS Casual Tech Talk @January 27, 2025

@Masataka Kashiwagi

Musings on building a Generative AI product

新しい AI-powered な体験で仕事探しや専門的なコンテンツのブラウジング・検索面を再構築しようとしている話
いくつか試したが，色々とピンと来なかったみたいでいくつかの活用に落ち着いたらしい
- ある投稿から得られる情報や，ある企業の最新情報
- 求人情報に対する自分の適性評価
- プロフィールの改善や面接の準備などのアドバイス
Overview
- 適切なエージェントを選ぶ（適切な割り振り）
  - ユーザーの質問からどの AI エージェントがその問題を扱うかを決める（例えば，一般的な知識を求める質問に特化した AI エージェントに送るなど）
- 情報を集める
  - AI エージェントが社内の API と Bing を組み合わせて，質問に対する具体的な事例やケーススタディを検索して，回答の根拠を見つける（マイクロソフトに買収されたから Bing を使ってそうw）
- 回答を作成する
  - データをフィルタリングして，一貫した回答を整理する
  - 体験をよりインタラクティブにするために内部APIを使って記事のリンクなどで回答を飾りつけるなど

パイプラインを用意している
- Routing：どの AI エージェントに転送するかを決める
- Retrieval：どのサービスをどのように呼び出すかを決める
- Generation：ノイズをフィルタリングして，回答を生成する
- うまく行ったこと：
  - パイプラインを3ステップで固定した
  - Routing/Retrieval には小さいモデル，生成には大きなモデル
  - パイプラインのコンポーネント毎の評価パイプライン
- 苦労したところ：
  - 品質の評価（ガイドライン・アノテーション・自動評価）
    - ガイドライン：ユーザーがジョブ適正評価をクリックして，適正が全くないですと言われても役に立たないので，事実を伝えつつ共感的であること
    - アノテーション：社内の言語学者チームが毎日500件の会話を評価してメトリクスを取得するツールとプロセスを作った
    - 自動評価：現在開発中でモデルベースの評価ツールを構築している（LLM-as-a-judge?）
システム的な部分
- 内部 API の活用
  - LLM にわかりやすいような API の説明や使用方法，スキーマ定義を準備する
  - YAML/JSON パーサーを開発して，パースできない状態を極限まで下げる
- 非同期処理・ストリーミング処理の活用

所感：

全体的に共感する部分が多かったし，悩んでるところも似た部分がある（規模やスケールは全然違うが😅）
パイプラインの部分は従来の機械学習パイプラインのようにコンポーネントに分割して，それぞれで適切な評価とテストを行える仕組みを整えるのが大事で，これは今までの考え方を応用できる感覚を改めて持った
最後の一押しの精度は，エキスパート・システムにおけるルールの微調整に近く，アートの世界になっていったとのことで良い表現だなと思った（RAG システムを開発している身として，ある地点までは持っていけるけど残りの部分はそんな感じがしている）

@Higuchi Kokoro