ML/DS Casual Tech Talk @September 7, 2026

@Higuchi Kokoro

Introducing the Agents API

@FukasawaYusuke

NLP2027 で何の論文をやろうかな〜と考えており、そのサーベイで見つけた論文の一つを紹介します！
「LLM はコミュニティ固有の規範に合わせられるか」を測るベンチマーク
- 対立する subreddit をペアで並べ、どちら側の規範に沿った応答かを当てさせる
  - windows と linux みたいな
- モチベーション; 推論・読解・コーディングのベンチマークはたくさんある一方で、特定のコミュニティの規範や視点に適応できるかを明示的に測るものがないから、とのこと
データ作成
- 両コミュニティに存在する共通トピックを抽出(BERTopic)
- そのトピックについて、両コミュニティでそれぞれどんなことが話されているか、を GPT-4o にロールプレイしてもらって、そういうコメントを一定数用意する
  - (パソコンはどっちが最強？→windows に決まってるだろ or linux が至高)
実験内容
- 指示応答ペアを用いて few-shot プロンプトしたり、それを使って SFT したりして”このコミュニティは〜ですよ” というのを LLM に認識させたうえで、なりきった状態であるトピックとそれに対する答え(2択+関係ない2択)を用意し、LLM が正解できるかどうかを見る