@Higuchi Kokoro
LLM tracing: The complete guide
LLM tracing: The complete guide - Articles - Braintrust
| ログ |
LLMトレーシング |
| 個別の出来事を記録する |
1回のリクエスト全体を関連づけて記録する |
| 「何が起きたか」が分かる |
「なぜその回答になったか」が分かる |
| 例：HTTP 200、最終回答 |
検索結果、ツールの引数と戻り値、プロンプト、回答 |
| 主に障害やシステム状態の確認 |
主に回答品質や原因の調査 |
- 一連の処理がtrace. 一つ一つの処理がspan
- まずLLM呼び出しを自動計測し、アプリ固有の処理を手動spanとして追加するとよい
- langfuseとbraintrustの違い
- braintrustの方が評価・改善がしやすいが、セルフホストがない
@MizutaYuki
Online Density-Based Clustering for Real-Time Narrative Evolution Monitoring
arxiv.org
過去のデータすべてをクラスタリングし直すのではなく、新しいデータが届くたびに、それだけを少しずつ追加して『オンライン・クラスタリング』を導入できないか？
- HDBSCANの欠点
- 逐次更新ができない。最初からすべて計算をやり直すしかない。更新すると、昨日まで作っていたclusterが崩れる
- メモリ・計算時間が大きくなる
- 2つのアプローチ
- DBSTREAM：クラスター同士の密度のつながり（共有密度グラフ）を維持する特徴
- DenStream：データの時間的な減衰を加味する手法
- 処理ステップ
- データの収集と前処理
- ベクトルの生成（数値化）: 文章をベクトル変換
- 次元圧縮（UMAP）
- クラスタリングとAIによる要約：ベクトル化された文章をクラスタリングして、文章にタイトルと要約をLLMで作成