Alibaba の人達が書いた論文
- 標準的な解答が存在しないオープンエンドな問題解決に焦点を当てていて，高度な推論能力を持つ LLM の開発を目指している
どうやって推論能力を高めているか
- CoT のデータを使ったファインチューニング（ベース：Qwen2-7B-Instruct）
- モンテカルロ木探索（MCTS）による解空間の拡張
- 推論アクション戦略
- self-Reflection メカニズム：「待て！もしかしたら間違いを犯したかもしれない！最初から考え直す必要がある（“Wait! Maybe I made some mistakes! I need to rethink from scratch.“）」というフレーズを追加する
- これにより困難な問題の約半分が正しく回答されるようになったとのこと
- MCTS の探索粒度を細かくするミニステップを利用する（64 or 32トークン単位）
- self-Reflection メカニズム：「待て！もしかしたら間違いを犯したかもしれない！最初から考え直す必要がある（“Wait! Maybe I made some mistakes! I need to rethink from scratch.“）」というフレーズを追加する
実験結果
- MGSM (Multilingual Grade School Math) データセット
- 英語：+6.17%，中国語：+5.60%
- 翻訳タスク
- 口語表現やスラング表現でより性能を出している
