@zerebom_3

Groq Inference Tokenomics: Speed, But At What Cost?

Groq Inference Tokenomics: Speed, But At What Cost?

• Groqは高いトークンスループットと低い価格でLLMの推論結果を提供している

  

• LLMの推論スピードはコーディングやLLMのAgentとして使う場合は現状の一般的なサービスより速くなることがほぼ必須であるものの、スピードはAIの戦いにおいて1つのパラメータにすぎない。特にGroqはコスト面などで不利な点がある

• Groqの不利な点

  • スタートアップであり、大規模な生産能力を持っていないので、需要増加への対応が難しい
  • 調達した資金を使ってて、サービスの価格を一時的に補助することで実現しているかも
  • Batch Sizeが大きい場合は、GPUの方が優位
    • Groqのチップは230MBのSRAMしかないので連結することが必須。これには多量の電気代がかかる
    • NvidiaのGPUは大容量のオンチップメモリを備えている(HBM)
  • → レイテンシを重視するケースでは優れているが、バッチサイズを増やしてスループットを最適化するには課題があると言える

Ref:

GroqChat

@suk1yak1

ユーザー体験 = プロダクト利用中の体験だと思っていませんか？

ユーザー体験 = プロダクト利用中の体験だと思っていませんか？

• UXは利用前(予期的UX)、利用中(一時的UX)、利用後(エピソード的UX)、利用時間全体(累積的UX)の4つに分かれる
• 感想：利用中にフォーカスしがちだが、その前後や中長期的な体験も加味したUXを考えたいと思った
  • 利用前：会員登録直後に期待値を上げる(ロード画面、チュートリアル)
  • 利用時間全体：推薦で精度重視で似たものばかりレコメンドすると飽きてしまうが、多様性を担保すると新しい発見もあり飽きずに続けてくれる？