@Higuchi Kokoro
@Masataka Kashiwagi
Netflixの推薦&検索システム最前線 - QCon San Francisco 2024現地レポート - Uzabase for Engineers
@FukasawaYusuke
色々新しくなった技術で BERT を revise した話
Finally, a Replacement for BERT: Introducing ModernBERT
良くなったポイント
token length が 8192 に拡張(!?)
GLUE スコアもかなり向上

それでいてbase (139M params) and large (395M params) という(現代では相対的に)破格の小ささ