Google Gemini Tokenizer

Räkna tokens för Gemini-modeller

Inmatningstext

Om Geminis Tokenizer

  • Gemini använder en SentencePiece-tokenizer optimerad för multimodal förståelse
  • Genomsnittlig tokenlängd: ~4 tecken för engelsk text
  • Hanterar flera språk och kod effektivt