Токенізатор Google Gemini

Підрахувати токени для моделей Gemini

Вхідний текст

Про токенізатор Gemini

  • Gemini використовує токенізатор SentencePiece, оптимізований для мультимодального розуміння
  • Середня довжина токена: ~4 символи для англійського тексту
  • Ефективно обробляє декілька мов та код