Tokenizador de Google Gemini

Contar tokens para modelos Gemini

Texto de Entrada

Acerca del Tokenizador de Gemini

  • Gemini usa un tokenizador SentencePiece optimizado para comprensión multimodal
  • Longitud promedio de token: ~4 caracteres para texto en inglés
  • Maneja múltiples idiomas y código eficientemente