Google Geminiトークナイザー

Geminiのトークナイザーについて

• Geminiはマルチモーダル理解に最適化されたSentencePieceトークナイザーを使用
• 平均トークン長: 英語テキストで約4文字
• 複数の言語とコードを効率的に処理