O Que Sao Tokens
Tokens sao as unidades basicas que modelos de IA usam para processar texto. Um token pode ser uma palavra inteira, parte de uma palavra ou ate um caractere especial. Em portugues, a media e de aproximadamente 3,5 caracteres por token.
Por Que Tokens Importam
Os provedores de IA cobram por volume de tokens processados. Cada requisicao consome tokens tanto na entrada (seu prompt) quanto na saida (a resposta da IA). Entender o consumo de tokens ajuda a otimizar custos e escolher o modelo certo.
Como Esta Ferramenta Calcula
A calculadora usa duas heuristicas: divisao por caracteres (1 token ~ 3.5 chars) e por palavras (1 token ~ 0.65 palavras), fazendo a media entre ambas para uma estimativa mais precisa. Para contagem exata, cada modelo tem seu proprio tokenizer.