faq:
- q: ¿Qué modos de token admite? a: Tres modos: palabras (separar por espacios), caracteres (cada carácter) y líneas (separar por saltos de línea).
- q: ¿Puedo analizar las frecuencias en la Calculadora de estadísticas? a: Sí. Usa el botón «Analizar en Estadísticas» para enviar los conteos.
- q: ¿Hay límite de tamaño de entrada? a: Sí. Máximo 512 KB (~512 000 caracteres).
- q: ¿Se envían mis datos a algún servidor? a: No. Todo el procesamiento se hace en tu navegador.
¿Qué hace esta herramienta
El Tokenizador de texto divide el texto en tokens (palabras, caracteres o líneas) y muestra la frecuencia de cada uno. Elige modo, pega el texto y obtén el conteo y la tabla de frecuencias. Copia tokens en CSV o por línea, o envía los conteos a la Calculadora de estadísticas.
Cómo usarla
- Selecciona el modo — Palabras, Caracteres o Líneas.
- Introduce o pega el texto — Usa «Generar texto ficticio» para rellenar rápido.
- Haz clic en Tokenizar — Se divide y se muestran conteo y tabla de frecuencia.
- Copia los resultados — Tokens o tabla de frecuencias.
- Analiza más — Haz clic en «Analizar en Estadísticas».
Cómo funciona
- Modo Palabras — Separación por espacios, filtro de cadenas vacías.
- Modo Caracteres — Cada carácter es un token; espacios, tabulaciones y saltos excluidos.
- Modo Líneas — Separación por saltos de línea.
Todo se procesa en tu navegador. No se envían datos.
Casos de uso y ejemplos
- Conteo de palabras, análisis de texto, preparación de datos, envío a estadísticas.
Ejemplo
Entrada «hello world hello» en modo Palabras: tokens hello, world, hello; frecuencia hello (2), world (1).
Limitaciones y restricciones
- Límite 512 KB. Sin servidor. Tokenización simple. Caracteres excluyen espacios.