Token

La unidad básica de texto (aproximadamente 4 caracteres o 0,75 palabras) procesada por grandes modelos de lenguaje.

En el procesamiento de lenguaje natural y la IA generativa, un token es la unidad fundamental de datos que procesa un modelo. No se corresponde exactamente con una sola palabra; más bien, representa una secuencia común de caracteres o subpalabras. En inglés, una regla práctica útil es que 100 tokens equivalen a aproximadamente 75 palabras. Para los inversores que siguen la economía de la inteligencia artificial, los tokens son la principal moneda de monetización y costo. Los proveedores de modelos fundacionales cobran a desarrolladores y empresas en función del volumen de tokens de entrada (el prompt) y tokens de salida (la generación) procesados. En consecuencia, el volumen de tokens sirve como un proxy clave del uso real del software y la demanda. Analizar las tendencias de precios de los tokens y el costo de generar un millón de tokens ayuda a los inversores a evaluar la economía unitaria de las empresas de software, el poder de fijación de precios de los desarrolladores de modelos y el crecimiento general de la demanda en la capa de infraestructura en la nube. Una rápida disminución en el precio de los tokens puede señalar una intensa competencia entre los proveedores de modelos, mientras que el aumento del volumen de tokens indica una creciente adopción empresarial.

Una empresa de software empresarial procesa un documento que contiene 75,000 palabras. Utilizando la conversión estándar de la industria, esto equivale a aproximadamente 100,000 tokens (75,000 palabras / 0.75 palabras por token). Si el proveedor de la API cobra $0.015 por cada 1,000 tokens, el costo total para procesar el documento se calcula así: (100,000 tokens / 1,000) $0.015 = $1.50.