PAL Suena a unidad estadounidense o británica... y NUNCA hay que hacerle caso a estos cuando intentan poner sus propias unidades para algo
Isolee Un toke en la cara es lo que tiene el que creó la equivalencia.
🤣 A ver, no me entendéis. Yo soy el primero que reniega de los anglos pero cuando te metes tiene sentido 🤣
Lo de tres cuartos de palabra es por la cantidad de información que se da (o envía, si responde) a la IA. No es lo mismo, por ejemplo, miro (verbo mirar) que miraréis (verbo mirar, futuro). Es "unidad de información" por así decirlo, igual Oshvam como informática sabrá explicarlo mejor
Ayer no pude enviar el link que quería, ese es:
https://platform.openai.com/tokenizer
Podéis hacer las pruebas escribiendo en español y veréis las divisiones de las palabras, cada división es un token. En japonés debe ser igual pero habrá otras equivalencias palabras/token.
