- Editado
Aunque tenemos un hilo para la Inteligencia Artificial en el foro, había pensado que quizá estaría bien tener este espacio por aquí. Se trata de una aplicación que permite configurar y ejecutar modelos de lenguaje de forma local.
Requisitos mínimos
- Apple Silicon Mac (M1/M2/M3) con macOS 13.6 o superior.
- Para Windows o Linux, un procesador que soporte AVX2.
- Más de 16GB de RAM es lo ideal.
- Más de 6GB de VRAM.
- GPU NVIDIA o AMD.
Algunos opciones de la aplicación
- Elige el rol que quieras para el prompt.
- Preconfigura una instrucción inicial, por ejemplo: "Responde siempre en español" y se inyectará en el prompt.
- Puedes elegir el número de palabras que quieres que te saque, limitar los tokens y más.
- Guardar múltiples presets y cargarlos o exportalos en un JSON.
- Elegir si quieres que te responda en texto plano o en markdown, esto último es ideal si trabajas con código.
- Añadir notas en un chat.
La idea del hilo es que vayamos charlando sobre las nuevas betas, configuraciones, modelos que nos vayamos encontrando y más.
He hecho una reseña aquí por si alguien quiere leerla.
Base de datos de modelos en Huggin Face.