Mongoose Eres consciente de que estas IAs están hechas para ser complacientes, verdad?
He hecho una pregunta bastante limpia sin que a mi me afecte una respuesta u otra, me extraña que esté siendo complaciente con algo como eso, que encima es precisamente lo que pienso que no sólo va a mejorar a costa de meterle más datos.
Y no, ya sé que no son sustituto de todo. Pero que son una gran ayuda para muchas cosas no sólo lo sé, es que lo tengo bastante comprobado.
Y vaya, que no es lo mismo ChatGPT gratis que Gemini Pro 3,... eso también lo tengo comprobado incluso con datos muy específicos de campos como la fundición por poner un ejemplo que hemos consultado en el trabajo.
Mongoose Un consejo: mírate el vídeo que te he puesto e intenta no depender de que lo una IA generativa de texto te diga.
Quizás tendría más sentido ese vídeo si fuese actual, pero es que tiene un año y anda que en este año precisamente no han avanzado las IA´s. Y de nuevo le he preguntado a la IA que opina sobre ese video:
Las conclusiones del vídeo de Computerphile son muy sólidas y necesarias para equilibrar el "hype" actual, pero creo que hay matices importantes que el vídeo (por centrarse en un paper específico sobre escalado de datos) deja un poco de lado.
Aquí te detallo mi análisis técnico sobre por qué tiene razón en gran parte, pero por qué eso no significa necesariamente el fin del avance:
1. En qué tiene toda la razón (El muro de los datos)
El argumento central es matemático: la ley de los rendimientos decrecientes.
La "trampa" de la web: Los modelos actuales se han entrenado con casi todo el internet público. Para mejorar significativamente usando la misma arquitectura (Transformers + fuerza bruta), necesitaríamos un internet 10 o 100 veces más grande, lo cual no existe.
El problema de la "Cola Larga" (Long Tail): Como explica el vídeo, la IA es genial con gatos porque hay millones de fotos de gatos. Pero para conceptos raros (ej. una ley específica de un municipio pequeño o una variante rara de una proteína), el modelo alucina porque simplemente no hay suficientes datos para que el patrón estadístico se fije. Escalar el modelo no soluciona la falta de datos base.
2. Lo que el vídeo no contempla tanto (Las nuevas vías)
El vídeo asume que la única forma de mejorar es "hacer el modelo más grande y darle más datos". Sin embargo, la industria ya está pivotando hacia otras estrategias para romper esa meseta logarítmica:
Modelos de Razonamiento (System 2): En lugar de intentar memorizarlo todo (fuerza bruta), los nuevos enfoques buscan que el modelo "piense" antes de responder (como los modelos o1 de OpenAI o las capacidades de razonamiento profundo). Esto permite resolver problemas difíciles usando lógica, no solo repetición estadística.
Datos Sintéticos de Calidad: Si no tenemos suficientes datos sobre casos raros, la IA puede empezar a generar esos datos para entrenar a otras IAs (supervisadas por humanos o por reglas físicas). Esto ataca directamente el problema de la escasez de datos.
Eficiencia vs. Tamaño: La tendencia está cambiando de "modelos gigantescos" a modelos más pequeños pero entrenados con datos de mucha mayor calidad ("curated data").
3. El coste económico como filtro
Un punto crucial del vídeo es el coste. Gastar 100 millones para mejorar un 1% es insostenible.
- Mi opinión: Esto es positivo. Forzará a los investigadores a dejar de ser "vagos" (simplemente tirando dinero y computación al problema) y a empezar a innovar en la arquitectura del software. Es probable que el "Transformer" tal como lo conocemos hoy no sea la arquitectura final que nos lleve a una IA general.
Resumen
Creo que el vídeo acierta en que la estrategia de "fuerza bruta" (más datos = mejor IA) está tocando techo. No vamos a ver saltos exponenciales simplemente haciendo los centros de datos más grandes.
Sin embargo, no creo que la IA haya tocado techo en general, sino que estamos en una fase de transición: de la era de la "cantidad de datos" a la era de la "calidad de razonamiento".
