El gráfico más malinterpretado de la IA recibe una actualización

· Futuro

El gráfico más malinterpretado de la IA recibe una actualización

La organización sin ánimo de lucro METR actualizó su gráfico sobre el progreso de la IA, confirmando el crecimiento exponencial de las capacidades de los modelos pese a las dificultades con tareas que requieren criterio humano.

La organización sin ánimo de lucro METR ha actualizado su gráfico de progreso de la IA, demostrando que algunas capacidades de los modelos siguen creciendo rápidamente, a pesar de las dificultades con las tareas que requieren juicio. Los investigadores han descubierto que, aunque las capacidades de las redes neuronales siguen creciendo en progresión exponencial, estos sistemas aún muestran debilidades significativas en tareas que requieren juicio humano, especialmente durante la automatización de la investigación y el desarrollo.

Los gráficos anteriores de METR mostraban un rápido progreso: la complejidad de las tareas que los modelos avanzados superaban con éxito se duplicaba cada cuatro meses. Sin embargo, estos datos se referían principalmente a tareas «verificables», como la programación o las matemáticas, donde el éxito o el error pueden determinarse automáticamente. Precisamente, este tipo de retroalimentación permite entrenar eficazmente las redes neuronales reforzando las rutas algorítmicas exitosas.

Desafíos para los investigadores de IA

El nuevo informe incluye tareas más complejas y menos estructuradas que requieren sensatez, como el desarrollo de nuevos métodos de evaluación de la IA o el análisis de argumentos filosóficos. Los resultados han mostrado que incluso los modelos que demuestran indicadores superiores a la media humana en la redacción de código fracasan ante tareas donde el resultado es más difícil de verificar o evaluar automáticamente. Ninguno de los intentos de la IA por crear nuevos métodos de evaluación para las necesidades de METR resultó ser lo suficientemente cualitativo para ser utilizado por los investigadores.

A pesar del retraso respecto a los humanos, los expertos han observado una dinámica positiva. Por ejemplo, algunos de los modelos más recientes, incluido Opus 5.5, alcanzan la categoría de «al límite por encima del estándar» en las tareas de desarrollo de evaluaciones; hace un año, todos los modelos estaban en la categoría de «claramente por debajo del estándar». No obstante, los científicos señalan que medir el éxito en tales ámbitos es mucho más difícil que en la programación.

«Estamos en una etapa en la que la evaluación de la IA requiere enfoques más creativos. Intentar ampliar el espectro de las evaluaciones es un cambio positivo», señaló Sayash Kapoor, informático y futuro profesor de la UC Berkeley.

La dificultad radica no solo en las tareas en sí, sino también en los métodos para evaluarlas. Dado que pagar por la ejecución de tareas que pueden durar cientos de horas o requerir una experiencia poco común es demasiado caro y lento, la duración de su ejecución se suele evaluar de forma aproximada. Para la tarea de los argumentos filosóficos, la mayoría de las respuestas fueron evaluadas por una sola persona. Al mismo tiempo, los trabajadores de METR no están de acuerdo sobre hasta qué punto la tarea de evaluar argumentos filosóficos es relevante para la automatización de la investigación y el desarrollo de la IA. Los expertos coinciden en que, aunque incluir tales tareas en la investigación es un paso correcto, aún es demasiado pronto para sacar conclusiones definitivas sobre la velocidad de la automatización de los desarrollos científicos en el campo de la IA.

«Al final, no creo que podamos establecer tendencias tan claras y fiables como para las tareas fáciles de definir», concluyó Matt Putz, miembro del equipo técnico de METR.

Basado en información de: MIT Technology Review

Adaptación al español con ayuda de inteligencia artificial. Читати українською

¿De qué va? — la edición en español de «Про Що?»