Los benchmarks son los gobernantes de la inteligencia artificial, en ambos sentidos de la palabra. Como instrumentos de medición, funcionan según una lógica extremadamente simple: si se quiere saber qué puede hacer un modelo de IA, se diseña una prueba estandarizada para evaluarlo. Pero los benchmarks de IA también pueden dominar el comportamiento de todo el campo. En 1987, el primer benchmark de la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) sobre reconocimiento automático de voz a texto marcó un hito, pero también evidenció los riesgos de una evaluación poco rigurosa.
Hoy, un investigador quiere cambiar eso. Su objetivo es que la evaluación de la IA se convierta en una ciencia, no en un arte oscuro. La propuesta surge en un momento en que los modelos de IA son cada vez más ubicuos y su rendimiento tiene implicaciones éticas, económicas y sociales.
El problema de los benchmarks actuales
Los benchmarks tradicionales, como GLUE, SuperGLUE o ImageNet, han sido fundamentales para el avance de la IA. Sin embargo, con el tiempo han mostrado limitaciones: muchos se saturan (los modelos alcanzan puntuaciones casi perfectas), no reflejan tareas del mundo real o son susceptibles de sobreajuste. Además, la forma en que se reportan los resultados a menudo carece de transparencia, lo que dificulta la comparación justa entre modelos.
El investigador argumenta que la evaluación debe tratarse con el mismo rigor que cualquier disciplina científica: con hipótesis claras, metodologías reproducibles y métricas bien definidas. De lo contrario, se corre el riesgo de tomar decisiones basadas en datos engañosos.
Hacia una evaluación científica
La propuesta incluye varios pilares:
- Estandarización de protocolos: definir procedimientos claros para la creación y aplicación de benchmarks, incluyendo la selección de datos, las métricas y los informes de resultados.
- Transparencia: exigir que los investigadores documenten completamente sus métodos y hagan públicos los conjuntos de datos y el código.
- Diversidad de tareas: crear benchmarks que capturen una amplia gama de habilidades y contextos, evitando sesgos hacia tareas específicas.
- Evaluación continua: actualizar los benchmarks periódicamente para evitar la saturación y reflejar los avances tecnológicos.
Estos principios buscan que la evaluación de la IA sea más confiable y útil para desarrolladores, reguladores y usuarios finales.
Impacto en la industria y la sociedad
La falta de rigor en los benchmarks no es solo un problema académico. Las empresas utilizan estas métricas para marketing y para tomar decisiones de inversión. Los gobiernos las usan para regular. Los usuarios confían en ellas para elegir productos. Si los benchmarks son defectuosos, todo el ecosistema se ve afectado.
Por ejemplo, un modelo que obtiene una puntuación alta en un benchmark de comprensión del lenguaje puede fallar en aplicaciones del mundo real debido a sesgos o falta de robustez. Si los benchmarks no capturan esas dimensiones, se corre el riesgo de desplegar sistemas poco seguros.
Además, la evaluación científica de la IA puede ayudar a mitigar riesgos como la desinformación, la discriminación algorítmica y la pérdida de privacidad. Al medir el rendimiento en aspectos como la equidad y la interpretabilidad, se pueden desarrollar modelos más responsables.
El camino por recorrer
El investigador reconoce que transformar la evaluación de la IA en una ciencia requerirá un esfuerzo colaborativo. Propone la creación de consorcios internacionales que reúnan a académicos, industria y sociedad civil para desarrollar estándares comunes. También sugiere que las revistas científicas y las conferencias exijan mayores estándares de evaluación en los artículos que publican.
Algunas iniciativas ya están en marcha, como los benchmarks dinámicos y los desafíos de evaluación adversarial. Sin embargo, aún falta una infraestructura sólida que garantice la calidad y la comparabilidad de los resultados.
En última instancia, el objetivo es que la evaluación de la IA sea una disciplina científica rigurosa, transparente y útil para toda la sociedad. Como dice el investigador, “no podemos permitir que la IA sea un arte oscuro; debemos iluminarla con la luz de la ciencia”.
La comunidad de IA está llamada a reflexionar sobre cómo mide el progreso. Con benchmarks científicos, se podrá avanzar hacia sistemas más confiables y alineados con los valores humanos.
