El árbitro que la IA necesita no puede vender modelos

Cada semana un laboratorio anuncia que su modelo "supera a todos los rivales" en algún benchmark. El problema es que esos benchmarks los eligen —y a veces los diseñan— los mismos que venden el modelo. Buenos números significan buenas relaciones públicas, y la neutralidad brilla por su ausencia.

Ahí quiere entrar Vals AI, una startup respaldada por Andreessen Horowitz (a16z) que aspira a convertirse en el estándar de oro de la evaluación de modelos de inteligencia artificial: un tercero independiente que mida a todos con la misma vara.

Por qué importan los benchmarks neutrales

Los benchmarks se han convertido en la forma en que la industria valida capacidades y se diferencia de la competencia. Pero cuando cada empresa publica solo las métricas que le favorecen, comparar modelos es casi imposible para desarrolladores y empresas que tienen que elegir sobre qué construir.

La apuesta de Vals

La propuesta es sencilla de enunciar y difícil de ejecutar: evaluaciones rigurosas, reproducibles e independientes de los laboratorios, que sirvan de referencia confiable en un mercado saturado de modelos. Con el músculo financiero y la red de contactos de a16z, Vals tiene al menos la pista despejada para intentarlo.

El reto: ¿quién vigila al vigilante?

La historia de la tecnología está llena de certificadores que acabaron capturados por la industria que debían auditar. El éxito de Vals dependerá de su transparencia metodológica y de que los grandes laboratorios acepten someterse a sus pruebas sin imponer condiciones. Si lo consigue, elegir un modelo dejará de ser un acto de fe en un gráfico de marketing.

En un sector inundado de modelos nuevos cada mes, un árbitro creíble vale más que otro modelo más.

Fuente: techcrunch.com