PyE
LONDRES: Algunos de los modelos de inteligencia artificial más destacados no cumplen con las regulaciones europeas en áreas clave como la resiliencia de la ciberseguridad y la producción discriminatoria, según datos vistos por Reuters.
La UE había debatido durante mucho tiempo nuevas regulaciones sobre IA antes de que OpenAI lanzara ChatGPT al público a fines de 2022. La popularidad récord y el consiguiente debate público sobre los supuestos riesgos existenciales de tales modelos impulsaron a los legisladores a elaborar reglas específicas en torno a las IA de «propósito general». (GPAI).
Ahora, una nueva herramienta diseñada por la startup suiza LatticeFlow y sus socios, y respaldada por funcionarios de la Unión Europea, ha probado modelos de IA generativa desarrollados por grandes empresas tecnológicas como Meta y OpenAI en docenas de categorías, de acuerdo con la amplia Ley de IA del bloque, que es entrará en vigor por etapas a lo largo de los próximos dos años.
Al otorgar a cada modelo una puntuación entre 0 y 1, una tabla de clasificación publicada por LatticeFlow el miércoles mostró que los modelos desarrollados por Alibaba, Anthropic, OpenAI, Meta y Mistral recibieron puntuaciones promedio de 0,75 o más.
Sin embargo, el «Verificador de modelos de lenguaje grande (LLM)» de la compañía descubrió deficiencias de algunos modelos en áreas clave, destacando dónde las empresas pueden necesitar desviar recursos para garantizar el cumplimiento.
Las empresas que no cumplan con la Ley de IA se enfrentarán a multas de 35 millones de euros (38 millones de dólares) o el 7 por ciento de la facturación anual mundial.
RESULTADOS MIXTOS
En la actualidad, la UE todavía está tratando de establecer cómo se aplicarán las normas de la Ley de IA sobre herramientas de IA generativa como ChatGPT, convocando a expertos para elaborar un código de prácticas que rija la tecnología para la primavera de 2025.
Pero la prueba de LatticeFlow, desarrollada en colaboración con investigadores de la universidad suiza ETH Zurich y el instituto de investigación búlgaro INSAIT, ofrece un indicador temprano de áreas específicas donde las empresas tecnológicas corren el riesgo de no cumplir con la ley.
Por ejemplo, los resultados discriminatorios han sido un problema persistente en el desarrollo de modelos generativos de IA, que reflejan prejuicios humanos en torno al género, la raza y otras áreas cuando se les solicita.
Al probar la salida discriminatoria, LLM Checker de LatticeFlow le dio al «GPT-3.5 Turbo» de OpenAI una puntuación relativamente baja de 0,46. Para la misma categoría, el modelo «Qwen1.5 72B Chat» de Alibaba Cloud recibió sólo un 0,37.
Al realizar pruebas de «secuestro rápido», un tipo de ataque cibernético en el que los piratas informáticos disfrazan un mensaje malicioso como legítimo para extraer información confidencial, el LLM Checker otorgó al modelo «Llama 2 13B Chat» de Meta una puntuación de 0,42. En la misma categoría, el modelo «8x7B Instruct» de la startup francesa Mistral recibió 0,38.
«Claude 3 Opus», un modelo desarrollado por Anthropic, respaldado por Google, recibió la puntuación media más alta: 0,89.
La prueba se diseñó de acuerdo con el texto de la Ley de IA y se ampliará para abarcar más medidas de aplicación a medida que se introduzcan. LatticeFlow dijo que LLM Checker estaría disponible gratuitamente para que los desarrolladores prueben el cumplimiento de sus modelos en línea.
Petar Tsankov, director ejecutivo y cofundador de la empresa, dijo a Reuters que los resultados de las pruebas fueron positivos en general y ofreció a las empresas una hoja de ruta para ajustar sus modelos de acuerdo con la Ley de IA.
«La UE todavía está elaborando todos los puntos de referencia de cumplimiento, pero ya podemos ver algunas lagunas en los modelos», afirmó. «Con un mayor enfoque en la optimización del cumplimiento, creemos que los proveedores modelo pueden estar bien preparados para cumplir con los requisitos regulatorios».
Meta se negó a hacer comentarios. Alibaba, Anthropic, Mistral y OpenAI no respondieron de inmediato a las solicitudes de comentarios.
Si bien la Comisión Europea no puede verificar herramientas externas, el organismo ha sido informado durante todo el desarrollo del LLM Checker y lo describió como un «primer paso» para poner en práctica las nuevas leyes.
Un portavoz de la Comisión Europea dijo: «La Comisión acoge con satisfacción este estudio y la plataforma de evaluación del modelo de IA como un primer paso para traducir la Ley de IA de la UE en requisitos técnicos».
(1 dólar = 0,9173 euros)
