Desbloquee el resumen del editor de forma gratuita
Roula Khalaf, editora del FT, selecciona sus historias favoritas en este boletín semanal.
Microsoft comenzará a clasificar los modelos de inteligencia artificial en función de su rendimiento de seguridad, ya que el grupo de software busca generar confianza con los clientes de la nube, ya que les vende ofertas de IA de los gustos de Openi y Elon Musk’s XAI.
Sarah Bird, jefe de IA responsable de Microsoft, dijo que la compañía pronto agregaría una categoría de “seguridad” a su “placa de clasificación de modelos”, una característica que lanzó para los desarrolladores este mes a iteraciones de clasificación desde una variedad de proveedores, incluidos Deepseek de China y el Mistral de Francia.
Se espera que la tabla de clasificación, a la que se puede acceder a decenas de miles de clientes que utilizan la plataforma de desarrollador de Foundry Azure, influyen en qué modelos y aplicaciones de IA se compran a través de Microsoft.
Microsoft actualmente clasifica tres métricas: calidad, costo y rendimiento, que es la rapidez con que un modelo puede generar una salida. Bird le dijo a The Financial Times que la nueva clasificación de seguridad aseguraría que “las personas puedan comprar y comprender directamente” las capacidades de los modelos de IA a medida que deciden cuál comprar.
La decisión de incluir puntos de referencia de seguridad se produce cuando los clientes de Microsoft lidian con los riesgos potenciales planteados por los nuevos modelos de IA para los datos y las protecciones de privacidad, particularmente cuando se implementan como “agentes” autónomos que pueden funcionar sin supervisión humana.
La nueva métrica de seguridad de Microsoft se basará en su propio punto de referencia de toxigen, que mide el discurso de odio implícito, y el Centro de Bench Proxy Benchmarks de AI Safety Destruction Destruction. Este último evalúa si un modelo puede usarse para fines maliciosos, como construir un arma bioquímica.
Las clasificaciones permiten a los usuarios tener acceso a métricas objetivas al seleccionar desde un catálogo de más de 1,900 modelos de IA, para que puedan tomar una decisión informada de la cual usar.
“Los tableros de líderes de seguridad pueden ayudar a las empresas a reducir el ruido y reducir las opciones”, dijo Cassie Kozyrkov, consultora y ex científica principal de decisiones en Google. “El verdadero desafío es comprender las compensaciones: ¿un mayor rendimiento a qué costo? ¿Un costo menor en qué riesgo?”
Junto con Amazon y Google, el grupo con sede en Seattle es considerado uno de los “hiperscalers” más grandes que juntos dominan el mercado de la nube.
Microsoft también se está posicionando como una plataforma agnóstica para la IA generativa, firmando acuerdos para vender modelos de Xai y Anthrope, rivales a la inicio de OpenAi que ha respaldado con aproximadamente $ 14 mil millones en inversiones.
El mes pasado, Microsoft dijo que comenzaría a ofrecer la familia de modelos Grok de Xai bajo los mismos términos comerciales que OpenAI.
La medida se produjo a pesar de una versión de GROK que aumenta la alarma cuando una “modificación no autorizada” de su código lo llevó a hacer referencia repetidamente al “genocidio blanco” en Sudáfrica cuando respondió a las consultas en el sitio de redes sociales X. Xai dijo que introdujo una nueva política de monitoreo para evitar futuras incidentes.
“Los modelos vienen en una plataforma, hay un grado de revisión interna, y luego depende del cliente usar puntos de referencia para resolverlo”, dijo Bird.
No existe un estándar global para las pruebas de seguridad de la IA, pero la Ley de IA de la UE entrará en la fuerza a finales de este año y obligará a las empresas a realizar pruebas de seguridad.
Algunos constructores de modelos, incluido OpenAI, están dedicando menos tiempo y dinero para identificar y mitigar los riesgos, el FT informó previamente citando a varias personas familiarizadas con los procesos de seguridad de la start-up. La nueva empresa dijo que había identificado eficiencias sin comprometer la seguridad.
Bird declinó hacer comentarios sobre las pruebas de seguridad de Openai, pero dijo que era imposible enviar un modelo de alta calidad sin invertir una “gran cantidad” en la evaluación y que los procesos se estaban automatizando.
Microsoft en abril también lanzó un “agente de equipo de AI Red” que automatiza el proceso de prueba de programas de computadoras de tensión mediante el lanzamiento de ataques para identificar vulnerabilidades. “Simplemente especifica el riesgo, especifica la dificultad de ataque … y luego está fuera de atacar su sistema”, dijo Bird.
Existen preocupaciones que sin supervisión adecuada, los agentes de IA podrían tomar medidas no autorizadas que abren a los propietarios a los pasivos.
“El riesgo es que las juntas líderes pueden llevar a los tomadores de decisiones a una falsa sensación de seguridad”, dijo Kozyrkov. “Las métricas de seguridad son un punto de partida, no una luz verde”.
Deja un comentario