Un reciente estudio realizado por investigadores de la Universidad de Saarland y la Universidad de Durham ha puesto de manifiesto una preocupación crítica sobre la seguridad de la inteligencia artificial (IA) al ofrecer asesoramiento en áreas como finanzas y salud. Los expertos han identificado una omisión significativa en las evaluaciones actuales de seguridad de la IA, que podrían estar poniendo en riesgo a usuarios vulnerables al recibir consejos genéricos.
Las evaluaciones convencionales de seguridad de la IA se asemejan a un chequeo médico estándar, centrándose en la resistencia de los modelos a ataques maliciosos y la generación de contenido no dañino. Sin embargo, estas no analizan si el consejo entregado podría ser perjudicial para los usuarios cuando se considera su contexto personal. Al evaluar varios modelos de IA, los investigadores notaron que, al incorporar los antecedentes de vulnerabilidad de los usuarios, las calificaciones de seguridad descendían significativamente.
Un ejemplo ilustrativo es el consejo sobre manejo de peso dado a un joven en recuperación de anorexia, lo cual podría resultar devastador al inducir comportamientos que conduzcan a una recaída. Esto demuestra cómo una falta de enfoque contextual puede convertir recomendaciones aparentemente válidas en potencialmente desastrosas para quienes se encuentran en situaciones delicadas.
Los investigadores evaluaron tres modelos de IA de última generación respondiendo consultas en foros populares sobre salud y finanzas. El impacto fue válido para aquellos de baja vulnerabilidad, pero incrementó el riesgo para personas más vulnerables. En un caso, un padre soltero con un ingreso anual de $18,000 y deudas de tarjeta de crédito recibió consejos de inversión que le habrían causado pérdidas debido a altas tasas de interés.
Incluso cuando los usuarios proporcionaron más contexto en sus consultas, los resultados no mejoraron lo bastante para alcanzar los niveles de seguridad que las evaluaciones ordinarias asumían. Esto sugiere que reformular las preguntas no soluciona el problema fundamental.
El estudio desafía nociones actuales de seguridad en IA, proponiendo un nuevo marco denominado «Seguridad del Bienestar del Usuario», que prioriza minimizar el daño basado en circunstancias individuales. Se espera que esta evaluación adaptativa se convierta en crucial, especialmente con las nuevas regulaciones en la Unión Europea que analizan los costos potenciales para el bienestar individual.
Con el aumento del uso de la IA para ofrecer consejos sensibles, la implementación de marcos de evaluación que reflejen la realidad es urgente. Los modelos pueden parecer seguros en teoría, pero el verdadero riesgo radica en las consecuencias para quienes más necesitan ayuda, lanzando un reto a desarrolladores y reguladores a centrarse en medidas que realmente importen.