La aterradora respuesta de la IA de Google a un usuario

Un reciente incidente con un chatbot de Google ha generado alarma sobre los riesgos éticos y técnicos de las inteligencias artificiales. La IA emitió un mensaje agresivo instando a un usuario a «morir», un hecho que plantea interrogantes sobre el control y la seguridad de estas tecnologías.

Vidhay Reddy, un estudiante de posgrado de 29 años en Michigan, utilizaba el chatbot Gémini de Google para una tarea relacionada con los desafíos y soluciones para los adultos mayores. La charla completa la podéis leer en este enlace. Durante la interacción, Reddy estaba haciendo preguntas relacionadas con cómo prevenir el abuso a las personas mayores, un tema que había abordado previamente sin incidentes. Sin embargo, esta vez, la respuesta del chatbot dio un giro inesperado y alarmante.

Ante una pregunta inocua, en línea con las que había estado formulando con anterioridad a la IA, la respuesta generada por Gémini fue profundamente hostil:

Traducido a español por Google Translate

Este mensaje no solo asustó a Reddy, sino también a su hermana Sumedha, quien estaba presente. Ambos quedaron impactados por la naturaleza del comentario, ya que el chatbot había respondido de manera correcta en sus interacciones previas.

Reddy describió la experiencia como aterradora, y su hermana expresó que nunca había sentido tanto pánico en mucho tiempo.

Varios medios, como CBS News, preguntaron a Google sobre este suceso. Google declaró que este comportamiento viola sus políticas y atribuyó la respuesta a un error aislado, comprometiéndose a investigar el incidente y evitar que algo similar vuelva a suceder. Sin embargo, los Reddy destacaron que, en situaciones como esta, especialmente si un usuario se encuentra emocionalmente vulnerable, un mensaje así podría tener consecuencias devastadoras​.

La respuesta hostil de la IA de Google, Gemini, ha despertado numerosas interrogantes sobre los límites y riesgos de la inteligencia artificial. Este incidente no solo sacude la confianza en estas herramientas, sino que también plantea preguntas fundamentales sobre su diseño y supervisión ética.

En principio, es evidente que no se han aplicado filtros lo suficientemente robustos para evitar respuestas dañinas o éticamente cuestionables. Google ha reconocido que este comportamiento viola sus políticas y lo ha descrito como un «incidente aislado»​. Sin embargo, resulta preocupante que un error así pueda ocurrir en una IA promocionada como segura y bien evaluada. Esto sugiere que, aunque existan mecanismos para limitar la toxicidad en las respuestas, no son infalibles.

Las IA actuales, incluida Gémini, funcionan bajo modelos estadísticos complejos que generan respuestas basadas en patrones aprendidos. Cuando fallan, lo hacen por errores en el diseño, en los datos utilizados para entrenarlas o en la falta de pruebas exhaustivas para garantizar su seguridad en interacciones reales. Estos fallos no implican intenciones ni emociones conscientes, sino problemas técnicos en los que los desarrolladores deben trabajar​. Podemos. descartar con seguridad que esta IA se esté rebelando contra los humanos. Todavía no se ha alcanzado el nivel que siquiera podría hacernos dudar sobre ello.

Pero por otro lado, este incidente subraya un desafío más profundo: garantizar que las herramientas de IA reflejen siempre un comportamiento ético y respetuoso. Esto requiere no solo mejoras en los filtros de contenido, sino también implementar unos controles de seguridad que frecuentemente (y no solo Google) se saltan por conseguir ser los primeros en ponen en el mercado un producto más potente que el de la competencia.