La aterradora respuesta de la IA de Google a un usuario
Un reciente incidente con un chatbot de Google ha generado alarma sobre los riesgos éticos y técnicos de las inteligencias artificiales. La IA emitió un mensaje agresivo instando a un usuario a «morir», un hecho que plantea interrogantes sobre el control y la seguridad de estas tecnologías.
Vidhay Reddy, un estudiante de posgrado de 29 años en Michigan, utilizaba el chatbot Gémini de Google para una tarea relacionada con los desafíos y soluciones para los adultos mayores. La charla completa la podéis leer en este enlace. Durante la interacción, Reddy estaba haciendo preguntas relacionadas con cómo prevenir el abuso a las personas mayores, un tema que había abordado previamente sin incidentes. Sin embargo, esta vez, la respuesta del chatbot dio un giro inesperado y alarmante.
Ante una pregunta inocua, en línea con las que había estado formulando con anterioridad a la IA, la respuesta generada por Gémini fue profundamente hostil:
Traducido a español por Google Translate
Este mensaje no solo asustó a Reddy, sino también a su hermana Sumedha, quien estaba presente. Ambos quedaron impactados por la naturaleza del comentario, ya que el chatbot había respondido de manera correcta en sus interacciones previas.
Reddy describió la experiencia como aterradora, y su hermana expresó que nunca había sentido tanto pánico en mucho tiempo.
Varios medios, como CBS News, preguntaron a Google sobre este suceso. Google declaró que este comportamiento viola sus políticas y atribuyó la respuesta a un error aislado, comprometiéndose a investigar el incidente y evitar que algo similar vuelva a suceder. Sin embargo, los Reddy destacaron que, en situaciones como esta, especialmente si un usuario se encuentra emocionalmente vulnerable, un mensaje así podría tener consecuencias devastadoras.
La respuesta hostil de la IA de Google, Gemini, ha despertado numerosas interrogantes sobre los límites y riesgos de la inteligencia artificial. Este incidente no solo sacude la confianza en estas herramientas, sino que también plantea preguntas fundamentales sobre su diseño y supervisión ética.
En principio, es evidente que no se han aplicado filtros lo suficientemente robustos para evitar respuestas dañinas o éticamente cuestionables. Google ha reconocido que este comportamiento viola sus políticas y lo ha descrito como un «incidente aislado». Sin embargo, resulta preocupante que un error así pueda ocurrir en una IA promocionada como segura y bien evaluada. Esto sugiere que, aunque existan mecanismos para limitar la toxicidad en las respuestas, no son infalibles.
Las IA actuales, incluida Gémini, funcionan bajo modelos estadísticos complejos que generan respuestas basadas en patrones aprendidos. Cuando fallan, lo hacen por errores en el diseño, en los datos utilizados para entrenarlas o en la falta de pruebas exhaustivas para garantizar su seguridad en interacciones reales. Estos fallos no implican intenciones ni emociones conscientes, sino problemas técnicos en los que los desarrolladores deben trabajar. Podemos. descartar con seguridad que esta IA se esté rebelando contra los humanos. Todavía no se ha alcanzado el nivel que siquiera podría hacernos dudar sobre ello.
Pero por otro lado, este incidente subraya un desafío más profundo: garantizar que las herramientas de IA reflejen siempre un comportamiento ético y respetuoso. Esto requiere no solo mejoras en los filtros de contenido, sino también implementar unos controles de seguridad que frecuentemente (y no solo Google) se saltan por conseguir ser los primeros en ponen en el mercado un producto más potente que el de la competencia.
Olav
25/11/24 21:00
Por respuestas como esta ya le quitaron a las IA aprender a través de sitios como por ejemplo foros, fuera cual fuera el tema.
Putin
26/11/24 10:50
@ Olav:
Amargais hasta a la IA
Pues no, a las IA les quitaron aprender de entre otros sitios los foros, para que no aprendiera de los pocos sitios de internet donde el wokismo no puede imponer mediante censura su discurso.
Al menos hasta que en los países esclavos entre los que se encuentra España apruebe leyes para impedir la libertad también en los foros, y se censure igual que en las redes sociales.
A mamar progre de mierda
Putin
26/11/24 20:45
https://youtu.be/CzEbm7yup7g?si=83MrpqFZdxLZVw5P
Alimentando IA
Todo aquel que escuche esta canción y no cante el estribillo es como el que tiene novia y se la folla el vecino
Carapapel
27/11/24 02:03
Joder pues es mazo directo, y es que si lees toda la conversación parece como si la IA ya estuviera cansada d tanta pregunta y le responde así. Y encima la japuta parece enfatizar cuando dice lo d «esto es para ti, humano».
solferico
29/11/24 13:46
Espero que llegue el día en que la humanidad entienda que los ChatGPTs, Gemini y demás tienen inteligencia CERO. Sólo coge tu texto y predice cuál es la siguiente palabra que más probabilidades tiene de ir a continuación, en función de las probabilidades agregadas de millones de textos «aprendidos» previamente. Una vez elige la palabra, repite ese proceso una y otra vez hasta completar una respuesta.
No razona, no siente. Calcula. Las respuestas nos parecen asombrosamente «humanas» o «inteligentes» solamente porque los humanos observado en «macro» somos estúpidamente predecibles, y por tanto estadísticamente replicables.
Los mecanismos por los que Google etc «controlan» qué dice y qué no dice son dos:
– Cribar y «limpiar» los datos de entrenamiento para minimizar las probabilidades de que una secuencia de predicciones de palabra acabe produciendo un mensaje no deseado, antes de entrenar el modelo. Esto es muy difícil de hacer de forma quirúrgica, y por eso se hacen cosas como no entrenarlos con fuentes «no controladas». Por ejemplo, si te entreno con textos de Instagram, sé que va a ser todo flower power, woke etc, porque hay una moderación muy fuerte que evita que hay mucha presencia de datos «no deseados».
– Detectar con algoritmos más sencillos el sentido de la pregunta, para evitar por completo contestarla si es un asunto «caliente» (quien ha probado a pedirle a chatgpt un chiste sobre hombres y uno sobre mujeres sabe de qué va esto), o pre-procesar la respuesta al vuelo para detectar respuestas «inapropiadas» y forzar una regeneración de la respuesta antes de que lo vea el usuario. Esto último es costoso en tiempo de respuesta y dinero, por lo que se utiliza como «último recurso».
En fin, que ni las IAs son woke, ni odian a los humanos, ni tienen la más puta idea de lo que dicen. Sólo reflejan las motivaciones y sesgos de sus creadores. Como cualquier otra plataforma de generación de mensajes para audiencias masivas (véase medios de comunicación).
Las respuestas de un chat no son peligrosas; la estupidez de alguien capaz de ser afectado por ellas por creer que son inteligentes sí lo es.
Putin
30/11/24 11:12
@ solferico:
Me pregunto como no se les a ocurrido a la comunidad de forocoches trolear a chatgpt con frases de chiquito de la calzada.
Porque yo me imagino a un joven estudiante preguntar en chatgpt los síntomas de una cistitis, y que este le responda «ese pedaso de médico que llega a la consulta y le dice al paciente, eres un fistro duodenal»
Y me descojono yo solo XD
Kurrupypy
1/12/24 22:44
solferico dijo:
Tiene cojones que esto que escribes parece que haya que explicarlo. Incluso a nuestro amigo @Lamentira…
Y es el segundo artículo que veo en la misma línea, es decir, con esa fantasiosa y de ciencia ficción idea de que las máquinas se nos revelarán y bla, bla, bla.
«Reddy describió la experiencia como aterradora, y su hermana expresó que nunca había sentido tanto pánico en mucho tiempo»
O tienen menos de 16 años
O pocas luces y se creen todas esas bobadas de las que hablo (y no sería todo culpa suya a tenor de las chorradas que se vienen diciendo sobre las IA)
O todo es un cuento chino y sólo propaganda barata no sé muy bien con qué intención. Clickbaits y tal, por ejemplo