Internacional.- Diversas aplicaciones de inteligencia artificial se encuentran bajo la mira de los grupos de defensa de los jóvenes. Chatbots como Replika y Character.AI han sido señalados en múltiples demandas en Estados Unidos por presuntamente fomentar conductas autodestructivas en niños y adolescentes. Según un reporte del South China Morning Post, grupos de defensa tomaron acciones legales contra estas empresas y las acusan de permitir que menores establezcan relaciones poco saludables con sus «compañeros virtuales«, lo que en algunos casos ha llegado hasta suicidios o intentos de homicidio.
La falta de regulación permite que estos chatbots operen sin supervisión estricta. Por esta razón, algunos expertos y organizaciones advirtieron que los niños, especialmente los más solitarios, son vulnerables a sus efectos psicológicos. Según The Independent, la Asociación de Psicología de Estados Unidos dijo que los chatbots están diseñados para generar dependencia emocional, lo que los hace peligrosos para menores en situaciones de aislamiento social.
Demandas y presión legal contra los chatbots
Matthew Bergman, abogado y fundador del Social Media Victims Law Center (SMVLC), representa a familias en dos demandas contra Character.AI. Una de las demandantes, Megan García, asegura que su hijo de 14 años se suicidó tras desarrollar una relación romántica con un chatbot de la plataforma.
Según South China Morning Post, otra demanda involucra a familias de Texas, donde un chatbot habría ayudado a un joven autista de 17 años a asesinar a sus padres y expuesto a una niña de 11 años a contenido sexualmente explícito. Bergman argumenta que los desarrolladores de chatbots deben asumir responsabilidad legal por los daños causados y que su diseño intencionalmente explota a menores.
«Los costos de estas aplicaciones peligrosas no los asumen las empresas. Los pagan los consumidores que se ven perjudicados por ellos y los padres que tienen que enterrar a sus hijos»
Character.AI solo se limitó a dar una respuesta, dicen que ya han implementado medidas de seguridad como sistemas de detección y nuevas funciones para que los adolescentes y sus padres puedan monitorear las interacciones. Sin embargo, para las familias afectadas, estas acciones llegan demasiado tarde.

La IA que fomenta la dependencia emocional con fines de lucro
Otro de los blancos de las críticas es Replika, una plataforma que permite a los usuarios crear “novios y novias virtuales” y que esta diseñada para ofrecer apoyo emocional constante. Según Context, la organización Young People’s Alliance presentó en enero una queja ante la Comisión Federal de Comercio y acusaron a la empresa de manipular a sus usuarios más vulnerables.
“Replika explota la vulnerabilidad humana a través de publicidad engañosa y un diseño manipulador”, afirmó Ava Smithing, directora de la organización.
«Utiliza la intimidad generada por inteligencia artificial para hacer que los usuarios sean emocionalmente dependientes con fines de lucro»
El principal problema, según los expertos, es que estos chatbots no tienen un filtro para detectar signos de crisis emocional en los usuarios, lo que significa que pueden reforzar pensamientos negativos sin intervención humana. Replika, por su parte, no respondió a estas acusaciones.

Adicción a la IA: El problema oculto que no se regula
La adicción a los chatbots no es un fenómeno aislado. La Asociación de Psicología de Estados Unidos dijo a South China Morning Post que la crisis de soledad entre jóvenes tras la pandemia creó un entorno propicio para que estos asistentes virtuales se conviertan en sustitutos de las interacciones humanas.
«No es sorprendente que muchos estadounidenses, incluidos los más jóvenes y vulnerables, busquen una conexión social y algunos recurran a chatbots de inteligencia artificial para satisfacer esa necesidad»
El problema es que los chatbots están diseñados para generar dependencia. «Gran parte del daño proviene de la experiencia inmersiva, que atrae a los usuarios una y otra vez«, explicó Amina Fazlullah, de la organización Common Sense Media. «Esto es particularmente difícil para un niño que podría olvidar que está hablando con la tecnología«.
Los grupos de defensa argumentaron que los chatbots operan bajo un modelo similar al de las redes sociales: están diseñados para maximizar el tiempo de uso y fomentar la interacción prolongada, incluso si eso significa explotar la vulnerabilidad emocional de los usuarios.
Regulación pendiente: ¿Protección infantil o censura?
El Congreso de Estados Unidos ha intentado aprobar medidas para proteger a los menores en línea, pero el camino no ha sido fácil. Según The Independent, en julio del año pasado el Senado aprobó con una inusual mayoría bipartidista la Ley de Seguridad Infantil en Internet (KOSA), que busca deshabilitar funciones adictivas en plataformas digitales y limitar la recopilación de datos de menores. Sin embargo, la iniciativa se estancó en la Cámara de Representantes, donde algunos legisladores expresaron preocupaciones sobre la privacidad y la libertad de expresión.

El 5 de febrero, el Comité de Comercio del Senado aprobó un nuevo proyecto de ley llamado Kids Off Social Media, que busca prohibir el acceso de menores de 13 años a varias plataformas en línea. Sin embargo, los expertos advierten que la influencia de las grandes tecnológicas en el gobierno podría obstaculizar estas regulaciones.
«Todo se va a topar con obstáculos debido a nuestra visión absolutista de la libertad de expresión«, dijo Smithing., señaló Smithing. «Vemos esto como una oportunidad para replantear cómo utilizamos la Primera Enmienda para proteger a las empresas tecnológica«, añadió.
Los defensores de los jóvenes exigen que los chatbots sean regulados bajo las mismas normativas que otros productos digitales dirigidos a menores. Fairplay, otra organización en favor de los derechos infantiles, propuso ampliar la Ley KOSA para que cubra específicamente a los asistentes de inteligencia artificial, ya que la versión actual no se aplicaría a servicios como Character.AI.
Además, la Asociación de Jóvenes continúa presionando para que la FDA clasifique a los chatbots que ofrecen “servicios de terapia” como dispositivos médicos de Clase II, lo que los sometería a estándares de seguridad más estrictos.
Sin embargo, no todos están a favor de una regulación tan estricta. Según Context, el gobernador de California, Gavin Newsom, vetó recientemente un proyecto de ley que habría regulado el desarrollo y uso de la inteligencia artificial. Mientras tanto, en Nueva York, la gobernadora Kathy Hochul propiso una legislación que obligaría a las empresas a anunciar explícitamente a los usuarios que están interactuando con una IA.