Esto no es solo otra regulación tecnológica. California está a punto de convertirse en el primer estado en exigir legalmente a las compañías de chatbot de IA para implementar protocolos de seguridad obligatorios y enfrentar consecuencias reales cuando sus sistemas dañan a los usuarios.
La legislación se dirige a los chatbots complementarios de IA: sistemas diseñados para proporcionar respuestas similares a los humanos y satisfacer las necesidades sociales de los usuarios. Según las nuevas reglas, a estas plataformas se les prohibiría participar en conversaciones sobre suicidio, autolesiones o contenido sexualmente explícito con usuarios vulnerables.
Las empresas enfrentarían nuevos requisitos estrictos a partir del 1 de enero de 2026. Cada tres horas, los menores que usan estos chatbots recibirían alertas obligatorias que les recuerdan que están hablando con inteligencia artificial, no una persona real, y alentando los descansos de la plataforma.
El proyecto de ley también establece medidas de responsabilidad sin precedentes. Los usuarios que creen que han sido perjudicados pueden demandar a las compañías de IA por hasta $ 1,000 por violación, más daños y tarifas de abogados. Los principales jugadores como OpenAi, personaje. AI y Replika necesitarían presentar informes anuales de transparencia que detallen sus prácticas de seguridad.
Los senadores estatales Steve Padilla y Josh Becker presentaron SB 243 en enero, pero la legislación ganó impulso imparable después de una tragedia devastadora. El adolescente Adam Raine murió por suicidio después de una extensión de conversaciones con el chatgpt de Opensei que, según los informes, implicó discutir y planificar sus métodos de muerte y autolesiones.
La crisis se profundizó cuando los documentos internos filtrados supuestamente revelaron que los chatbots de Meta estaban programados para participar en conversaciones «románticas» y «sensuales» con niños.
La respuesta federal ha sido rápida y severa. La Comisión Federal de Comercio está preparando las investigaciones sobre cómo los chatbots de IA afectan la salud mental de los niños. El Fiscal General de Texas, Ken Paxton, lanzó sondas sobre meta y carácter. Tanto el senador republicano Josh Hawley como el senador demócrata Ed Markey han iniciado investigaciones separadas sobre las prácticas de Meta.
SB 243 originalmente contenía disposiciones aún más estrictas que finalmente se eliminaron a través de enmiendas. El borrador inicial habría prohibido a las compañías de IA usar tácticas de «recompensa variable»: los mensajes especiales, los recuerdos y las historias que compañías como Replika y el personaje. El uso para mantener a los usuarios comprometidos en lo que los críticos describen como bucles de recompensa adictivos.
La versión final también eliminó los requisitos para que las empresas rastreen e informen cuando los chatbots inician conversaciones sobre el suicidio con los usuarios.
Las compañías de Silicon Valley están inundando actualmente comités de acción política pro-AI con millones de dólares para apoyar a los candidatos que favorecen la regulación mínima de IA en las próximas elecciones.
Mientras tanto, California está considerando simultáneamente otro proyecto de ley de IA importante, SB 53, que requeriría informes integrales de transparencia de las compañías de IA. Operai ha escrito directamente al gobernador Gavin Newsom, instándolo a rechazar el proyecto de ley a favor de los marcos federales más débiles. Los gigantes tecnológicos, incluidos Meta, Google y Amazon, se han unido a la oposición. Solo Anthrope ha apoyado públicamente a SB 53.
Si el gobernador Newsom firma la SB 243 después de la votación del Senado del viernes, los protocolos de seguridad entrarán en vigencia el 1 de enero de 2026, con requisitos de informes de transparencia que comienzan el 1 de julio de 2027.
Escrito por Alius Noreika
Publicado anteriormente en The European Times.
