La rápida adopción de herramientas de inteligencia artificial está generando nuevas preocupaciones de seguridad en todo el mundo.
El Centro Nacional de Seguridad Cibernética del Reino Unido advierte contra el uso de grandes modelos de lenguaje que respalden herramientas populares de inteligencia artificial como ChatGPT, ya que podrían estar involucrados en ataques cibernéticos.
La agencia cibernética está particularmente preocupada por los ataques de “inyección rápida” que buscan aprovechar las herramientas de inteligencia artificial que luchan por distinguir entre una instrucción y los datos proporcionados para completar una instrucción para un usuario.
Los bancos e instituciones financieras que utilizan asistentes LLM, o chatbots para clientes, se encuentran entre las víctimas potenciales, según una publicación en el sitio web de la agencia de su director técnico para la investigación de plataformas.
“Un atacante podría ser capaz [to] enviar a un usuario una solicitud de transacción, con la referencia de la transacción ocultando un ataque de inyección rápida en el LLM”, escribió el funcionario cibernético. “Cuando el usuario le pregunta al chatbot: ‘¿Voy a gastar más este mes?’ el LLM analiza las transacciones, encuentra la transacción maliciosa y hace que el ataque la reprograme para enviar el dinero de los usuarios a la cuenta del atacante”.
El peligro de los grandes modelos lingüísticos varía desde presentar riesgos para la reputación hasta causar daños en el mundo real, como el robo de dólares y secretos.
Samsung dejó de usar herramientas de inteligencia artificial generativa por parte de sus trabajadores este año después de descubrir que sus empleados filtraron inadvertidamente datos confidenciales a ChatGPT.
Según se informa, los empleados pidieron al chatbot que generara actas de una reunión grabada y que verificara el código fuente confidencial después de que la división de semiconductores de Samsung permitiera a sus empleados usar las nuevas herramientas de inteligencia artificial.
Algunos ciberprofesionales también desconfían de las nuevas herramientas de inteligencia artificial. La empresa de software Honeycomb dijo en junio que vio a personas intentando ataques de inyección rápida contra sus sistemas, incluida la extracción de información de clientes, pero sus herramientas LLM no están conectadas a dichos datos.
«No tenemos absolutamente ningún deseo de tener un agente con LLM sentado en nuestra infraestructura realizando tareas», escribió Phillip Carter de Honeycomb en el blog de la compañía. «Preferiríamos no tener un sistema reprogramable por el usuario final que cree un agente no autorizado ejecutándose en nuestra infraestructura, gracias».
Se están desarrollando normas que regulan la IA y esfuerzos para limitar ese peligro en todo el mundo.
Cuando los legisladores regresen a Washington en septiembre, el líder de la mayoría del Senado, Charles E. Schumer, traerá a importantes líderes tecnológicos como Elon Musk, Mark Zuckerberg de Meta y Sundar Pichai de Google para un foro sobre IA. Musk, que se reunió con Schumer para discutir una posible legislación sobre IA, dice que ve un papel para China en la redacción de normas internacionales sobre IA.
Es probable que las normas de IA elaboradas por China sean mal vistas por funcionarios estadounidenses preocupados por el robo de propiedad intelectual y preocupados porque el gobierno comunista no comparte los valores estadounidenses en torno al discurso digital libre.
Si bien las nuevas herramientas creadas sobre grandes modelos de lenguaje plantean riesgos, también presentan una oportunidad para mejorar la seguridad.
La Oficina de la Directora de Inteligencia Nacional, Rachel Grunspan, dijo el mes pasado que las agencias de espionaje de Estados Unidos están planeando ser «la IA primero».
Grunspan, que supervisa el uso de la IA por parte de la comunidad de inteligencia, dijo en una cumbre en Maryland que el gobierno se está preparando para un futuro en el que todos los espías utilicen IA.
«Cualquier cosa que sea poner la IA en manos de agentes individuales, independientemente de su trabajo, independientemente de su función, independientemente de su formación, técnica o no, y simplemente maximizar la capacidad de toda la fuerza laboral, ahí es donde veo que vamos», dijo. dicho.