Cuando compras a través de enlaces de afiliados en nuestra web, es posible que obtengamos una comisión sin coste adicional para ti. Aprende 
Existe una batalla silenciosa entre las herramientas de IA oscuras y las claras. Mientras que proveedores de alto perfil como Microsoft y Google han invertido mucho en el uso defensivo de la IA generativa, el 51% de los profesionales de TI predicen que estamos a menos de un a?o de que un ciberataque exitoso sea atribuido a ChatGPT.
Aunque no se ha producido ninguna filtración de datos de gran repercusión atribuida a ChatGPT u otros chatbots basados en LLM, cada vez hay más herramientas de IA oscura a la venta en la web oscura, que se comercializan como herramientas maliciosas, entre las que se incluyen WormGPT, PoisonGPT, FraudGPT, XXXGPT y WolfGPT.
Multiple threat actors are promoting the sale of "Wolf GPT," a project presented as an alternative to ChatGPT with malicious intent. The tool is built using Python and allegedly offers complete confidentiality, enabling powerful cryptographic malware creation, and advanced… https://t.co/8OQxUfaFu2 pic.twitter.com/AiYfJgYkE2
— FalconFeeds.io (@FalconFeedsio) July 28, 2023
Los creadores de cada una de estas herramientas afirman que pueden utilizarse para generar estafas de phishing, escribir código malicioso para malware o ayudar a explotar vulnerabilidades.
Una industria oscura
A principios de julio, el proveedor de seguridad de correo electrónico SlashNext publicó una entrada en su blog en la que explicaba cómo su equipo de investigación había descubierto WormGPT a la venta en un foro clandestino de ciberdelincuentes, donde el proveedor había anunciado cómo se podía utilizar la herramienta para crear correos electrónicos de phishing que pudieran eludir los filtros de spam de correo electrónico.
WormGPT era notable porque utilizaba datos de entrenamiento de malware para informar sus respuestas y también estaba libre de las directrices de moderación de contenido que se asocian con LLMs convencionales como Bard y Claude.
Ese mismo mes, Netenrich descubrió una herramienta llamada FraudGPT a la venta en la dark web y Telegram. Los investigadores afirmaron que FraudGPT podía utilizarse para crear correos electrónicos de phishing y herramientas de crackeo de malware, identificar vulnerabilidades y cometer carding.
FalconFeedsio también encontró otras dos herramientas maliciosas basadas en LLM anunciadas en un foro de hacking en julio: XXXGPT y WolfGPT. Los hackers afirmaban que la primera podía crear código para malware, botnets, keyloggers y troyanos de acceso remoto, mientras que la segunda podía crear malware criptográfico y ataques de phishing.
?Cuál es el peligro?
Existe un debate considerable no sólo sobre si estas herramientas de IA oscura suponen una amenaza, sino sobre si muchas de ellas existen como LLM independientes.
Por ejemplo, los investigadores de Trend Micro han sugerido que los vendedores de herramientas como WolfGPT, XXXGPT y Evil-GPT no aportaron pruebas suficientes de que realmente funcionaran.
También sugirieron que muchas de estas herramientas podrían ser simplemente servicios de envoltura que redirigen las solicitudes de los usuarios a LLM legítimos como ChatGPT, que previamente han hecho jailbreak para eludir las barreras de moderación de contenido del proveedor.
El director general de SlashNext, Patrick Harr, está de acuerdo en que muchas de estas herramientas pueden ser sólo envoltorios, pero destaca WormGPT como ejemplo de una herramienta legítima de IA oscura. En declaraciones a Techopedia:
“WormGPT es la única herramienta real que utilizó un LLM personalizado, y potencialmente DarkBERT, & DarkBART pero no conseguimos acceder a ellos”.
“Estas herramientas están evolucionando delante de nuestros ojos y, al igual que el ransomware, algunas son sofisticadas y otras están atornilladas a otras herramientas para obtener un beneficio rápido, como las versiones jailbreak de los chatbots”, a?adió Harr.
El CEO también sugirió que en el futuro podrían surgir herramientas más potentes como WormGPT.
“La comunidad de ciberdelincuentes ya ha demostrado que puede desarrollar un LLM oscuro, y aunque WormGPT ha pasado a la clandestinidad, surgirá una variante o algo mejor”.
?Cuál es el futuro de la IA oscura?
El futuro de la IA oscura dependerá de si estas herramientas resultan rentables o no. Si los ciberdelincuentes perciben que pueden obtener beneficios de estas herramientas, entonces habrá un incentivo para invertir más tiempo en desarrollarlas.
John Bambenek, principal cazador de amenazas de la empresa de análisis de seguridad Netenrich, declaró a Techopedia.
“Ahora mismo, la economía sumergida está explorando modelos de negocio para ver qué despega, y parte de ello dependerá de los resultados que obtengan los clientes de estas herramientas”.
Hasta ahora, estas herramientas se anuncian por suscripción. Los precios de las herramientas anunciadas son los siguientes:
| Herramienta de IA Oscura | Precio |
|---|---|
| WormGPT | €100 por 1 mes, €550 por 1 a?o |
| FraudGPT | $90 por 1 mes, $200 por 3 meses, $500 por 6 meses, $700 por 12 meses |
| DarkBERT | $110 por 1 mes, $275 por 3 meses, $650 por 6 meses, $800 por 12 meses, $1,250 de por vida |
| DarkBard | $100 por 1 mes, $250 por 3 meses, $600 por 6 meses, $800 por 12 meses, $1000 de por vida |
| DarkGPT | $200 de por vida |
*La información sobre precios se ha extraído del estudio sobre IA oscura de Outpost24.
Dado que un hacker utilizó el LLM de código abierto GPT-J para crear WormGPT, las organizaciones deben estar preparadas para enfrentarse a una realidad en la que los ciberdelincuentes encontrarán formas de utilizar el LLM de forma maliciosa con fines lucrativos, ya sea pirateando herramientas legítimas o entrenando sus propios modelos personalizados.
En el futuro, Bambenek espera que aumenten los ataques de tipo ingeniería social gracias a estas soluciones. afirma:
“Sin duda, habrá una expansión de los ataques de suplantación de identidad, que es la dirección lógica del uso de estas tecnologías. Una cosa es hacer una página web de phishing y otra hacerse pasar por un director general para ingeniería social, por ejemplo. Probablemente, será una herramienta más del arsenal, ya que casi todos los ataques requieren alguna forma de acceso inicial que se posibilita mediante el phishing”.
El verdadero riesgo: el phishing
Por el momento, no parece que la IA oscura vaya a dominar el panorama de las ciberamenazas, pero las organizaciones deberían tomarse en serio los avances de esta tecnología entre los actores de amenazas.
La razón es sencilla: basta un solo correo electrónico de phishing para enga?ar a un usuario y conseguir que haga clic en un archivo adjunto o en un enlace para provocar una violación de datos en toda regla.
Aunque los LLM como GPT-J no son tan potentes o detallados como otros más populares como GPT-4, son lo suficientemente buenos como para ayudar a los hablantes no nativos a elaborar estafas básicas en otro idioma.
En el mundo de las estafas, a veces basta con la simplicidad. La infame estafa del príncipe nigeriano sigue generando más de 700.000 dólares al a?o. Por ello, las organizaciones no pueden permitirse el lujo de descartar el riesgo de que un empleado pueda ser sorprendido por un correo electrónico de phishing generado por IA.
Si los LLM suponen una amenaza suficiente como para que organismos policiales como Europol adviertan de que los actores de amenazas “pueden querer explotar los LLM para sus propios fines nefastos”, merece la pena prestar atención al desarrollo de la IA oscura para estar seguros.
Que no cunda el pánico, pero mantente alerta
Puede que la peque?a economía sumergida de herramientas y envoltorios de IA oscura no suponga una amenaza significativa ahora, pero podría convertirse fácilmente en un problema mucho mayor si más ciberdelincuentes buscan formas de explotar los LLM.
Así que, aunque no hay necesidad de entrar en pánico, redoblar la concienciación sobre el phishing es una buena forma de que las organizaciones se protejan en caso de que los hackers encuentren una forma de utilizar la IA generativa para agilizar sus flujos de trabajo de phishing.
