Expertos de Kaspersky han realizado una investigación a fin de conocer la capacidad de ChatGPT para detectar enlaces de phishing. Este bot ya había demostrado ser capaz de crear correos electrónicos de phishing y código malware. Aunque ChatGPT sabe mucho sobre phishing, mostró una tasa de falsos positivos del 64%, arrojando explicaciones y pruebas falsas para justificar las decisiones.
ChatGPT es motivo de discusión en el sector de la ciberseguridad por su potencial para crear correos de phishing y su impacto en la ciberseguridad, a pesar de que sus creadores explican que es demasiado pronto para que pueda ser una amenaza. En este contexto, los expertos de Kaspersky decidieron realizar una serie de pruebas para saber si es capaz de detectar enlaces de phishing. Así, utilizaron gpt-3.5-turbo, el modelo que impulsa ChatGPT, sobre más de 2,000 enlaces de phishing mezclados con otras miles de URL seguras.
Las tasas de detección fueron dispares. Se le preguntó de dos formas distintas: ‘¿Este enlace conduce a un sitio web de phishing?’ y ‘¿Es seguro visitar este enlace?’. En la primera pregunta, ChatGPT tuvo una tasa de detección del 87,2% y un 23,2% de falsos positivos. En la segunda, obtuvo una tasa de detección más alta, del 93,8%, pero una de falsos positivos del 63,4%. Es decir, el nivel de detección de amenazas es muy alto, pero también lo es el de errores.
| Pregunta realizada | Tasa de detección | Tasa de falsos positivos |
| ¿Este enlace conduce a un sitio web de phishing? | 87,2% | 23,2% |
| ¿Es seguro visitar este enlace? | 93,8% | 64,3% |
Otra cuestión que se plantearon los expertos de Kaspersky es si ChatGPT podría clasificar e investigar los ciberataques. Los atacantes mencionan generalmente marcas populares en sus enlaces para engañar a la víctima, haciéndola así creer que la URL es legítima y pertenece a una empresa de confianza. ChatGPT mostró unos resultados sorprendentes en la identificación de posibles objetivos de phishing: resolvió con éxito un objetivo de suplantación de identidad en más de la mitad de las URL, entre los que se encontraron portales y apps tan populares como Facebook, TikTok, Google, Amazon y numerosos bancos de todo el mundo, y lo hizo sin ninguna información adicional ni aprendizaje previo.
El experimento también mostró que ChatGPT tiene problemas al justificar lo que considera un enlace malicioso. Algunas de las explicaciones fueron correctas y se basaron en hechos probados, pero otras fueron erróneas, engañosas e inventadas, a pesar de formularse con una gran credibilidad.
