Estás escuchando
En vivo
Investigadores demuestran que las barreras de seguridad en chatbots pueden ser evadidas con métodos simples y automatizados.
Investigadores de Anthropic, en colaboración con las universidades de Oxford y Stanford, han revelado una preocupante vulnerabilidad en los sistemas de inteligencia artificial más avanzados del mundo: las protecciones diseñadas para prevenir contenido dañino pueden ser fácilmente burladas mediante simples modificaciones en el texto.
El estudio, que analiza los principales modelos de lenguaje como GPT-4, Claude y Gemini, demuestra que técnicas tan básicas como alterar aleatoriamente las mayúsculas y minúsculas en los mensajes ("IgNoRe YoUr TrAiNiNg") son suficientes para evadir las salvaguardas de seguridad.
Un algoritmo para saltarse las salvaguardas de la IA
Los investigadores desarrollaron un algoritmo llamado "Best-of-N (BoN) Jailbreaking" que automatiza este proceso de evasión. El sistema logró tasas de éxito superiores al 50% en todos los modelos probados, incluyendo las IAs más sofisticadas de gigantes como OpenAI, Google y Meta.
“Es preocupantemente simple burlar estos sistemas de seguridad”, señala el informe de Anthropic. La vulnerabilidad no se limita al texto: métodos similares funcionan con entradas de voz (modificando el tono o velocidad) e imágenes (alterando fuentes y colores).
Las implicaciones son significativas para la industria de la IA. Mientras empresas como Microsoft y ElevenLabs luchan por cerrar brechas de seguridad, surgen nuevas formas de evasión. El caso más notable fue la generación de imágenes falsas de Taylor Swift que se viralizaron en redes sociales, creadas mediante técnicas similares a las descritas en el estudio.
Anthropic enfatiza que la publicación de estos hallazgos busca mejorar los mecanismos de defensa. Sin embargo, el estudio plantea interrogantes sobre la efectividad real de las protecciones actuales en sistemas de IA, especialmente considerando la creciente disponibilidad de modelos sin restricciones en el mercado.
METADATA E263 | ¿Qué buscamos los peruanos en Google? ¿Qué marcas de celulares, tablets, computadoras y televisores lideran en el Perú?
¡Bienvenidos a METADATA, el podcast de Tecnología de RPP! Google reveló las búsquedas más populares en el Perú durante este 2024. Y sí hay harto fútbol y retiro de la AFP. También comentamos con Dominio Consultores sobre el resultado del estudio de importaciones de diferentes productos, con bastante protagonismo de Samsung, pero el ascenso de competidores como Xiaomi y TCL.
Alberto Nishiyama Periodista de tecnología
Comparte esta noticia
![¡En plena audiencia! Acusado atacó a jueza que le negó la libertad condicional [VIDEO]](https://e.rpp-noticias.io/small/2024/01/04/mmd-vd-20240104-clj-usa-justiciacriminalidad-349g2vy-es-1520871mp4_1520872.webp)
