La inteligencia de EE. UU. busca identificar los riesgos de seguridad del modelo de lenguaje grande

La Actividad de Proyectos de Investigación Avanzada de Inteligencia de EE. UU. (IARPA) emite una solicitud de información (RFI) para identificar posibles amenazas y vulnerabilidades que pueden presentar los modelos de lenguaje extenso (LLM). “IARPA está buscando información sobre caracterizaciones establecidas de vulnerabilidades y amenazas que podrían afectar el uso seguro de modelos de lenguaje extenso (LLM) por parte de analistas de inteligencia” Si bien aún no es un programa de investigación oficial, el RFI “ ” de IARPA tiene como objetivo “ . ” Caracterización de sesgos, amenazas y vulnerabilidades del modelo de lenguaje grande obtener marcos para categorizar y caracterizar las vulnerabilidades y amenazas asociadas con las tecnologías LLM, específicamente en el contexto de su uso potencial en el análisis de inteligencia Ya se conocen muchas vulnerabilidades y amenazas potenciales. Por ejemplo, puede pedirle que resuma o haga inferencias sobre cualquier tema determinado, y puede combinar su base de datos para proporcionar una explicación que suene convincente. a ChatGPT Sin embargo, esas explicaciones también pueden ser completamente falsas. Como lo describe OpenAI, "ChatGPT a veces escribe respuestas que suenan plausibles pero incorrectas o sin sentido". Pero los riesgos que plantean los LLM van mucho más allá de las explicaciones sin sentido, y el brazo de financiación de la investigación para las agencias de espionaje de EE. UU. busca identificar amenazas y vulnerabilidades que podrían no haber sido cubiertas por completo en el " " recientemente publicado por la Fundación OWASP. Top 10 para LLM “¿Ha identificado su organización amenazas y vulnerabilidades específicas de LLM que no están bien caracterizadas por taxonomías anteriores (cf, “OWASP Top 10 for LLM”)? De ser así, proporcione descripciones específicas de cada una de esas amenazas y/o vulnerabilidades y sus impactos”. La semana pasada, el profesor de UC Berkeley, el Dr. Stuart Russell, advirtió al sobre algunos de los riesgos en la lista de los 10 principales de OWASP, incluida la divulgación de información confidencial, la dependencia excesiva y el robo de modelos. Comité Judicial del Senado Por ejemplo, Russell mencionó que potencialmente podría estar entregando información confidencial solo por el tipo de preguntas que estaba haciendo; y luego el podría potencialmente escupir información confidencial o patentada que pertenece a un competidor. chatbot testificó. “Si está en una empresa […] y quiere que el sistema lo ayude con alguna operación interna, divulgará información de propiedad de la empresa al chatbot para que le dé las respuestas que desea”, Russell. “ ”, agregó. Si esa información luego está disponible para sus competidores simplemente preguntando a ChatGPT qué está pasando en esa empresa, esto sería terrible Si tomamos lo que Russell dijo sobre la divulgación de información de la empresa y lo aplicamos a la divulgación de información de inteligencia de EE. UU., entonces podemos comenzar a comprender mejor por qué está publicando su RFI actual. IARPA Pero también podría haber amenazas y vulnerabilidades potenciales que aún no se conocen. Como dijo en broma el exsecretario de Defensa de EE. UU., Donald Rumsfeld: “Hay cosas conocidas. Estas son cosas que sabemos que sabemos. Hay incógnitas conocidas. Es decir, hay cosas que sabemos que no sabemos. Pero también hay incógnitas desconocidas. Hay cosas que no sabemos que no sabemos”. Entonces, para la RFI actual, IARPA está pidiendo a las organizaciones que respondan las siguientes preguntas: ¿Ha identificado su organización amenazas y vulnerabilidades específicas de LLM que no están bien caracterizadas por taxonomías anteriores (cf, "OWASP Top 10 for LLM")? De ser así, proporcione descripciones específicas de cada una de esas amenazas y/o vulnerabilidades y sus impactos. ¿Tiene su organización un marco para clasificar y comprender la gama de amenazas y/o vulnerabilidades de LLM? De ser así, describa este marco y articule brevemente para cada amenaza y/o vulnerabilidad y sus riesgos. ¿Tiene su organización algún método novedoso para detectar o mitigar las amenazas a los usuarios que plantean las vulnerabilidades de LLM? ¿Tiene su organización métodos novedosos para cuantificar la confianza en los resultados de LLM? El principal punto de contacto de RFI es el Dr. Timothy McKinnon, quien también administra otros dos programas de investigación de IARPA: y . HIATUS BETTER [Atribución de texto interpretable por humanos usando una estructura subyacente]: busca desarrollar nuevos a través de la identificación y el aprovechamiento de huellas dactilares lingüísticas explicables. HIATUS sistemas de IA utilizables por humanos para atribuir la autoría y proteger la privacidad del autor [Mejor extracción del texto hacia la recuperación mejorada]: tiene como objetivo desarrollar una capacidad para proporcionar extracción de información personalizada del texto a un analista individual en múltiples idiomas y temas. BETTER El año pasado, IARPA anunció que estaba armando su programa ( ) “para desarrollar nuevos sistemas que generen automáticamente comentarios que permitan a los analistas de inteligencia mejorar sustancialmente la evidencia y el razonamiento en sus informes analíticos”. Rapid Explanation, Analysis and Sourcing ONline REASON Además, “ no está diseñado para reemplazar a los analistas, escribir informes completos o aumentar su carga de trabajo. La tecnología funcionará dentro del flujo de trabajo actual del analista. REASON “Funcionará de la misma manera que un corrector gramatical automatizado pero con un enfoque en la evidencia y el razonamiento”. Entonces, en diciembre, IARPA quería aprovechar la IA generativa para ayudar a los analistas a escribir informes de inteligencia, y ahora, en agosto, el brazo de financiación de investigación de las agencias de espionaje de EE. UU. está buscando ver qué riesgos pueden plantear los modelos de lenguaje grande. Este artículo fue publicado originalmente por en Tim Hinchliffe The Sociable.