Die US Intelligence Advanced Research Projects Activity (IARPA) gibt eine Informationsanfrage (RFI) heraus, um potenzielle Bedrohungen und Schwachstellen zu identifizieren, die von großen Sprachmodellen (LLMs) ausgehen können.   „IARPA sucht nach Informationen zu etablierten Charakterisierungen von Schwachstellen und Bedrohungen, die sich auf die sichere Verwendung großer Sprachmodelle (LLMs) durch Geheimdienstanalysten auswirken könnten.“  Obwohl es sich noch nicht um ein offizielles Forschungsprogramm handelt, zielt IARPAs RFI „     . ” Characterizing Large Language Model Biases, Threats and Vulnerabilities “ darauf ab, „Frameworks zur Kategorisierung und Charakterisierung von Schwachstellen und Bedrohungen im Zusammenhang mit LLM-Technologien zu entwickeln, insbesondere im Kontext ihrer potenziellen Verwendung in der Geheimdienstanalyse“  Viele Schwachstellen und potenzielle Bedrohungen sind bereits bekannt.  Beispielsweise können Sie   bitten, nahezu jedes bestimmte Thema zusammenzufassen oder Schlussfolgerungen daraus zu ziehen, und es kann seine Datenbank durchsuchen, um eine Erklärung zu liefern, die überzeugend klingt. ChatGPT  Allerdings können diese Erklärungen auch völlig falsch sein.  Wie OpenAI es beschreibt: „ChatGPT schreibt manchmal plausibel klingende, aber falsche oder unsinnige Antworten.“  Aber die von LLMs ausgehenden Risiken gehen weit über unsinnige Erklärungen hinaus, und die Forschungsfinanzierungsabteilung für US-Spionagedienste versucht, Bedrohungen und Schwachstellen zu identifizieren, die in den kürzlich veröffentlichten „   “ der OWASP Foundation möglicherweise nicht vollständig abgedeckt sind. Top 10 für LLM     „Hat Ihre Organisation spezifische LLM-Bedrohungen und Schwachstellen identifiziert, die durch frühere Taxonomien nicht gut charakterisiert werden (vgl. „OWASP Top 10 für LLM“)? Wenn ja, geben Sie bitte spezifische Beschreibungen jeder dieser Bedrohungen und/oder Schwachstellen und ihrer Auswirkungen an.“  Letzte Woche warnte Professor Dr. Stuart Russell von der UC Berkeley den   vor einigen der Risiken in der OWASP-Top-10-Liste, darunter Offenlegung sensibler Informationen, übermäßiges Vertrauen und Modelldiebstahl. Justizausschuss des Senats  Russell erwähnte beispielsweise, dass Sie allein durch die Art der Fragen, die Sie stellen, möglicherweise vertrauliche Informationen preisgeben könnten; und dann könnte der   möglicherweise sensible oder geschützte Informationen eines Konkurrenten zurückspucken. Chatbot    ausgesagt. „Wenn Sie in einem Unternehmen sind […] und möchten, dass das System Sie bei internen Abläufen unterstützt, geben Sie firmeneigene Informationen an den Chatbot weiter, damit dieser Ihnen die gewünschten Antworten gibt“, Russell  „   “, fügte er hinzu. Wenn diese Informationen dann Ihren Konkurrenten zugänglich gemacht werden, indem Sie ChatGPT einfach fragen, was in diesem Unternehmen vor sich geht, wäre das schrecklich  Wenn wir das, was Russell über die Weitergabe von Unternehmensinformationen gesagt hat, auf die Weitergabe von US-Geheimdienstinformationen anwenden, können wir beginnen, besser zu verstehen, warum   ihre aktuelle RFI herausgibt. die IARPA  Es könnten aber auch potenzielle Bedrohungen und Schwachstellen bestehen, die bisher noch nicht bekannt sind.  Wie der ehemalige US-Verteidigungsminister Donald Rumsfeld bekanntlich witzelte: „Es gibt bekannte Bekannte. Das sind Dinge, von denen wir wissen, dass wir sie wissen. Es gibt bekannte Unbekannte. Das heißt, es gibt Dinge, von denen wir wissen, dass wir sie nicht wissen. Aber es gibt auch unbekannte Unbekannte. Es gibt Dinge, von denen wir nicht wissen, dass wir sie nicht wissen.“   Daher bittet IARPA Organisationen für die aktuelle RFI, die folgenden Fragen zu beantworten:  Hat Ihre Organisation spezifische LLM-Bedrohungen und Schwachstellen identifiziert, die durch frühere Taxonomien nicht gut charakterisiert werden (siehe „OWASP Top 10 für LLM“)? Wenn ja, geben Sie bitte spezifische Beschreibungen jeder dieser Bedrohungen und/oder Schwachstellen und ihrer Auswirkungen an.  Verfügt Ihre Organisation über ein Rahmenwerk zur Klassifizierung und zum Verständnis des Spektrums von LLM-Bedrohungen und/oder -Schwachstellen? Wenn ja, beschreiben Sie bitte diesen Rahmen und erläutern Sie kurz jede Bedrohung und/oder Schwachstelle und ihre Risiken.  Verfügt Ihr Unternehmen über neuartige Methoden, um Bedrohungen für Benutzer durch LLM-Schwachstellen zu erkennen oder zu mindern?  Verfügt Ihre Organisation über neuartige Methoden zur Quantifizierung des Vertrauens in LLM-Ergebnisse?  Der Hauptansprechpartner für das RFI ist Dr. Timothy McKinnon, der auch zwei weitere IARPA-Forschungsprogramme leitet:   und   . HIATUS BETTER    [Human Interpretable Attribution of Text Using Underlying Structure]: Ziel ist die Entwicklung neuartiger, für Menschen nutzbarer   durch Identifizierung und Nutzung erklärbarer sprachlicher Fingerabdrücke. HIATUS KI-Systeme zur Zuweisung der Urheberschaft und zum Schutz der Privatsphäre des Autors    [Bessere Extraktion aus Text hin zu verbessertem Abruf]: zielt darauf ab, eine Fähigkeit zu entwickeln, die einem einzelnen Analysten eine personalisierte Informationsextraktion aus Text über mehrere Sprachen und Themen hinweg ermöglicht. BESSER  Letztes Jahr gab die IARPA bekannt, dass sie ihr Programm   (   ) ins Leben ruft, „um neuartige Systeme zu entwickeln, die automatisch Kommentare generieren und es Geheimdienstanalysten ermöglichen, die Beweise und Begründungen in ihren Analyseberichten erheblich zu verbessern.“ „Rapid Explanation, Analysis and Sourcing ONline“ REASON  Darüber hinaus „ist   nicht dazu gedacht, Analysten zu ersetzen, vollständige Berichte zu schreiben oder ihre Arbeitsbelastung zu erhöhen.“ Die Technologie funktioniert im aktuellen Arbeitsablauf des Analysten. REASON  „Es wird auf die gleiche Weise funktionieren wie ein automatisierter Grammatikprüfer, jedoch mit einem Schwerpunkt auf Beweisen und Argumentation.“  Deshalb wollte die IARPA im Dezember generative KI nutzen, um Analysten beim Schreiben von Geheimdienstberichten zu helfen, und jetzt im August untersucht die Forschungsfinanzierungsabteilung der US-Spionagebehörden, welche Risiken große Sprachmodelle mit sich bringen könnten.  Dieser Artikel wurde ursprünglich von   auf  Tim Hinchliffe The Sociable veröffentlicht.

Follow us on Twitter 

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Der US-Geheimdienst versucht, Sicherheitsrisiken für große Sprachmodelle zu identifizieren

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon's DeFi Writing Contest with SORA Network: XSTUSD Use Cases

Genuine Content Creation in the Age of AI: Why Startups Need Quality Content

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon's DeFi Writing Contest with SORA Network: XSTUSD Use Cases

Genuine Content Creation in the Age of AI: Why Startups Need Quality Content

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps