Dieses neue KI-Tool soll Datenprobleme besser lösen als alles andere – deshalb ist das wichtig

Linktabelle

• Zusammenfassung und 1 Einleitung

• 2 Verwandte Arbeiten

• 3 Methodik und 3.1 Dynamische Planung mit hierarchischer Struktur

  • 3.2 Werkzeugnutzung und -generierung
  • 3.3 Verbesserung des Denkens durch Verifizierung und Erfahrung

• 4 Versuche

  • 4.1 Versuchsaufbau
  • 4.2 Hauptergebnis
  • 4.3 Ablationsstudie

• 5 Schlussfolgerung und Referenzen

  A. Weitere Ergebnisse

  B. Ergebnisse der Umsetzung

  C. Angaben zu den Datensätzen

ABSTRAKT

Auf Large Language Models (LLM) basierende Agenten haben eine bemerkenswerte Effektivität bewiesen. Ihre Leistung kann jedoch in Data-Science-Szenarien beeinträchtigt werden, die Echtzeit-Datenanpassung, Fachwissen in der Optimierung aufgrund komplexer Abhängigkeiten zwischen verschiedenen Aufgaben und die Fähigkeit zur Identifizierung logischer Fehler für präzises Denken erfordern. In dieser Studie stellen wir den Data Interpreter vor, eine Lösung, die für die Lösung mit Code entwickelt wurde und drei zentrale Techniken zur Verbesserung der Problemlösung in der Data Science betont: 1) dynamische Planung mit hierarchischen Graphstrukturen für Echtzeit-Datenanpassungsfähigkeit; 2) dynamische Tool-Integration zur Verbesserung der Code-Kompetenz während der Ausführung und zur Bereicherung des erforderlichen Fachwissens; 3) Identifizierung logischer Inkonsistenzen im Feedback und Effizienzsteigerung durch Erfahrungsaufzeichnung. Wir bewerten den Data Interpreter anhand verschiedener Data-Science- und realer Aufgaben. Im Vergleich zu Open-Source-Baselines zeigte er eine überlegene Leistung und zeigte erhebliche Verbesserungen bei Aufgaben des maschinellen Lernens, die von 0,86 auf 0,95 stiegen. Darüber hinaus zeigte er eine Steigerung von 26 % im MATH-Datensatz und eine bemerkenswerte Verbesserung von 112 % bei offenen Aufgaben. Die Lösung wird unter https://github.com/geekan/MetaGPT veröffentlicht.

1 EINLEITUNG

Large Language Models (LLMs) haben es Agenten ermöglicht, in einer Vielzahl von Anwendungen hervorragende Leistungen zu erbringen, was ihre Anpassungsfähigkeit und Wirksamkeit unter Beweis stellt (Guo et al., 2024; Wu et al., 2023a; Zhou et al., 2023b). Diese LLM-gestützten Agenten haben Bereiche wie Softwareentwicklung (Hong et al., 2023), die Navigation in komplexen Open-World-Szenarien (Wang et al., 2023; Chen et al., 2024a), die Erleichterung kollaborativer Multi-Agenten-Strukturen für multimodale Aufgaben (Zhuge et al., 2023), die Verbesserung der Reaktionsfähigkeit virtueller Assistenten (Lu et al., 2023), die Optimierung der Gruppenintelligenz (Zhuge et al., 2024) und die wissenschaftliche Forschung (Tang et al., 2024) maßgeblich beeinflusst.

Neuere Studien konzentrierten sich auf die Verbesserung der Problemlösungsfähigkeiten dieser Agenten durch die Verbesserung ihres Denkprozesses mit dem Ziel, diese ausgefeilter und effizienter zu machen (Zhang et al., 2023; Besta et al., 2023; Sel et al., 2023; Yao et al., 2024; Wei et al., 2022). Datenzentrierte wissenschaftliche Probleme, darunter maschinelles Lernen, Datenanalyse und mathematische Problemlösung, stellen jedoch einzigartige Herausforderungen dar, die noch bewältigt werden müssen. Der maschinelle Lernprozess umfasst komplexe, langwierige Schritte zur Aufgabenbearbeitung, die durch komplizierte Abhängigkeiten zwischen mehreren Aufgaben gekennzeichnet sind. Dies erfordert das Eingreifen von Experten zur Prozessoptimierung und dynamischen Anpassung im Falle von Fehlern oder Datenaktualisierungen. Für LLMs ist es oft eine Herausforderung, die richtige Lösung in einem einzigen Versuch bereitzustellen. Darüber hinaus erfordern diese Probleme präzises Denken und eine gründliche Datenüberprüfung (RomeraParedes et al., 2023), was zusätzliche Herausforderungen für das LLM-basierte Agenten-Framework mit sich bringt.

Darüber hinaus befassen sich bestehende Arbeiten wie (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) mit datenzentrischen Problemen durch codebasierte Problemlösungsmethoden, bekannt als Interpreter-Paradigma, das statische Anforderungszerlegung mit Codeausführung kombiniert. Bei der Anwendung dieser Frameworks in praktischen Data-Science-Aufgaben ergeben sich jedoch mehrere wichtige Herausforderungen: 1) Intensität der Datenabhängigkeit: Die der Data Science innewohnende Komplexität ergibt sich aus dem komplizierten Zusammenspiel verschiedener Schritte, die Echtzeitänderungen unterliegen (Liu et al., 2021). Für genaue Ergebnisse sind Datenbereinigung und umfassendes Feature-Engineering Voraussetzung, bevor ein maschinelles Lernmodell entwickelt wird. Daher ist es wichtig, Datenänderungen zu überwachen und sich dynamisch an die transformierten Daten und Variablen anzupassen. Der Modellierungsprozess des maschinellen Lernens, der Merkmalsauswahl, Modelltraining und -bewertung umfasst, umfasst ein breites Spektrum an Verarbeitungsoperatoren und Suchräumen (Zheng et al., 2021). Die Herausforderung besteht darin, den gesamten Prozesscode gleichzeitig zu generieren und aufzulösen. 2) Verfeinertes Fachwissen: Das Fachwissen und die Codierungspraktiken von Datenwissenschaftlern sind entscheidend für die Bewältigung datenbezogener Herausforderungen. Dieses Wissen ist normalerweise in proprietärem Code und Daten eingebettet und bleibt aktuellen LLMs oft unzugänglich. Beispielsweise kann die Generierung von Code für die Datentransformation in bestimmten Bereichen wie Energie oder Geologie für LLMs ohne das erforderliche Fachwissen eine Herausforderung darstellen. Bestehende Methoden basieren überwiegend auf LLMs, eine Abhängigkeit, die den Prozess rationalisieren, aber möglicherweise die Leistung beeinträchtigen kann. 3) Strenge Logikanforderungen: Derzeit integrieren Interpreter wie (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) Codeausführungs- und Fehlererfassungsfunktionen, um die Problemlösungsleistung zu verbessern. Sie vernachlässigen jedoch oft die fehlerfreie Ausführung und betrachten sie fälschlicherweise als korrekt. Während grundlegende Programmieraufgaben rationalisiert werden können und auf sofortiges Feedback zur Ausführung angewiesen sind, wenn die Anforderungen umrissen sind, stellen datenwissenschaftliche Probleme oft mehrdeutige, unregelmäßige und nicht gut definierte Anforderungen, was das Verständnis für LLMs erschwert. Folglich können durch LLM generierte Codelösungen zur Aufgabenlösung Mehrdeutigkeiten enthalten, die eine strenge Validierung der logischen Korrektheit erfordern, die über bloßes Ausführungsfeedback hinausgeht.

Um die oben genannten Herausforderungen zu bewältigen, führen wir einen LLM-basierten Agenten namens Data Interpreter ein, der speziell für den Bereich der Datenwissenschaft entwickelt wurde. Dieser Agent folgt einem Plan-Code-Verify-Ansatz, um menschliche Anforderungen zu erfüllen, indem er Aufgaben aufteilt, Code ausführt und Feedback überprüft. Konkret schlagen wir vor: 1) Dynamische Planung mit hierarchischer Struktur: Unser Data Interpreter verwendet hierarchische Graphstrukturen, um die inhärenten Komplexitäten der Datenwissenschaft effektiver zu verstehen. Ein dynamischer Planungsansatz verleiht ihm die Anpassungsfähigkeit an Aufgabenvariationen und erweist sich als besonders effizient bei der Überwachung von Datenänderungen und der Verwaltung komplexer variabler Abhängigkeiten, die inhärent sind in Datenwissenschaftsproblemen. 2) Nutzung und Generierung von Tools: Wir verbessern die Programmierkenntnisse, indem wir verschiedene von Menschen erstellte Codeausschnitte integrieren und benutzerdefinierte Tools für bestimmte Aufgaben erstellen, die über bloße API-fokussierte Funktionen hinausgehen. Dieser Prozess beinhaltet die automatische Kombination verschiedener Tools mit selbst generiertem Code. Er nutzt die Ausführung auf Aufgabenebene, um seine Toolbibliothek unabhängig aufzubauen und zu erweitern, die Toolnutzung zu vereinfachen und bei Bedarf eine Codeumstrukturierung durchzuführen. 3) Verbesserung des Denkens durch fehlerbewusste Logik: Dies basiert auf dem Vertrauenswert, der aus Ausführungsergebnissen und testgesteuerten Validierungen abgeleitet wird, die für ein ausnahmefreies Szenario unerlässlich sind. Es erkennt Inkonsistenzen zwischen der Codelösung und der Testcodeausführung und vergleicht mehrere Versuche, um Logikfehler zu reduzieren. Während des gesamten Ausführungs- und Denkprozesses werden Erfahrungen auf Aufgabenebene aufgezeichnet, die hauptsächlich aus Metadaten und Laufzeitverläufen bestehen, die sowohl Erfolge als auch Fehler umfassen.

Wie in Abbildung 1 dargestellt, übertrifft unser Data Interpreter vorhandene Open-Source-Frameworks erheblich. Im Vergleich zu diesen Baselines zeigt der Data Interpreter eine überlegene Leistung mit einer Verbesserung von 10,3 % (von 0,86 auf 0,95) bei Aufgaben des maschinellen Lernens und einer Verbesserung von 26 % beim MATH-Datensatz, was robuste Problemlösungsfähigkeiten beweist. Bei Aufgaben mit offenem Ende hat sich seine Leistung mehr als verdoppelt, was einer Steigerung von 112 % entspricht, was seine Wirksamkeit bei der Bewältigung eines breiten Spektrums von Herausforderungen zeigt.

Wir fassen unsere Beiträge wie folgt zusammen:

• Wir schlagen ein dynamisches Planungsframework mit hierarchischen Strukturen vor, das die Anpassungsfähigkeit und Problemlösungsfähigkeiten bei datenwissenschaftlichen Aufgaben verbessert.

• Wir verbessern die Kompetenz und Effizienz der Codierung in LLMs durch die Einführung einer automatisierten Tool-Integration für die Tool-Nutzung und -Generierung.

• Wir verbessern das logische Denken durch die Integration von Überprüfung und Erfahrung und steigern so die Genauigkeit und Effizienz der Problemlösung.

• Unsere Experimente zeigen, dass unser Dateninterpreter bestehende Benchmarks bei Aufgaben des maschinellen Lernens, mathematischen Problemen und offenen Aufgaben übertrifft und damit einen neuen Leistungsstandard setzt.