Autoren:  (1) Sirui Hong, DeepWisdom und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (2) Yizhang Lin, DeepWisdom und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (3) Bang Liu, Universite de Montreal & Mila und diese Autoren sind in alphabetischer Reihenfolge aufgeführt.  (4) Bangbang Liu, DeepWisdom und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (5) Binhao Wu, DeepWisdom und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (6) Danyang Li, DeepWisdom und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (7) Jiaqi Chen von der Universität Fudan und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (8) Jiayi Zhang, Renmin University of China und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (9) Jinlin Wang, DeepWisdom und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (10) Li Zhang, Fudan University und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (11) Lingyao Zhang, diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen;  (12) Min Yang, 5Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (13) Mingchen Zhuge, AI Initiative, König-Abdullah-Universität für Wissenschaft und Technologie und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (14) Taicheng Guo, University of Notre Dame und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (15) Tuo Zhou von der Universität Hong Kong und diese Autoren haben in gleichem Maße zu dieser Arbeit beigetragen.  (16) Wei Tao, Fudan University und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (17) Wenyi Wang, AI Initiative, König-Abdullah-Universität für Wissenschaft und Technologie und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (18) Xiangru Tang, Yale University und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (19) Xiangtao Lu, DeepWisdom und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (20) Xiawu Zheng von der Universität Xiamen und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (21) Xinbing Liang, DeepWisdom, East China Normal University und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (22) Yaying Fei, Beijing University of Technology und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (23) Yuheng Cheng, The Chinese University of Hong Kong, Shenzhen, und diese Autoren haben in gleichem Maße zu dieser Arbeit beigetragen.  (24) Zongze Xu, DeepWisdom, Hohai University und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen.  (25) Chenglin Wu, DeepWisdom und ein korrespondierender Autor.   Anmerkung des Herausgebers: Dies ist Teil 1 von 5 einer Forschungsstudie, die die Entwicklung des Data Interpreter beschreibt, einer Lösung für verschiedene Aufgaben der Datenwissenschaft und der realen Welt. Lesen Sie den Rest unten.  Linktabelle   Zusammenfassung und 1 Einleitung   2 Verwandte Arbeiten   3 Methodik und 3.1 Dynamische Planung mit hierarchischer Struktur  3.2 Werkzeugnutzung und -generierung  3.3 Verbesserung des Denkens durch Verifizierung und Erfahrung   4 Versuche  4.1 Versuchsaufbau  4.2 Hauptergebnis  4.3 Ablationsstudie   5 Schlussfolgerung und Referenzen  A. Weitere Ergebnisse  B. Ergebnisse der Umsetzung  C. Angaben zu den Datensätzen  ABSTRAKT  Auf Large Language Models (LLM) basierende Agenten haben eine bemerkenswerte Effektivität bewiesen. Ihre Leistung kann jedoch in Data-Science-Szenarien beeinträchtigt werden, die Echtzeit-Datenanpassung, Fachwissen in der Optimierung aufgrund komplexer Abhängigkeiten zwischen verschiedenen Aufgaben und die Fähigkeit zur Identifizierung logischer Fehler für präzises Denken erfordern. In dieser Studie stellen wir den Data Interpreter vor, eine Lösung, die für die Lösung mit Code entwickelt wurde und drei zentrale Techniken zur Verbesserung der Problemlösung in der Data Science betont: 1) dynamische Planung mit hierarchischen Graphstrukturen für Echtzeit-Datenanpassungsfähigkeit; 2) dynamische Tool-Integration zur Verbesserung der Code-Kompetenz während der Ausführung und zur Bereicherung des erforderlichen Fachwissens; 3) Identifizierung logischer Inkonsistenzen im Feedback und Effizienzsteigerung durch Erfahrungsaufzeichnung. Wir bewerten den Data Interpreter anhand verschiedener Data-Science- und realer Aufgaben. Im Vergleich zu Open-Source-Baselines zeigte er eine überlegene Leistung und zeigte erhebliche Verbesserungen bei Aufgaben des maschinellen Lernens, die von 0,86 auf 0,95 stiegen. Darüber hinaus zeigte er eine Steigerung von 26 % im MATH-Datensatz und eine bemerkenswerte Verbesserung von 112 % bei offenen Aufgaben. Die Lösung wird unter https://github.com/geekan/MetaGPT veröffentlicht.  1 EINLEITUNG  Large Language Models (LLMs) haben es Agenten ermöglicht, in einer Vielzahl von Anwendungen hervorragende Leistungen zu erbringen, was ihre Anpassungsfähigkeit und Wirksamkeit unter Beweis stellt (Guo et al., 2024; Wu et al., 2023a; Zhou et al., 2023b). Diese LLM-gestützten Agenten haben Bereiche wie Softwareentwicklung (Hong et al., 2023), die Navigation in komplexen Open-World-Szenarien (Wang et al., 2023; Chen et al., 2024a), die Erleichterung kollaborativer Multi-Agenten-Strukturen für multimodale Aufgaben (Zhuge et al., 2023), die Verbesserung der Reaktionsfähigkeit virtueller Assistenten (Lu et al., 2023), die Optimierung der Gruppenintelligenz (Zhuge et al., 2024) und die wissenschaftliche Forschung (Tang et al., 2024) maßgeblich beeinflusst.  Neuere Studien konzentrierten sich auf die Verbesserung der Problemlösungsfähigkeiten dieser Agenten durch die Verbesserung ihres Denkprozesses mit dem Ziel, diese ausgefeilter und effizienter zu machen (Zhang et al., 2023; Besta et al., 2023; Sel et al., 2023; Yao et al., 2024; Wei et al., 2022). Datenzentrierte wissenschaftliche Probleme, darunter maschinelles Lernen, Datenanalyse und mathematische Problemlösung, stellen jedoch einzigartige Herausforderungen dar, die noch bewältigt werden müssen. Der maschinelle Lernprozess umfasst komplexe, langwierige Schritte zur Aufgabenbearbeitung, die durch komplizierte Abhängigkeiten zwischen mehreren Aufgaben gekennzeichnet sind. Dies erfordert das Eingreifen von Experten zur Prozessoptimierung und dynamischen Anpassung im Falle von Fehlern oder Datenaktualisierungen. Für LLMs ist es oft eine Herausforderung, die richtige Lösung in einem einzigen Versuch bereitzustellen. Darüber hinaus erfordern diese Probleme präzises Denken und eine gründliche Datenüberprüfung (RomeraParedes et al., 2023), was zusätzliche Herausforderungen für das LLM-basierte Agenten-Framework mit sich bringt.   Darüber hinaus befassen sich bestehende Arbeiten wie (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) mit datenzentrischen Problemen durch codebasierte Problemlösungsmethoden, bekannt als Interpreter-Paradigma, das statische Anforderungszerlegung mit Codeausführung kombiniert. Bei der Anwendung dieser Frameworks in praktischen Data-Science-Aufgaben ergeben sich jedoch mehrere wichtige Herausforderungen:   Die der Data Science innewohnende Komplexität ergibt sich aus dem komplizierten Zusammenspiel verschiedener Schritte, die Echtzeitänderungen unterliegen (Liu et al., 2021). Für genaue Ergebnisse sind Datenbereinigung und umfassendes Feature-Engineering Voraussetzung, bevor ein maschinelles Lernmodell entwickelt wird. Daher ist es wichtig, Datenänderungen zu überwachen und sich dynamisch an die transformierten Daten und Variablen anzupassen. Der Modellierungsprozess des maschinellen Lernens, der Merkmalsauswahl, Modelltraining und -bewertung umfasst, umfasst ein breites Spektrum an Verarbeitungsoperatoren und Suchräumen (Zheng et al., 2021). Die Herausforderung besteht darin, den gesamten Prozesscode gleichzeitig zu generieren und aufzulösen.   Das Fachwissen und die Codierungspraktiken von Datenwissenschaftlern sind entscheidend für die Bewältigung datenbezogener Herausforderungen. Dieses Wissen ist normalerweise in proprietärem Code und Daten eingebettet und bleibt aktuellen LLMs oft unzugänglich. Beispielsweise kann die Generierung von Code für die Datentransformation in bestimmten Bereichen wie Energie oder Geologie für LLMs ohne das erforderliche Fachwissen eine Herausforderung darstellen. Bestehende Methoden basieren überwiegend auf LLMs, eine Abhängigkeit, die den Prozess rationalisieren, aber möglicherweise die Leistung beeinträchtigen kann.   Derzeit integrieren Interpreter wie (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) Codeausführungs- und Fehlererfassungsfunktionen, um die Problemlösungsleistung zu verbessern. Sie vernachlässigen jedoch oft die fehlerfreie Ausführung und betrachten sie fälschlicherweise als korrekt. Während grundlegende Programmieraufgaben rationalisiert werden können und auf sofortiges Feedback zur Ausführung angewiesen sind, wenn die Anforderungen umrissen sind, stellen datenwissenschaftliche Probleme oft mehrdeutige, unregelmäßige und nicht gut definierte Anforderungen, was das Verständnis für LLMs erschwert. Folglich können durch LLM generierte Codelösungen zur Aufgabenlösung Mehrdeutigkeiten enthalten, die eine strenge Validierung der logischen Korrektheit erfordern, die über bloßes Ausführungsfeedback hinausgeht. 1) Intensität der Datenabhängigkeit: 2) Verfeinertes Fachwissen: 3) Strenge Logikanforderungen:  Um die oben genannten Herausforderungen zu bewältigen, führen wir einen LLM-basierten Agenten namens Data Interpreter ein, der speziell für den Bereich der Datenwissenschaft entwickelt wurde. Dieser Agent folgt einem Plan-Code-Verify-Ansatz, um menschliche Anforderungen zu erfüllen, indem er Aufgaben aufteilt, Code ausführt und Feedback überprüft. Konkret schlagen wir vor:   Unser Data Interpreter verwendet hierarchische Graphstrukturen, um die inhärenten Komplexitäten der Datenwissenschaft effektiver zu verstehen. Ein dynamischer Planungsansatz verleiht ihm die Anpassungsfähigkeit an Aufgabenvariationen und erweist sich als besonders effizient bei der Überwachung von Datenänderungen und der Verwaltung komplexer variabler Abhängigkeiten, die inhärent sind in Datenwissenschaftsproblemen.   Wir verbessern die Programmierkenntnisse, indem wir verschiedene von Menschen erstellte Codeausschnitte integrieren und benutzerdefinierte Tools für bestimmte Aufgaben erstellen, die über bloße API-fokussierte Funktionen hinausgehen. Dieser Prozess beinhaltet die automatische Kombination verschiedener Tools mit selbst generiertem Code. Er nutzt die Ausführung auf Aufgabenebene, um seine Toolbibliothek unabhängig aufzubauen und zu erweitern, die Toolnutzung zu vereinfachen und bei Bedarf eine Codeumstrukturierung durchzuführen.   Dies basiert auf dem Vertrauenswert, der aus Ausführungsergebnissen und testgesteuerten Validierungen abgeleitet wird, die für ein ausnahmefreies Szenario unerlässlich sind. Es erkennt Inkonsistenzen zwischen der Codelösung und der Testcodeausführung und vergleicht mehrere Versuche, um Logikfehler zu reduzieren. Während des gesamten Ausführungs- und Denkprozesses werden Erfahrungen auf Aufgabenebene aufgezeichnet, die hauptsächlich aus Metadaten und Laufzeitverläufen bestehen, die sowohl Erfolge als auch Fehler umfassen. 1) Dynamische Planung mit hierarchischer Struktur: 2) Nutzung und Generierung von Tools: 3) Verbesserung des Denkens durch fehlerbewusste Logik:  Wie in Abbildung 1 dargestellt, übertrifft unser Data Interpreter vorhandene Open-Source-Frameworks erheblich. Im Vergleich zu diesen Baselines zeigt der Data Interpreter eine überlegene Leistung mit einer Verbesserung von 10,3 % (von 0,86 auf 0,95) bei Aufgaben des maschinellen Lernens und einer Verbesserung von 26 % beim MATH-Datensatz, was robuste Problemlösungsfähigkeiten beweist. Bei Aufgaben mit offenem Ende hat sich seine Leistung mehr als verdoppelt, was einer Steigerung von 112 % entspricht, was seine Wirksamkeit bei der Bewältigung eines breiten Spektrums von Herausforderungen zeigt.  Wir fassen unsere Beiträge wie folgt zusammen:  • Wir schlagen ein dynamisches Planungsframework mit hierarchischen Strukturen vor, das die Anpassungsfähigkeit und Problemlösungsfähigkeiten bei datenwissenschaftlichen Aufgaben verbessert.  • Wir verbessern die Kompetenz und Effizienz der Codierung in LLMs durch die Einführung einer automatisierten Tool-Integration für die Tool-Nutzung und -Generierung.  • Wir verbessern das logische Denken durch die Integration von Überprüfung und Erfahrung und steigern so die Genauigkeit und Effizienz der Problemlösung.  • Unsere Experimente zeigen, dass unser Dateninterpreter bestehende Benchmarks bei Aufgaben des maschinellen Lernens, mathematischen Problemen und offenen Aufgaben übertrifft und damit einen neuen Leistungsstandard setzt.  Dieses Dokument ist   . auf arxiv unter der Lizenz CC BY 4.0 DEED verfügbar

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Huge Data Tech

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Dieses neue KI-Tool soll Datenprobleme besser lösen als alles andere – deshalb ist das wichtig

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

Genuine Content Creation in the Age of AI: Why Startups Need Quality Content

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Wir feiern unsere Produktmanagement-Community!

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

Genuine Content Creation in the Age of AI: Why Startups Need Quality Content

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Wir feiern unsere Produktmanagement-Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps