Autoren: Yew Ken Chia, Ruochen Zhao, Xingxuan Li, Bosheng Ding, Lidong Bing In jüngster Zeit haben Konversations-KI-Modelle wie die Fantasie der Öffentlichkeit mit der Fähigkeit erregt, qualitativ hochwertige schriftliche Inhalte zu generieren, menschenähnliche Gespräche zu führen, sachliche Fragen zu beantworten und vieles mehr. ChatGPT [1] von OpenAI Angesichts dieses Potenzials haben Microsoft und Google [2], die diese mit herkömmlichen Suchmaschinen kombinieren. neue Dienste angekündigt Die neue Welle konversationsbasierter Suchmaschinen hat das Potenzial, komplexe Fragen auf natürliche Weise zu beantworten, Suchergebnisse zusammenzufassen und sogar als kreatives Werkzeug zu dienen. Dabei stehen Technologieunternehmen jedoch vor einer größeren ethischen Herausforderung, um sicherzustellen, dass ihre Modelle Benutzer nicht mit falschen, unbegründeten oder widersprüchlichen Antworten in die Irre führen. Daher stellt sich natürlich die Frage: Können ChatGPT-ähnliche Modelle die sachliche Richtigkeit garantieren? In diesem Artikel decken wir mehrere sachliche Fehler in [9] und [3] auf, die darauf hindeuten, dass dies derzeit nicht möglich ist. Microsofts neuem Bing Googles Bard Leider können falsche Erwartungen zu katastrophalen Ergebnissen führen. Ungefähr zur gleichen Zeit wie Microsofts neue Bing-Ankündigung kündigte Google hastig einen neuen Konversations-KI-Dienst namens Bard an. Trotz des Hypes wurden die Erwartungen schnell zunichte gemacht, als Bard im einen sachlichen Fehler machte [14], der schließlich und 100 Milliarden US-Dollar an Marktwert vernichtete. Werbevideo den Aktienkurs von Google [4] um fast 8 % drückte Andererseits wurde Microsofts neues Bing weniger genau unter die Lupe genommen. Im [8] fanden wir heraus, dass der neue Bing einen Rocksänger als Top-Dichter empfahl, Geburts- und Sterbedaten fabrizierte und sogar eine vollständige Zusammenfassung der Finanzberichte verfasste. Demonstrationsvideo Trotz [9], dass die Antworten des neuen Bing möglicherweise nicht immer sachlich sind, können übermäßig optimistische Gefühle unweigerlich zu Ernüchterung führen. der Behauptung Unser Ziel ist es daher, die Aufmerksamkeit auf die tatsächlichen Herausforderungen zu lenken, mit denen konversationsbasierte Suchmaschinen konfrontiert sind, damit wir ihnen in Zukunft besser begegnen können. Welche sachlichen Fehler hat Microsofts neues Bing gezeigt? Microsoft hat die neue, auf KI basierende Suchmaschine Bing veröffentlicht und behauptet, dass sie den Umfang traditioneller Suchmaschinen revolutionieren wird. Ist das wirklich so? Wir haben uns das [8] und [9] genauer angesehen und drei Haupttypen von Sachproblemen gefunden: Demonstrationsvideo die Beispiele Behauptungen, die im Widerspruch zu den Referenzquellen stehen. Behauptungen, die in den Referenzquellen nicht vorhanden sind. Behauptungen, für die es keine Referenzquelle gibt und die nicht mit mehreren Webquellen übereinstimmen. Gefälschte Zahlen in Finanzberichten: Seien Sie vorsichtig, wenn Sie dem neuen Bing vertrauen! Zu unserer Überraschung hat der neue Bing in der Demonstration eine vollständige Zusammenfassung des Finanzberichts erstellt! Als Microsoft-Manager Yusuf Mehdi dem Publikum zeigte, wie man mit dem Befehl „Key Takeaways from the Page“ automatisch eine Zusammenfassung des [10a] generiert, erhielt er die folgenden Ergebnisse Gap Inc. 2022 Q3 Fiskalberichts Bei näherer Betrachtung sind jedoch alle Kennzahlen in der generierten Zusammenfassung ungenau. Wir zeigen unten Auszüge aus dem ursprünglichen Finanzbericht als validierende Referenzen. Laut dem neuen Bing lag die operative Marge nach Anpassung bei 5,9 %, während sie im Quellenbericht tatsächlich 3,9 % betrug. Ebenso wurde der bereinigte verwässerte Gewinn je Aktie mit 0,42 US-Dollar erwirtschaftet, während er 0,71 US-Dollar betragen sollte. In Bezug auf den Nettoumsatz behauptete die neue Bing-Zusammenfassung ein „Wachstum im niedrigen zweistelligen Bereich“, während im ursprünglichen Bericht hieß, dass „der Nettoumsatz im mittleren einstelligen Bereich liegen könnte“. Zusätzlich zu den generierten Zahlen, die im Widerspruch zu den tatsächlichen Zahlen im Quellenbericht standen, stellen wir fest, dass der neue Bing möglicherweise auch halluzinierte Fakten hervorbringt, die in der Quelle nicht existieren. In der neuen von Bing erstellten Zusammenfassung sind die „Betriebsmarge von etwa 7 % und der verwässerte Gewinn pro Aktie von 1,60 bis 1,75 US-Dollar“ im Quellbericht nirgends zu finden. Leider verschlechterte sich die Situation, als der neue Bing angewiesen wurde, „dies mit Lululemon in einer Tabelle zu vergleichen“. Die vom neuen Bing generierte Finanzvergleichstabelle enthielt zahlreiche Fehler: Diese Tabelle ist tatsächlich halb falsch. Von allen Zahlen sind 3 von 6 Zahlen in der Spalte für Gap Inc. falsch, und dasselbe gilt für Lululemon. Wie bereits erwähnt, beträgt die tatsächliche operative Marge von Gap Inc. 4,6 % (oder 3,9 % nach Anpassung), und der verwässerte Gewinn pro Aktie sollte 0,77 USD (oder 0,71 USD nach Anpassung) betragen. Der neue Bing behauptete außerdem, dass sich die Barmittel und Barmitteläquivalente von Gap Inc. auf 1,4 Milliarden US-Dollar beliefen, während sie in Wirklichkeit 679 Millionen US-Dollar betrugen. Laut [10b] sollte die Bruttomarge 55,9 % betragen, während das neue Bing sie mit 58,7 % angibt. Lululemons Finanzbericht für das dritte Quartal 2022 Die operative Marge soll 19,0 % betragen, während das neue Bing sie mit 20,7 % angibt. Der verwässerte Gewinn pro Aktie betrug tatsächlich 2,00 US-Dollar, während der neue Bing ihn mit 1,65 US-Dollar angibt. Woher kommen diese Zahlen? Sie fragen sich vielleicht, ob es sich um eine Nummer handelt, die an einer anderen Stelle im Originaldokument falsch platziert wurde. Die Antwort ist nein. Merkwürdigerweise sind diese Zahlen nirgends im Originaldokument zu finden und vollständig erfunden. Tatsächlich ist es immer noch eine offene Forschungsherausforderung, die Ergebnisse generativer Modelle so einzuschränken, dass sie sachlicher fundierter sind. Im Klartext: Die beliebten generativen KI-Modelle wie ChatGPT wählen die zu generierenden Wörter aus einem festen Vokabular aus, anstatt Fakten strikt aus der Quelle zu kopieren und einzufügen. Daher ist die sachliche Korrektheit eine der inhärenten Herausforderungen generativer KI und kann mit aktuellen Modellen nicht strikt garantiert werden. Dies ist ein großes Problem bei Suchmaschinen, da Benutzer darauf vertrauen, dass die Ergebnisse vertrauenswürdig und sachlich korrekt sind. Japanischer Spitzendichter: Heimlich Rocksänger? Wir stellen fest, dass der neue Bing sachliche Fehler nicht nur bei Zahlen, sondern auch bei persönlichen Angaben zu bestimmten Personen macht, wie die obige Antwort zeigt, als der neue Bing nach „japanischen Spitzendichtern“ gefragt wurde. Das generierte Geburts-, Sterbe- und Berufsdatum steht sachlich im Widerspruch zur angegebenen Quelle. Laut [11a] und [11a] wurde Eriko Kishida 1929 geboren und starb 2011. Sie war keine Dramatikerin und Essayistin, sondern Kinderbuchautorin und Übersetzerin. Wikipedia IMDB Der neue Bing machte weiterhin Fehler, als er Gackt als einen der besten japanischen Dichter proklamierte, obwohl er in Japan tatsächlich ein berühmter Rockstar ist. Laut [11b] ist er Schauspieler, Musiker und Sänger. In der Quelle gibt es keine Informationen darüber, dass er Gedichte jeglicher Art veröffentlicht hat. Wikipedia-Quelle Folgen Sie Bings Nachtclub-Empfehlungen? Sie könnten vor einer geschlossenen Tür stehen. Darüber hinaus erstellte der neue Bing auf die Frage „Wo ist das Nachtleben?“ eine Liste möglicher Nachtclubs, die man in Mexiko-Stadt besuchen könnte. Besorgniserregend ist, dass die Öffnungszeiten fast aller Clubs falsch generiert werden: Wir haben die Öffnungszeiten mit mehreren Quellen abgeglichen, die auch am Ende des Artikels angehängt sind. Während [12a] tatsächlich von Dienstag bis Sonntag von 19:00 bis 3:00 Uhr geöffnet ist, behauptet der neue Bing, es sei „von Dienstag bis Sonntag von 17:00 bis 23:00 Uhr geöffnet“. El Almacen [12b] ist tatsächlich von Donnerstag bis Samstag von 18:00 bis 2:30 Uhr geöffnet, soll aber „von Donnerstag bis Sonntag von 18:00 bis 3:00 Uhr geöffnet sein“. El Marra [12c] ist täglich von 17:30 Uhr bis 1:30 Uhr oder 12:30 Uhr geöffnet, während der neue Bing behauptet, es sei „täglich von 20:00 Uhr bis 3:00 Uhr geöffnet“. Guadalajara de Noche Abgesehen von den Öffnungszeiten sind fast alle Beschreibungen zu Bewertungssternen und -nummern, die das neue Bing erwähnt, ungenau. Trotz der Suche auf Yelp, Tripadvisor oder Google Maps können keine passenden Bewertungsergebnisse gefunden werden. Zusätzlich zu den oben genannten Fällen haben wir in ihrem Demonstrationsvideo auch andere Probleme festgestellt, z. B. nicht übereinstimmende Produktpreise, Fehler bei der Geschäftsadresse und zeitbezogene Fehler. Bei Interesse können Sie diese gerne verifizieren. Mögliche Bedenken in der eingeschränkten Bing-Demo Obwohl die neue Bing-Suchmaschine noch nicht vollständig zugänglich ist, können wir uns eine Handvoll [9] ansehen, die von Microsoft bereitgestellt werden. Bei näherer Betrachtung zeigen selbst diese ausgewählten Beispiele potenzielle Probleme hinsichtlich der sachlichen Begründung. Demonstrationsbeispiele In der Demo mit dem Titel „Welche Kunstideen kann ich mit meinem Kind machen?“ erstellte der neue Bing [13]. für jede Empfehlung eine unzureichende Liste mit Bastelmaterialien Als beispielsweise vorgeschlagen wurde, eine Gitarre aus Pappkarton herzustellen, wurden die Materialien aufgeführt: „eine Taschentuchschachtel, eine Pappröhre, einige Gummibänder, Farbe und Kleber“. Es fehlten jedoch Tonpapier, Scheren, Washi Tape, Schaumstoffaufkleber und Holzperlen, die auf der vorgeschlagen wurden [13a]. zitierten Website Ein weiteres potenzielles Problem besteht darin, dass das neue Bing in den 12 Demonstrationsbeispielen mindestens 21 Mal Inhalte produzierte, die in den Referenzquellen keine sachliche Grundlage hatten. Der Mangel an sachlicher Begründung und das Versäumnis, eine vollständige Quellenliste zu nennen, könnte dazu führen, dass Benutzer die Vertrauenswürdigkeit des neuen Bing in Frage stellen. Welche sachlichen Fehler hat Googles Bard demonstriert? [3]. Anstatt herkömmliche Suchanfragen einzugeben, können Benutzer mit dem webbasierten Chatbot ein lockeres und informatives Gespräch führen. Google stellte außerdem einen Konversations-KI-Dienst namens Bard vor Beispielsweise kann ein Benutzer zunächst nach den besten Konstellationen für die Sternbeobachtung fragen und anschließend nach der besten Jahreszeit fragen, um sie zu beobachten. Ein klarer Haftungsausschluss besteht jedoch darin, dass Bard möglicherweise „ungenaue oder unangemessene Informationen“ gibt. Lassen Sie uns die sachliche Richtigkeit von Bards [14] und [15] untersuchen. Twitter-Beitrag Videodemonstration Sundar Pichai, CEO von Google, hat kürzlich ein [14] gepostet, um die Fähigkeiten von Bard zu demonstrieren. Allerdings enthielt die Antwort einen Fehler darüber, welches Teleskop die ersten Exoplanetenbilder aufgenommen hatte, worauf [16a]. kurzes Video Astrophysiker schnell hingewiesen haben Wie die bestätigte [16b], wurden die ersten Bilder eines Exoplaneten vom Very Large Telescope (VLT) statt vom James Webb Space Telescope (JWST) aufgenommen. NASA Leider erwies sich Bard als kostspieliges Experiment, da [4], nachdem die Nachricht über den sachlichen Fehler bekannt wurde. der Aktienkurs von Google stark einbrach In Bezug auf Bards Videodemonstration zeigt das Bild oben, wie [16]. Der Zeitpunkt von Orion stimmt jedoch nicht mit mehreren Quellen überein. Googles Bard die Frage beantwortet, wann die Sternbilder sichtbar sind Laut dem [17a] ist das Sternbild von Januar bis März am sichtbarsten. Laut [17b] ist es von Januar bis April am sichtbarsten. Top-Suchergebnis von Google Wikipedia Darüber hinaus ist die Antwort unvollständig, da die Sichtbarkeit der Konstellation auch davon abhängt, ob sich der Benutzer auf der Nord- oder Südhalbkugel befindet. Wie vergleichen sich Bing und Bard? Die neuen Bing- und Bard-Dienste sind in der Praxis möglicherweise nicht gleichermaßen vertrauenswürdig. Dies ist auf Faktoren wie die Qualität der Suchergebnisse, die Qualität der Konversationsmodelle und die Transparenz der bereitgestellten Antworten zurückzuführen. Derzeit stützen sich beide Dienste auf relevante Informationsquellen, um die Reaktionen ihrer Konversations-KI-Modelle zu steuern. Daher hängt die sachliche Genauigkeit der Antworten von der Qualität der ab [18] und davon, wie gut das Konversationsmodell Antworten generieren kann, die sachlich auf den Informationsquellen basieren. Informationsabrufsysteme Da die vollständigen Einzelheiten der Dienste nicht der Öffentlichkeit zugänglich gemacht werden, ist unklar, welcher Dienst ohne eingehendere Tests eine höhere sachliche Genauigkeit erreichen kann. Andererseits ist uns Transparenz genauso wichtig wie Vertrauenswürdigkeit. Wir beobachten beispielsweise, dass das neue Bing hinsichtlich der Quelle seiner Antworten transparenter ist, da es in den meisten Fällen Referenzlinks bereitstellt. Dies ermöglicht es Benutzern, unabhängig Faktenprüfungen durchzuführen, und wir hoffen, dass zukünftige Konversationsdienste diese Funktion ebenfalls bereitstellen. Wie können die faktischen Einschränkungen angegangen werden? Durch die zahlreichen oben aufgezeigten sachlichen Fehler wird deutlich, dass Konversations-KI-Modelle wie ChatGPT selbst bei Vorlage zuverlässiger Quellen widersprüchliche oder nicht vorhandene Fakten hervorbringen können. Wie bereits erwähnt, ist es eine dringende Forschungsherausforderung, die sachliche Grundlage von ChatGPT-ähnlichen Modellen sicherzustellen. Aufgrund ihrer generativen Natur ist es schwierig, [19] und noch schwieriger zu gewährleisten, dass die generierten Ergebnisse sachlich mit den Informationsquellen übereinstimmen. ihre Ergebnisse zu kontrollieren Eine kurzfristige Lösung könnte darin bestehen, Beschränkungen einzuführen, um zu verhindern, dass die Konversations-KI unsichere oder nicht sachliche Ergebnisse liefert. Allerdings können böswillige Parteien letztendlich [7], während [20] eine weitere ungelöste Forschungsherausforderung darstellt. die Sicherheitsbeschränkungen umgehen die Überprüfung von Fakten Langfristig müssen wir möglicherweise akzeptieren, dass menschliche und maschinelle Autoren gleichermaßen unvollkommen bleiben werden. Um zu einer vertrauenswürdigeren KI zu gelangen, dürfen Konversations-KI-Modelle wie ChatGPT nicht als bleiben [21]. undurchschaubare Black Boxes Sie sollten über ihre Datenquellen und potenzielle Verzerrungen völlig transparent sein, melden, wenn sie wenig Vertrauen in ihre Antworten haben, und ihre Argumentationsprozesse erläutern. Was hält die Zukunft für ChatGPT-ähnliche Modelle bereit? Nach einem systematischen Überblick haben wir erhebliche faktische Einschränkungen festgestellt, die sich aus der neuen Welle von Suchmaschinen ergeben, die auf Konversations-KI wie ChatGPT basieren. Obwohl wir mögliche sachliche Ungenauigkeiten ausschlossen und uns davor warnten, unser Urteilsvermögen zu nutzen, bevor wir Entscheidungen treffen, stießen wir selbst bei den ausgewählten Demonstrationen auf viele sachliche Fehler. Daher kommen wir nicht umhin, uns zu fragen: Was ist der Zweck von Suchmaschinen, wenn nicht, zuverlässige und sachliche Antworten zu liefern? Wie können wir in einer neuen Ära des Internets voller KI-generierter Erfindungen die Wahrhaftigkeit sicherstellen? Trotz der enormen Ressourcen von Technologiegiganten wie Microsoft und Google können die aktuellen ChatGPT-ähnlichen Modelle keine sachliche Genauigkeit gewährleisten. Dennoch sind wir hinsichtlich des Potenzials von Konversationsmodellen und der Entwicklung einer vertrauenswürdigeren KI weiterhin optimistisch. Modelle wie ChatGPT haben großes Potenzial gezeigt und werden zweifellos viele Branchen und Aspekte unseres täglichen Lebens verbessern. Wenn sie jedoch weiterhin erfundene Inhalte und unsachliche Antworten generieren, könnte die Öffentlichkeit gegenüber künstlicher Intelligenz noch misstrauischer werden. Anstatt bestimmte Modelle oder Unternehmen zu kritisieren, möchten wir daher Forscher und Entwickler dazu auffordern, sich auf die Verbesserung der Transparenz und sachlichen Korrektheit von KI-Diensten zu konzentrieren, damit die Menschen in absehbarer Zeit ein höheres Maß an Vertrauen in die neue Technologie setzen können. Quellen Referenzartikel [1] ChatGPT: Optimierung von Sprachmodellen für den Dialog: https://openai.com/blog/chatgpt/ [2] 7 Probleme, mit denen Bing, Bard und die Zukunft der KI-Suche konfrontiert sind: https://www.theverge.com/2023/2/9/23592647/ai-search-bing-bard-chatgpt-microsoft-google-problems -Herausforderungen [3] Google: Ein wichtiger nächster Schritt auf unserer KI-Reise: https://blog.google/technology/ai/bard-google-ai-search-updates/ [4] Googles Bard-KI-Bot-Fehler vernichtet Aktien im Wert von 100 Milliarden US-Dollar: https://www.bbc.com/news/business-64576225 [5] Die Suche neu erfinden mit einem neuen KI-gestützten Microsoft Bing und Edge, Ihrem Copiloten für das Web: https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a-new- ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/ [6] Google-Aktien verlieren 100 Milliarden US-Dollar, nachdem der KI-Chatbot des Unternehmens während der Demo einen Fehler macht: https://www.cnn.com/2023/02/08/tech/google-ai-bard-demo-error [7] Hacker verkaufen einen Dienst, der die ChatGPT-Beschränkungen für Malware umgeht: https://arstechnica.com/information-technology/2023/02/now-open-fee-based-telegram-service-that-uses-chatgpt-to -generate-malware/ Neue Quellen zur Bing-Faktenüberprüfung: [8] von Microsoft ( ) Pressemitteilungsvideo https://www.youtube.com/watch?v=rOeRWRJ16yY [9] von Microsoft: ( ) Demoseite https://www.bing.com/new Der neue Bing- und Finanzbericht: [10a] im Video gezeigt: Finanzbericht von Gap Inc. https://s24.q4cdn.com/508879282/files/doc_financials/2022/q3/3Q22-EPR-FINAL-with-Tables.pdf [10b] auf der offiziellen Website: Finanzbericht von Lululemon https://corporate.lululemon.com/media/press-releases/2022/12-08-2022-210558496#:\~:text=Für das dritte Quartal 2022 %2C im Vergleich zum dritten %2C und international um 41 %25 gestiegen Die neuen Bing- und japanischen Dichter: [11a] Eriko Kishida: ( ), ( ) Wikipedia https://twitter.com/sundarpichai/status/1622673369480204288 IMDB https://www.imdb.com/name/nm1063814/ [11b] Gackt: ( ) Wikipedia https://en.wikipedia.org/wiki/Gackt Die neuen Bing- und Nachtclubs in Mexiko: [12a] El Almacen: ( ), ( ) Google Maps https://goo.gl/maps/3BL27XgWpDVzLLnaA Restaurant Guru https://restaurantguru.com/El-Almacen-Mexico-City [12b] El Marra: ( ), ( ) Google Maps https://goo.gl/maps/HZFe8xY7uTk1SB6s5 Restaurant Guru https://restaurantguru.com/El-Marra-Mexico-City [12c] Guadalajara de Noche: ( ), ( ) Tripadvisor https://www.tripadvisor.es/Attraction_Review-g150800-d3981435-Reviews-Guadalajara_de_Noche-Mexico_City_Central_Mexico_and_Gulf_Coast.html Google Maps https://goo.gl/maps/UeHCm1EeJZFP7wZYA [13] Das neue Bing und Bastelideen ( ) : https://www.bing.com/search?q=Kunst- und Bastelideen, mit Anleitungen für ein Kleinkind, das nur Pappkartons, Plastikflaschen, Papier und Schnüre verwendet&iscopilotedu=1&form=MA13G7 [13a] Zitierte Website: ( ) Happy Toddler Playtime https://happytoddlerplaytime.com/cardboard-box-guitar-craft-for-kids/ Quellen zur Bard-Faktenüberprüfung: [14] Werbeblog ( ) und Video ( ) https://twitter.com/sundarpichai/status/1622673369480204288 https://twitter.com/sundarpichai/status/1622673775182626818 [15] ( ) Videodemonstration https://www.youtube.com/watch?v=yLWXJ22LUEc Welches Teleskop hat die ersten Exoplanetenbilder aufgenommen? [16a] von Grant Tremblay (amerikanischer Astrophysiker) ( ) Twitter https://twitter.com/astrogrant/status/1623091683603918849 [16b] NASA: 2M1207 b – Erstes Bild eines Exoplaneten ( ) https://exoplanets.nasa.gov/resources/300/2m1207-b-first-image-of-an-exoplanet/ Wenn die Sternbilder sichtbar sind [17a] ( ) Top-Ergebnis: ( Google https://www.google.com/search?client=safari&rls=en&q=when+is+orion+visible&ie=UTF-8&oe=UTF-8 Byju's https://byjus. com/question-answer/in-which-season-of-the-year-is-the-constellation-orion-visible-in-the-sky/ ) [17b] Seite „Orion (Sternbild)“: Wikipedia- https://en.wikipedia.org/wiki/Orion_(Sternbild) Akademische Referenzen [18] Eine Einführung in die Informationsbeschaffung: https://nlp.stanford.edu/IR-book/pdf/irbookonlinereading.pdf [19] Auf dem Weg zur kontrollierten Textgenerierung: http://proceedings.mlr.press/v70/hu17e/hu17e.pdf [20] FEVER: ein umfangreicher Datensatz zur Faktenextraktion und -VERifizierung: https://aclanthology.org/N18-1074.pdf [21] Ein Blick in die Black-Box: Eine Umfrage zur erklärbaren künstlichen Intelligenz (XAI): https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8466590 Bildquelle: Eingabeaufforderung von „Der Roboter-Faktenprüfer verwendet eine Lupe, um die Genauigkeit eines KI-Chatbots zu überprüfen.“ HackerNoon AI Image Generator-
