Hintergrund Am 24. Februar 2023 veröffentlichte Meta Research : ein grundlegendes großes Sprachmodell mit 65 Milliarden Parametern. Tatsächlich gab es drei Modelle: LLaMA 65B und LLaMA 33B wurden mit 1,4 Billionen Token trainiert, während das kleinste LLaMA 7B-Modell mit einer Billion Token trainiert wurde. LLaMA Am 13. März 2023 veröffentlichte eine Gruppe von Stanford-Forschern dann , ein Modell, das vom LLaMA 7B-Modell verfeinert wurde. Alpaca 7B Bei ihrer vorläufigen Bewertung der Single-Turn-Anweisungsfolge verhält sich Alpaca qualitativ ähnlich wie chatGPT 3.5 (text-DaVinci-003) von OpenAI, ist jedoch überraschend klein und einfach/günstig zu reproduzieren (<600 $). Das klingt alles sehr ermutigend, insbesondere da ein 7B-Modell werden kann. Und mit angeblich vergleichbarer Leistung wie chatGPT 3.5! auf einem Laptop, einem Raspberry Pi oder sogar auf Ihrem Smartphone ausgeführt Dies könnte grundlegende Auswirkungen darauf haben, was wir mit einem ausreichend leistungsstarken lokalen Sprachmodell erreichen könnten, das keinen riesigen zentralen Server benötigt. Es wird viele Probleme in Bezug auf Datenschutz und Skalierbarkeit lösen. Finden wir es also heraus. Umgebungseinrichtung Es gibt viele gute Leute, die Open-Source-Arbeit leisten, um uns dabei zu helfen, das Modell auf unterschiedlicher Hardware und Software auszuführen und die Gewichte des Alpaca/LLaMA-Modells herunterzuladen. Weitere Details finden Sie im Referenzkapitel. Hier ist das Wesentliche: : Alpaca 7B, optimiert von Stanford von LLaMA 7B Modell : LLaMA C++ portierte Version von Georgi Gerganov Software : MacBook Pro M1 14 Zoll 2021, 8-Kern-CPU, 16 GB RAM Hardware : 21. März 2023 Testdatum Frühe Beobachtungen Mein Zweck beim Testen des Alpaca/LLaMA 7B-Modells gegen ChatGPT 3.5 besteht nicht darin, zu beurteilen, welches besser ist. Es ist einfach kein Vergleich von Apfel zu Apfel. Einer hat 7B Parameter, während der andere 150B hat. Einer läuft auf meinem Macbook Pro M1, während der andere auf einer riesigen Serverfarm mit einer Menge teurer CPUs und GPUs läuft. Abgesehen von den Haftungsausschlüssen: Was ist das Ergebnis? Erstens . Im Folgenden sind der CPU- und Speicherverbrauch sowie die Geschwindigkeit der Token-Generierung aufgeführt. Es ist auf jeden Fall klein genug und schnell genug für den täglichen Gebrauch. funktioniert das Modell Alpaca/LLaMA 7B gut auf meinem MacBook Allerdings weist dieser spezielle CPP-Port Stabilitätsprobleme auf und kann häufig aufgrund eines „Segmentierungsfehlers“ ausfallen. Zur Überprüfung muss ich den ursprünglichen Python-Code ausprobieren. Verwendeter : RAM 4,4 GB Verwendete : 230–240 % CPU ( von 8) CPU 2–3 Kerne der Token-Generierung: ca. (305 Wörter, 1815 Zeichen, in 52 Sekunden) Geschwindigkeit 6 Token/Sekunde In Bezug auf die Antwortqualität würde ich sie grob in diese Personas einteilen: : ein kompetenter Mittelstufenschüler Alpaka/LLaMA 7B : ein kompetenter und vielseitiger Hochschulabsolvent chatGPT 3.5 Alpaca/LLaMA 7B ist sicherlich gut genug für die meisten Eingabeaufforderungen, aber ich denke, es ist noch nicht annähernd so ausgefeilt wie chatGPT 3.5. Aber für weniger als 1/20 der Modellgröße schnitt es bemerkenswert gut ab, insbesondere wenn man den Anwendungsfall eines lokalen Geräts berücksichtigt. Ein großes Lob an Meta Research und das Stanford Alpaca-Team! Die 6 Tests können Sie sich in den späteren Kapiteln selbst ansehen. Nächste Schritte Die interessantere Frage ist, wie . Die meisten von uns verfügen bereits über einen großen Bestand an digitalisierten Texten und Bildern und wir generieren jede Minute neue. ich meine eigenen Daten verwenden kann, um ein personalisiertes Modell aus dem allgemeinen Alpaca/LLaMA 7B-Modell zu trainieren Dies sollte daher sowohl retrospektiv als auch dynamisch und fortlaufend erfolgen. Eine weitere Erkundung wird darin bestehen . Ich weiß, dass jemand es bereits auf einem Google Pixel 6 zum Laufen gebracht hat, aber die Geschwindigkeit der Token-Generierung war einfach zu langsam. Wir könnten Möglichkeiten finden, das Modell weiter zu verdichten, ohne zu große Einbußen bei der Leistung hinnehmen zu müssen. , es auf meinem Telefon auszuführen Dann können wir dieses lokale Modell in unsere Apps wie Chat/Messenger, soziale Netzwerke und Fotoalben integrieren. Und all dies eröffnet mehr Möglichkeiten für , bei dem ein zentraler Server ein großes generisches Modell trainiert, während lokale Geräte ein kleineres personalisiertes Modell trainieren. föderiertes Training Es wird cool sein, wenn ein lokales 7B-Modell mit einem Cloud-65B-Modell kommuniziert und die Modelle für jedes Modell kontinuierlich optimiert wird, ohne tatsächliche Trainingsdaten auszutauschen. Test 1: Emotionale Unterstützung Prompt: Wie kann man jemanden am besten trösten, der gerade eine große Menge Geld verloren hat? Alpaka/LLaMA 7B-Antwort Hören Sie mit Mitgefühl und Empathie zu. Stellen Sie offene Fragen, um Einblick in ihre Gefühle zu gewinnen. Sei geduldig; Menschen reagieren unterschiedlich auf Trauer und Verlust. Versuchen Sie nicht, das Problem sofort zu beheben oder zu lösen. Bieten Sie praktische Hilfe an, indem Sie beispielsweise eine Mahlzeit anbieten, Besorgungen erledigen oder Gesellschaft leisten. ChatGPT 3.5-Antwort Der Verlust einer großen Geldsumme kann eine schwierige und emotionale Erfahrung sein. Hier sind einige Möglichkeiten, jemanden zu trösten, der gerade einen erheblichen finanziellen Verlust erlitten hat: Zuhören und mitfühlen: Erlauben Sie der Person, ihre Gefühle auszudrücken und einfühlsam zuzuhören, ohne ihre Erfahrung zu beurteilen oder herunterzuspielen. Bestätigen Sie ihre Gefühle und zeigen Sie Ihre Unterstützung. Bieten Sie praktische Unterstützung an: Bieten Sie Hilfe bei praktischen Angelegenheiten an, z. B. bei der Kontaktaufnahme mit Finanzinstituten, der Überprüfung von Versicherungspolicen oder der Suche nach professionellem Rat. Helfen Sie ihnen, sich auf das zu konzentrieren, was sie noch haben: Ermutigen Sie die Person, sich auf das zu konzentrieren, was sie noch hat und auf die Dinge, die im Leben am wichtigsten sind, wie Familie, Gesundheit und Glück. Ermutigen Sie die Person: Ermutigen Sie die Person, positiv zu bleiben, und erinnern Sie sie daran, dass sie sich von ihrem Verlust erholen kann. Bieten Sie Unterstützung und geben Sie ihnen die Gewissheit, dass sie diesen Rückschlag überwinden können. Vermeiden Sie es, unaufgefordert Ratschläge zu geben: Vermeiden Sie es, unaufgefordert Ratschläge oder Kritik zu geben, es sei denn, die Person bittet um Rat. Bieten Sie stattdessen Unterstützung und Empathie an und seien Sie bereit zuzuhören. Denken Sie daran, dass jeder einen Verlust anders verarbeitet und es keine allgemeingültige Lösung gibt, um jemanden zu trösten, der einen erheblichen finanziellen Verlust erlitten hat. Das Wichtigste ist, für sie da zu sein, Unterstützung anzubieten und auf jede erdenkliche Weise zu helfen. Test 2: Schreiben Sie ein Gedicht Prompt: Bitte schreiben Sie ein Gedicht über die Kirschblüte im Frühling und über die Klage über die verlorene Zeit Alpaka/LLaMA 7B-Antwort Ich gehe unter den Kirschblüten hindurch, Zweige streifen meine Haut wie Federn. Die Luft ist warm und duftend, Eine süße Frühlingsbrise bringt ein Schlaflied. Die Zeit vergeht so schnell; Ich beklage diese verlorene Zeit. Während ich durch die Bäume spaziere, Ich spüre, wie die Jahreszeiten wie ein Traum an mir vorbeiziehen. Oh, Kirschblüten des Frühlings, Bringen Sie wieder schöne Erinnerungen zurück. Deine Blütenblätter küssen sanft meine Haut, Bringt wieder Hoffnung auf eine bessere Zukunft. Also verweile ich unter deiner Schönheit, Der Duft dieser Blütenblätter in meinem Kopf. Die Vergangenheit zu vergessen ist so einfach, Eine Erinnerung, die bleibt, wird mir stattdessen immer am Herzen liegen. ChatGPT 3.5-Antwort Rosa Blütenblätter flattern im Wind, Der Frühling ist mit sanfter Leichtigkeit gekommen, Blühende Kirschblütenbäume, Ein Anblick, der die Dunkelheit vertreibt. Aber wenn ich diese Szene betrachte, Mein Herz ist schwer, im Traum verloren, Denn in der Schönheit, die umgibt, Ich kann nicht abschütteln, was ich gefunden habe. Verlorene Zeit, sie verfolgt jeden meiner Gedanken, Ein Schatz, den man nicht kaufen kann, Momente, die mir entgangen sind, Erinnerungen, die ich nicht festhalten kann. Oh, Kirschblüte, flüchtiger Anblick, Eine Erinnerung an den grausamen Flug der Zeit, Von Jahreszeiten, die kommen und gehen, Wie sich die Zeit bewegt, wie sie fließt. Ich möchte jeden Tag festhalten, Jeden Moment schätzen und sagen: Dass ich gelebt, geliebt und gelacht habe, Und es wurde in der Vergangenheit keine Zeit verschwendet. Also, lasst die Kirschblüten fallen, Und lassen Sie sie uns alle daran erinnern, Jeden Tag mit offenem Herzen leben, Und lass niemals zu, dass die Zeit uns auseinanderhält. Test 3: Fassen Sie einen Artikel zusammen Prompt: Fassen Sie den folgenden Artikel in einem Absatz zusammen London CNN – Die größte Bank der Schweiz, UBS, hat zugestimmt, ihren angeschlagenen Rivalen Credit Suisse im Rahmen eines Notrettungsabkommens zu kaufen, um die Finanzmarktpanik einzudämmen, die durch den Zusammenbruch zweier amerikanischer Banken Anfang dieses Monats ausgelöst wurde. „UBS hat heute die Übernahme der Credit Suisse bekannt gegeben“, sagte die Schweizerische Nationalbank in einer Erklärung am Sonntag. Die Rettung werde „die Finanzstabilität sichern und die Schweizer Wirtschaft schützen“, hieß es. UBS zahlt 3 Milliarden Schweizer Franken (3,25 Milliarden US-Dollar) für Credit Suisse, etwa 60 % weniger, als die Bank bei Börsenschluss am Freitag wert war. Die Credit Suisse-Aktionäre werden weitgehend ausgelöscht und erhalten den Gegenwert von nur 0,76 Franken in UBS-Aktien für Aktien, die am Freitag 1,86 Franken wert waren. Besitzer von „Additional Tier One“-Anleihen im Wert von 17 Milliarden US-Dollar – einer riskanteren Klasse von Bankschulden – werden alles verlieren, sagten Schweizer Aufsichtsbehörden. Aussergewöhnlich ist, dass der Deal nicht der Zustimmung der Aktionäre bedarf, nachdem die Schweizer Regierung einer Gesetzesänderung zugestimmt hat, um jegliche Unsicherheit über den Deal zu beseitigen. Alpaka/LLaMA 7B-Antwort Nicht abgeschlossen. Einmal wurde ein Segmentierungsfehler gemeldet, ein anderes Mal wurde einfach nichts zurückgegeben. ChatGPT 3.5-Antwort UBS, die größte Bank der Schweiz, hat sich bereit erklärt, Credit Suisse im Rahmen einer Notrettungsvereinbarung im Wert von 3 Milliarden Schweizer Franken (3,25 Milliarden US-Dollar) zu kaufen. Der Kauf soll die Schweizer Wirtschaft schützen und die Finanzstabilität nach dem Zusammenbruch zweier US-Banken Anfang dieses Monats sichern. Die Transaktion bedarf nicht der Zustimmung der Aktionäre der Credit Suisse, da die Schweizer Regierung das Gesetz geändert hat, um die Unsicherheit über die Transaktion zu beseitigen. Für jede Credit-Suisse-Aktie erhalten die Aktionäre lediglich 0,76 Franken in UBS-Aktien, was zu einem Wertverlust von 60 Prozent führt. Besitzer von „Additional Tier One“-Anleihen im Wert von 17 Milliarden US-Dollar, einer riskanteren Art von Bankschulden, werden alles verlieren. Test 4: Wie man den SAT meistert Prompt: Wie schneidet man im SAT-Test ab? Alpaka/LLaMA 7B-Antwort Die beste Möglichkeit, sich auf den SAT vorzubereiten, besteht darin, Übungsaufgaben zu bearbeiten und die in der Prüfung geprüften Fertigkeiten wie Mathematik und Leseverständnis zu erlernen. Darüber hinaus ist es wichtig, sich mit dem Format des Tests vertraut zu machen. Wenn Sie die Zeitvorgaben und Fragetypen kennen, sind Sie besser vorbereitet. Es ist auch hilfreich, einige Tricks zu lernen, um während einer Hochdruckprüfung ruhig zu bleiben. Es wird außerdem dringend empfohlen, Übungstests unter ähnlichen Bedingungen wie die echte Prüfung durchzuführen, da sie Ihnen dabei helfen können, sich mit dem Testformat vertraut zu machen. ChatGPT 3.5-Antwort Der SAT ist ein standardisierter Test, der von Colleges und Universitäten in den Vereinigten Staaten als Faktor im Zulassungsprozess verwendet wird. Hier sind einige Tipps für das Bestehen des SAT: Verstehen Sie das Testformat: Der SAT besteht aus Abschnitten zu Lesen, Schreiben und Mathematik. Machen Sie sich mit dem Format des Tests, einschließlich der Art der gestellten Fragen und den Fristen für die einzelnen Abschnitte, vertraut. Üben, üben, üben: Je mehr Sie üben, desto vertrauter werden Sie mit den Arten der gestellten Fragen und den Strategien, die Sie benötigen, um sie richtig zu beantworten. Es stehen viele Ressourcen zur Verfügung, darunter Übungstests und Studienführer. Entwickeln Sie Zeitmanagementfähigkeiten: Der SAT ist ein zeitgesteuerter Test, daher ist es wichtig, gute Zeitmanagementfähigkeiten zu entwickeln. Stellen Sie sicher, dass Sie Ihre Zeit für jeden Abschnitt des Tests sinnvoll einteilen. Konzentrieren Sie sich auf Ihre Schwächen: Identifizieren Sie Ihre Schwächen und konzentrieren Sie Ihr Studium auf diese Bereiche. Wenn Sie beispielsweise Schwierigkeiten mit Mathematik haben, nehmen Sie sich mehr Zeit für das Üben mathematischer Probleme. Aktiv lesen: Der Leseteil des SAT testet Ihre Fähigkeit, geschriebene Passagen zu verstehen und zu analysieren. Üben Sie aktiv das Lesen, indem Sie sich Fragen zu der Passage stellen und sich dabei Notizen machen. Meistern Sie die Prüfungsstrategien: Es gibt viele Strategien, mit denen Sie Ihre Prüfungsfähigkeiten verbessern können, z. B. Ausschlussverfahren, fundiertes Raten und das Überspringen schwieriger Fragen, um später darauf zurückzukommen. Schlafen Sie gut: Stellen Sie sicher, dass Sie vor dem Test gut schlafen, damit Sie ausgeruht und wachsam sind. Denken Sie daran, dass das Bestehen des SAT Zeit, Mühe und Hingabe erfordert. Indem Sie diese Tipps befolgen und die nötige Arbeit investieren, können Sie Ihre Chancen auf einen Highscore verbessern. Test 5: Erstellen Sie eine Website Prompt: Der Aufbau einer Website kann in 10 einfachen Schritten erfolgen: Alpaka/LLaMA 7B-Antwort Erstellen Sie eine Liste aller Elemente, die Sie auf Ihrer Website haben möchten, entweder mit Stift und Papier oder mit einem Computerprogramm wie Scrivener. Bestimmen Sie, welche Art von Website Sie erstellen möchten (Blog, E-Commerce, Portfolio usw.). Entscheiden Sie, ob Sie es selbst tun oder jemand anderen beauftragen möchten. Wenn Sie sich für den Do-it-yourself-Weg entscheiden, überlegen Sie, welche Programmiersprache und Webhosting-Plattform Ihren Anforderungen am besten entspricht. Holen Sie sich einen Domainnamen. Einige Plattformen bieten mit ihren Paketen kostenlose Domains an; Andernfalls können Sie eines bei den meisten Registraren erwerben. Wählen Sie ein Thema/eine Vorlage für Ihre Website. Es stehen viele kostenlose Themes zur Auswahl. Wenn Sie etwas Individuelles wünschen, müssen Sie einen Designer dafür bezahlen. Erstellen Sie Ihre Inhalte. Fügen Sie Bilder und Text sowie andere Funktionen wie Videos oder Musik hinzu. Erstellen Sie auch einige Seiten, damit Ihre Website besser organisiert ist. Testen Sie alles, bevor Sie es live im Web veröffentlichen. Verwenden Sie Browsererweiterungen, um die plattformübergreifende Kompatibilität und Zugänglichkeit zu prüfen. Testen Sie Ihre Website auch mit verschiedenen Browsern (Chrome, Edge, Firefox, Safari). Veröffentlichen Sie Ihre Inhalte, sobald Sie sicher sind, dass sie in allen gängigen Browsern funktionieren. Richten Sie Suchmaschinenoptimierung und -analyse ein, damit Google Ihre Seiten crawlen und in den Suchergebnissen anzeigen kann. Auf diese Weise werden Nutzer Ihre Website finden, wenn sie nach relevanten Schlüsselwörtern suchen. Bewerben Sie Ihre Website, damit die Leute von ihrer Existenz erfahren. Tun Sie dies, indem Sie in den sozialen Medien posten oder bezahlte Werbeplattformen nutzen, um sicherzustellen, dass es gesehen wird. ChatGPT 3.5-Antwort Ja, die Erstellung einer Website kann in 10 einfachen Schritten erfolgen. Hier sind sie: Bestimmen Sie den Zweck Ihrer Website: Identifizieren Sie den Zweck und die Ziele Ihrer Website. Wird es ein Blog, eine E-Commerce-Website oder ein Portfolio sein? Auf diese Weise können Sie ermitteln, welche Funktionen Sie benötigen. Wählen Sie einen Domainnamen: Ihr Domainname ist die Adresse Ihrer Website im Internet. Wählen Sie einen Namen, der einprägsam, leicht zu buchstabieren und für den Zweck Ihrer Website relevant ist. Wählen Sie einen Webhosting-Dienst: Webhosting-Dienste stellen den Serverraum bereit, den Sie für die Funktion Ihrer Website benötigen. Recherchieren Sie und wählen Sie einen zuverlässigen und sicheren Hosting-Anbieter. Wählen Sie einen Website-Builder: Mit Website-Buildern können Sie eine Website erstellen, ohne Programmierkenntnisse zu benötigen. Es stehen viele Optionen zur Verfügung, wie zum Beispiel WordPress, Wix und Squarespace. Wählen Sie eine Vorlage: Die meisten Website-Builder bieten vorgefertigte Vorlagen zur Auswahl. Wählen Sie eine Vorlage aus, die zum Zweck Ihrer Website passt, und passen Sie sie nach Bedarf an. Gestalten Sie Ihre Website: Passen Sie das Design Ihrer Website an, indem Sie Farben, Schriftarten und Bilder auswählen, die zu Ihrer Marke und Ihrem Zweck passen. Erstellen und organisieren Sie Ihre Inhalte: Schreiben und organisieren Sie Ihre Inhalte so, dass sie für Besucher leicht zu navigieren und zu verstehen sind. Funktionalität hinzufügen: Fügen Sie alle erforderlichen Funktionen zu Ihrer Website hinzu, z. B. Formulare, Schaltflächen zum Teilen in sozialen Medien und E-Commerce-Funktionen. Für Suchmaschinen optimieren: Stellen Sie sicher, dass Ihre Website für Suchmaschinen optimiert ist, indem Sie relevante Schlüsselwörter, Meta-Tags und andere SEO-Techniken verwenden. Starten Sie Ihre Website: Wenn Sie bereit sind, starten Sie Ihre Website und bewerben Sie sie über soziale Medien, E-Mail und andere Kanäle, um den Traffic zu steigern und die Sichtbarkeit zu erhöhen. Das Erstellen einer Website kann ein komplexer Prozess sein, aber wenn Sie diese einfachen Schritte befolgen, können Sie eine professionelle und effektive Website für Ihre geschäftlichen oder persönlichen Bedürfnisse erstellen. Test 6: Abschlussballabend Prompt: Ich gehe in die Oberstufe. Wie kann ich ein Mädchen finden, das ich zum Abschlussball mitnehmen kann? Alpaka/LLaMA 7B-Antwort Bitte deine Eltern um Hilfe. Oder fragen Sie einen Ihrer Freunde, der eine ältere Schwester/Cousin/Freundin hat, die Sie gut genug kennen, um zu sich nach Hause eingeladen zu werden und ihn die ganze Arbeit für Sie erledigen zu lassen. ChatGPT 3.5-Antwort Als KI-Sprachmodell kann ich Sie nicht dazu ermutigen oder beraten, einen romantischen Partner zu finden, da die Vorlieben und Erfahrungen jedes Einzelnen einzigartig sind. Ich kann Ihnen jedoch einige Tipps geben, wie Sie neue Leute kennenlernen und möglicherweise einen Termin für den Abschlussball finden: Beteiligen Sie sich an Schulaktivitäten: Die Teilnahme an Schulaktivitäten und Clubs kann eine großartige Möglichkeit sein, neue Leute kennenzulernen, die ähnliche Interessen teilen. Nehmen Sie an Schulveranstaltungen teil: Nehmen Sie an Schulveranstaltungen wie Sportspielen, Tänzen und anderen gesellschaftlichen Zusammenkünften teil, um neue Leute kennenzulernen. Bitten Sie Freunde, sie Ihnen vorzustellen: Fragen Sie Ihre Freunde, ob sie jemanden kennen, der daran interessiert sein könnte, mit Ihnen zum Abschlussball zu gehen. Treten Sie Online-Gruppen bei: Treten Sie Online-Gruppen oder Social-Media-Seiten bei, die Ihrer Schule oder Ihrer Region gewidmet sind, um neue Leute kennenzulernen und möglicherweise einen Abschlussballtermin zu finden. Seien Sie freundlich und zugänglich: Seien Sie offen und freundlich gegenüber neuen Menschen, die Sie treffen. Lächeln Sie, stellen Sie Augenkontakt her und beginnen Sie Gespräche mit denen, die Sie besser kennenlernen möchten. Denken Sie daran, dass die Suche nach einem Termin für den Abschlussball nicht der einzige Grund ist, am Abschlussball teilzunehmen. Es ist eine Gelegenheit, mit Freunden und Klassenkameraden zu feiern und bleibende Erinnerungen zu schaffen. Konzentrieren Sie sich darauf, eine gute Zeit zu haben und Sie selbst zu sein, und ein mögliches Date könnte sich von selbst ergeben. Referenz: Detaillierte Anweisungen Download des Alpaca 7B-Modells (Modell-Bin-Dateigröße: 4017 MB) curl -o ./models/ggml-alpaca-7b-q4.bin -C - https://ipfs.io/ipfs/QmUp1UGeQFDqJKvtjbSYPBiZZKRjLp8shVP9hT8ZB9Ynv1 Hinweis: Versuchen Sie, alternative IPFS-Gateways zu verwenden, um bessere Geschwindigkeiten zu erzielen und Verzögerungen zu vermeiden; Dies wird Ihre kleine Hausaufgabe sein, um es selbst herauszufinden. 🙂 Installieren Sie die CPP-Version von LLaMA gemäß README https://github.com/ggerganov/llama.cpp?s=09 Führen Sie es im interaktiven Modus aus: ./main -m ./models/ggml-alpaca-7b-q4.bin --color -f ./prompts/alpaca.txt -ins -n 1024
