69,383 測定値

Alpaca/LLaMA 7B 言語モデルで実験を行いました: 結果は次のとおりです

に Bruce Li13m2023/03/24

長すぎる; 読むには

Macbook Pro で実行されている Alpaca/LLama 7B 言語モデルが、chatGPT 3.5 と同様のパフォーマンスを達成できるかどうかを調べることにしました。私の観察：・アルパカ/ラマ7B：有能な中学生 - chatGPT 3.5: 有能でバランスのとれた大卒者

featured image - Alpaca/LLaMA 7B 言語モデルで実験を行いました: 結果は次のとおりです

バックグラウンド

2023 年 2 月 24 日、Meta Research はLLaMAをリリースしました。これは、基本的な 650 億のパラメーターを持つ大規模な言語モデルです。実際には、3 つのモデルがありました。LLaMA 65B と LLaMA 33B は 1.4 兆トークンでトレーニングされ、最小の LLaMA 7B モデルは 1 兆トークンでトレーニングされました。

そして2023年3月13日、スタンフォード大学の研究者グループがLLaMA 7Bモデルを微調整したモデルであるAlpaca 7Bをリリースしました。

単一ターンの指示に従うことの予備評価では、Alpaca は質的に OpenAI の chatGPT 3.5 (text-DaVinci-003) と同じように動作しますが、驚くほど小さく、簡単に/安価に再現できます (<600$)。

特に7Bモデルはラップトップ、Raspberry Pi、またはスマートフォンでも実行できるため、すべてが非常に有望に聞こえます.そして、chatGPT 3.5 と同等のパフォーマンスを主張しています!

これは、巨大な中央サーバーを必要としない十分に強力なローカル言語モデルで達成できることについて、根本的な意味を持つ可能性があります。プライバシーとスケーラビリティに関する多くの問題を解決します。それでは、調べてみましょう。

環境設定

Alpaca/LLaMA モデルの重みをダウンロードする方法だけでなく、さまざまなハードウェアやソフトウェアでモデルを実行するのに役立つオープンソースの作業を行っている優秀な人々がたくさんいます。詳細については、リファレンスの章を参照してください。要点は次のとおりです。

モデル：LLaMA 7Bからスタンフォードが最適化したアルパカ7B

ソフトウェア: Georgi Gerganov による LLaMA C++ 移植版

ハードウェア: Macbook Pro M1 14 インチ 2021、8 コア CPU 16GB RAM

試験日：2023年3月21日

初期の観察

ChatGPT 3.5 に対して Alpaca/LLaMA 7B モデルをテストする目的は、どちらが優れているかを判断することではありません。これは単純に、アップル同士の比較ではありません。 1 つには 7B パラメータがあり、もう 1 つには 150B があります。

1 つは私の Macbook Pro M1 で実行され、もう 1 つは高価な CPU と GPU を大量に備えた巨大なサーバーファームで実行されます。さて、免責事項はさておき、結果はどうですか？

まず第一に、 Alpaca/LLaMA 7B モデルは私の Macbook でうまく動作します。以下は、CPU とメモリの消費量、およびトークン生成速度です。それは間違いなく十分に小さく、毎日の使用に十分な速さです.

ただし、この特定の cpp ポートには安定性の問題があり、「セグメンテーション違反」が原因で停止することがよくあります。元の Python コードを試して確認する必要があります。

使用RAM ： 4.4GB

CPU使用率: 230 ～ 240% の CPU (8 コアのうち2 ～ 3 コア)

トークン生成速度：約6トークン/秒（305ワード、1815文字、52秒）

応答の質に関しては、大まかにこれらのペルソナに特徴付けられます。

アルパカ/ラマ 7B : 有能な中学生

chatGPT 3.5 : 有能でバランスのとれた大卒者

Alpaca/LLaMA 7B は確かにほとんどのプロンプトで十分ですが、chatGPT 3.5 ほど洗練されたレベルにはまだ達していないと思います。

しかし、モデルサイズの 1/20 未満の場合、特にローカルデバイスのユースケースを考慮すると、非常にうまく機能しました。 Meta Research と Stanford Alpaca チームに敬意を表します!

後の章で 6 つのテストを自分で確認できます。

次のステップ

もっと興味深い質問は、Alpaca/LLaMA 7B の一般的なモデルからパーソナライズされたモデルをトレーニングするために自分のデータを使用する方法です。私たちのほとんどは、デジタル化されたテキストと画像の大規模なコーパスをすでに持っており、毎分新しいものを生成しています。

したがって、これは遡及的に行うだけでなく、継続的に動的に行う必要があります。

別の調査では、私の電話で実行します。誰かがすでに Google Pixel 6 で実行したことを知っていますが、トークン生成速度が遅すぎました。パフォーマンスをあまり犠牲にすることなく、モデルをさらにコンパクトにする方法を見つけることができました。

次に、このローカルモデルをチャット/メッセンジャー、ソーシャルネットワーク、フォトアルバムなどのアプリに統合できます。

そして、これらはすべて、中央サーバーが大きな汎用モデルをトレーニングし、ローカルデバイスがより小さなパーソナライズされたモデルをトレーニングするフェデレーテッドトレーニングの可能性を広げます。

ローカルの 7B モデルがクラウドの 65B モデルと通信し、実際のトレーニングデータを交換せずにそれぞれのモデルを継続的に最適化するのはクールです。

テスト 1: 感情的なサポート

促す：

大金を失った人を慰める最善の方法は何ですか?

アルパカ/ラマ 7B レスポンス

思いやりと共感をもって耳を傾けてください。

自由回答式の質問をして、彼らの気持ちを理解してください。

我慢して;人は悲しみや喪失に対してさまざまな反応を示します。

問題をすぐに修正または解決しようとしないでください。

食事の提供、用事の実行、会社の提供などの実際的な支援を提供します。

ChatGPT 3.5 レスポンス

多額のお金を失うことは、困難で感情的な経験になる可能性があります。重大な経済的損失を経験したばかりの人を慰める方法をいくつか紹介します。

耳を傾け、共感する：その人が自分の感情を表現し、自分の経験を判断したり軽視したりせずに、共感的に耳を傾けることができるようにします。彼らの感情を検証し、あなたのサポートを示してください。
実践的なサポートを提供する: 金融機関への連絡、保険証券の見直し、専門家のアドバイスの求めなど、実際的な問題を支援することを申し出ます。
まだ持っているものに注意を向けさせる: まだ持っているものと、家族、健康、幸福など、人生で最も重要なことに焦点を当てるようにその人を励まします。
励ましを与える: その人が前向きでいるように励まし、喪失から立ち直ることができることを思い出させます。サポートを提供し、この挫折を克服できるという安心感を提供します。
求められていないアドバイスを提供しない: その人がアドバイスを求めない限り、求められていないアドバイスや批判を提供しないでください。代わりに、サポートと共感を提供し、喜んで耳を傾けてください。

損失の処理方法は人によって異なり、重大な経済的損失を経験した人を慰める万能の解決策はないことを忘れないでください。最も重要なことは、彼らのためにそこにいて、サポートを提供し、できる限りの方法で助けることです.

テスト 2: 詩を書く

促す：

春の桜と失われた時を嘆く詩を書いてください

アルパカ/ラマ7B対応

桜の下を歩く

羽のように私の肌を撫でる枝。

空気は暖かく香ばしく、

甘い春風が子守唄を運んできます。

時間はあっという間に過ぎ去ります。

この失われた時間を嘆きます。

木々の間を散歩していると、

季節が夢のように私のそばに漂うのを感じます。

ああ、春の桜よ、

甘い思い出をもう一度。

あなたの花びらが私の肌にそっとキスをし、

より良い未来への希望を再びもたらします。

だから私はあなたの美しさの下にとどまります。

頭の中のこの花びらの香り。

過去を忘れることはとても簡単で、

いつまでも心に残る思い出は、私にとって大切なものです。

ChatGPT 3.5 レスポンス

ピンクの花びらが風になびいて、

春はやさしくやさしく訪れ、

満開の桜並木、

憂鬱を吹き飛ばす光景。

でも、この景色を見ていると、

心は重く、夢に迷い、

周囲の美しさのために、

見つけたものを揺るがすことはできません。

失われた時間、それは私のすべての考えに付きまとう、

買えない宝物、

掌をすり抜けた瞬間、

掴めない思い出。

ああ、桜、儚い光景、

時間の残酷な飛行を思い起こさせる、

行ったり来たりの季節の、

時間の進み方、流れ方。

毎日続けていきたいと思いますが、

一瞬一瞬を大切にしてこう言う。

生きて、愛して、笑って、

そして、過去に無駄な時間はありませんでした。

さぁ、桜が散りますように、

そして、私たち全員に思い出させてください。

心を開いて毎日を生きるために、

そして、時間が私たちを引き離すことは決してありません。

テスト 3: 記事を要約する

促す：

次の文章を一段落にまとめてください

ロンドン CNN — スイス最大の銀行、UBS は、今月初めに 2 つのアメリカの銀行の破綻によって解き放たれた金融市場のパニックを食い止めることを目的とした、病んでいるライバルのクレディスイスを買収することに合意しました。

「UBSは本日、クレディ・スイスの買収を発表した」とスイス国立銀行は日曜日の声明で述べた。救助は「金融の安定を確保し、スイス経済を守る」と述べた。

UBS はクレディスイスに 30 億スイスフラン (32 億 5000 万ドル) を支払っていますが、これは金曜日に市場が閉鎖されたときの銀行の価値よりも約 60% 少なくなっています。クレディ・スイスの株主は大部分が一掃され、金曜日に 1.86 スイスフランに相当する株式に対して、UBS 株式でわずか 0.76 スイスフラン相当を受け取ることになります。スイスの規制当局は、170億ドル相当の「追加のTier 1」債券（銀行債務のリスクの高いクラス）の所有者はすべてを失うと述べた。

異常なことに、スイス政府が取引に関する不確実性を取り除くために法律を変更することに同意した後、取引は株主の承認を必要としません。

アルパカ/ラマ 7B レスポンス

完了しませんでした。セグメンテーション違反が報告されると、別の時には何も返されませんでした。

ChatGPT 3.5 レスポンス

スイス最大の銀行である UBS は、30 億スイスフラン (32 億 5000 万ドル) の緊急救済取引でクレディスイスを買収することに合意しました。この購入は、今月初めに米国の銀行 2 行が破綻した後、スイス経済を保護し、金融の安定を確保することを目的としています。スイス政府は取引に関する不確実性を取り除くために法律を変更したため、この取引はクレディ・スイスの株主の承認を必要としません。株主は、クレディスイスの株式 1 株に対して、UBS 株式でわずか 0.76 スイスフランを受け取り、その価値は 60% 下落します。 170 億ドル相当の「追加ティア 1」債券、つまりよりリスクの高い銀行債務の所有者は、すべてを失うことになります。

テスト 4: SAT を取得する方法

促す：

SATテストでどのようにエースをとりますか.

アルパカ/ラマ 7B レスポンス

SAT に備える最善の方法は、練習問題に取り組み、数学や読解力など、試験でテストされるスキルを勉強することです。さらに、テストの形式に慣れることが重要です。時間の制約と質問の種類を理解することは、準備を整えるのに役立ちます。

プレッシャーのかかる試験中に落ち着くためのコツを学ぶことも役に立ちます。テスト形式に慣れるのに役立つため、実際の試験と同様の条件で模擬試験を受けることも強くお勧めします。

ChatGPT 3.5 レスポンス

SAT は、米国の大学が入学プロセスの要素として使用する標準化されたテストです。 SAT を達成するためのヒントを次に示します。

テスト形式を理解する: SAT は、読み書き、数学のセクションで構成されています。出題される問題の種類や各セクションの制限時間など、テストの形式をよく理解してください。
練習、練習、練習: 練習すればするほど、質問の種類と、それらに正しく答えるために必要な戦略に慣れてきます。模擬試験や学習ガイドなど、多くのリソースを利用できます。
時間管理スキルを開発する: SAT は時限テストであるため、適切な時間管理スキルを開発することが重要です。テストの各セクションに時間を賢く割り当てるようにしてください。
弱点に焦点を当てる: 自分の弱点を特定し、それらの分野に集中して勉強します。たとえば、数学に苦労している場合は、数学の問題の練習により多くの時間を費やしてください。
積極的に読む: SAT のリーディングセクションでは、文章を理解し分析する能力をテストします。パッセージについて自問自答し、読みながらメモを取ることで、積極的に読む練習をしましょう。
受験戦略をマスターする: 受験スキルを向上させるために使用できる多くの戦略があります。たとえば、消去法、知識に基づいた推測、難しい問題を飛ばして後で戻ってくるなどです。
ぐっすり眠る: テストの前にぐっすり眠って、十分な休息と注意力を保つようにしてください。

SAT を取得するには、時間、労力、献身が必要であることを忘れないでください。これらのヒントに従って必要な作業を行うことで、ハイスコアを達成する可能性を高めることができます。

テスト 5: Web サイトを構築する

促す：

Web サイトの構築は、10 の簡単なステップで実行できます。

アルパカ/ラマ7B対応

ペンと紙、または Scrivener などのコンピュータープログラムを使用して、サイトに必要なすべてのアイテムのリストを作成します。
作成するサイトの種類 (ブログ、e コマース、ポートフォリオなど) を決定します。
それを自分で行うか、他の人を雇うかを決定します。 DIY ルートを選択する場合は、どのプログラミング言語と Web ホスティングプラットフォームがニーズに最も適しているかを検討してください。
ドメイン名を取得します。一部のプラットフォームでは、パッケージで無料のドメインを提供しています。それ以外の場合は、ほとんどのレジストラから購入できます。
サイトのテーマ/テンプレートを選択します。選択できる無料のテーマがたくさんあります。何かをカスタマイズしたい場合は、デザイナーにお金を払って仕事をしてもらう必要があります.
コンテンツを構築します。画像やテキストだけでなく、ビデオや音楽などのその他の機能も追加します。サイトがより整理されるように、いくつかのページも作成します。
ウェブ上で公開する前に、すべてをテストしてください。ブラウザー拡張機能を使用して、クロスプラットフォームの互換性とアクセシビリティを確認します。また、さまざまなブラウザー (Chrome、Edge、Firefox、Safari) で Web サイトをテストしてください。
すべての主要なブラウザで動作することを確認したら、コンテンツを公開してください。
Google がページをクロールして検索結果に表示できるように、検索エンジンの最適化と分析を設定します。こうすることで、ユーザーは関連するキーワードを検索したときにあなたのサイトを見つけてくれます。
あなたのウェブサイトを宣伝して、人々にその存在を知ってもらいましょう。これを行うには、ソーシャルメディアに投稿するか、有料の広告プラットフォームを使用して、確実に見られるようにします。

ChatGPT 3.5 レスポンス

はい、10 の簡単なステップで Web サイトを構築できます。どうぞ：

Web サイトの目的を決定する: Web サイトの目的と目標を特定します。ブログ、e コマースサイト、ポートフォリオのいずれでしょうか。これは、必要な機能を決定するのに役立ちます。
ドメイン名を選択してください: ドメイン名は、インターネット上の Web サイトのアドレスです。覚えやすく、スペルが簡単で、Web サイトの目的に関連する名前を選択してください。
Web ホスティングサービスを選択する: Web ホスティングサービスは、Web サイトが機能するために必要なサーバースペースを提供します。信頼できる安全なホスティングプロバイダーを調査して選択します。
Web サイトビルダーを選択する: Web サイトビルダーを使用すると、コーディングの知識がなくても Web サイトを作成できます。 WordPress、Wix、Squarespace など、多くのオプションを利用できます。
テンプレートを選択する: ほとんどの Web サイトビルダーは、選択可能なデザイン済みのテンプレートを提供しています。 Web サイトの目的に合ったテンプレートを選択し、必要に応じてカスタマイズします。
Web サイトをデザインする: ブランドや目的に合った色、フォント、画像を選択して、Web サイトのデザインをカスタマイズします。
コンテンツの作成と整理: 訪問者が簡単にナビゲートして理解できるように、コンテンツを作成して整理します。
機能を追加する: フォーム、ソーシャルメディア共有ボタン、e コマース機能など、必要な機能を Web サイトに追加します。
検索エンジン向けに最適化: 関連するキーワード、メタタグ、その他の SEO 手法を使用して、ウェブサイトが検索エンジン向けに最適化されていることを確認します。
ウェブサイトを立ち上げる: 準備ができたら、ウェブサイトを立ち上げ、ソーシャルメディア、電子メール、その他のチャネルを通じて宣伝して、トラフィックを促進し、認知度を高めます。

Web サイトの構築は複雑なプロセスになる場合がありますが、これらの簡単な手順に従うことで、ビジネスまたは個人のニーズに合ったプロフェッショナルで効果的な Web サイトを作成できます。

テスト 6: プロムナイト

促す：

私は高校3年生なのですが、どうやってプロムに連れて行ってくれる女の子を見つけられますか?

アルパカ/ラマ7B対応

ご両親に助けを求めてください。または、あなたがよく知っている姉/いとこ/友人がいる友人の1人に、彼らの家に招待され、あなたのためにすべての面倒を見てもらうよう依頼してください.

chatGPT 3.5 レスポンス

AI 言語モデルとして、好みや経験は人それぞれなので、ロマンチックなパートナーを見つけることを推奨したりアドバイスしたりすることはできません。ただし、新しい人と出会い、プロムデートを見つけるためのヒントをいくつか提案できます。

学校の活動に参加する: 学校の活動やクラブに参加することは、同じような興味を持つ新しい人々と出会う素晴らしい方法です。
学校のイベントに参加する: スポーツの試合、ダンス、その他の社交的な集まりなどの学校のイベントに参加して、新しい人に会います。
友達に紹介を求める: あなたと一緒にプロムに行くことに興味があるかもしれない人を知っているかどうか友達に尋ねます.
オンライングループに参加する: 学校や地域に特化したオンライングループやソーシャルメディアのページに参加して、新しい人に会い、プロのデートを見つけられる可能性があります。
友好的で親しみやすい: 新しく出会った人に対して、オープンで友好的であること。もっと知りたいと思っている人と笑顔でアイコンタクトを取り、会話を始めましょう。