バックグラウンド 2023 年 2 月 24 日、Meta Research は をリリースしました。これは、基本的な 650 億のパラメーターを持つ大規模な言語モデルです。実際には、3 つのモデルがありました。LLaMA 65B と LLaMA 33B は 1.4 兆トークンでトレーニングされ、最小の LLaMA 7B モデルは 1 兆トークンでトレーニングされました。 LLaMA そして2023年3月13日、スタンフォード大学の研究者グループがLLaMA 7Bモデルを微調整したモデルである をリリースしました。 Alpaca 7B 単一ターンの指示に従うことの予備評価では、Alpaca は質的に OpenAI の chatGPT 3.5 (text-DaVinci-003) と同じように動作しますが、驚くほど小さく、簡単に/安価に再現できます (<600$)。 特に7Bモデルは できるため、すべてが非常に有望に聞こえます.そして、chatGPT 3.5 と同等のパフォーマンスを主張しています! ラップトップ、Raspberry Pi、またはスマートフォンでも実行 これは、巨大な中央サーバーを必要としない十分に強力なローカル言語モデルで達成できることについて、根本的な意味を持つ可能性があります。プライバシーとスケーラビリティに関する多くの問題を解決します。それでは、調べてみましょう。 環境設定 Alpaca/LLaMA モデルの重みをダウンロードする方法だけでなく、さまざまなハードウェアやソフトウェアでモデルを実行するのに役立つオープンソースの作業を行っている優秀な人々がたくさんいます。詳細については、リファレンスの章を参照してください。要点は次のとおりです。 ：LLaMA 7Bからスタンフォードが最適化したアルパカ7B モデル : Georgi Gerganov による LLaMA C++ 移植版 ソフトウェア : Macbook Pro M1 14 インチ 2021、8 コア CPU 16GB RAM ハードウェア ：2023年3月21日 試験日 初期の観察 ChatGPT 3.5 に対して Alpaca/LLaMA 7B モデルをテストする目的は、どちらが優れているかを判断することではありません。これは単純に、アップル同士の比較ではありません。 1 つには 7B パラメータがあり、もう 1 つには 150B があります。 1 つは私の Macbook Pro M1 で実行され、もう 1 つは高価な CPU と GPU を大量に備えた巨大なサーバー ファームで実行されます。さて、免責事項はさておき、結果はどうですか？ まず第一に、 。以下は、CPU とメモリの消費量、およびトークン生成速度です。それは間違いなく十分に小さく、毎日の使用に十分な速さです. Alpaca/LLaMA 7B モデルは私の Macbook でうまく動作します ただし、この特定の cpp ポートには安定性の問題があり、「セグメンテーション違反」が原因で停止することがよくあります。元の Python コードを試して確認する必要があります。 使用 ： RAM 4.4GB 使用率: 230 ～ 240% の CPU (8 コアのうち ) CPU 2 ～ 3 コア トークン生成 ：約 （305ワード、1815文字、52秒） 速度 6トークン/秒 応答の質に関しては、大まかにこれらのペルソナに特徴付けられます。 : 有能な中学生 アルパカ/ラマ 7B : 有能でバランスのとれた大卒者 chatGPT 3.5 Alpaca/LLaMA 7B は確かにほとんどのプロンプトで十分ですが、chatGPT 3.5 ほど洗練されたレベルにはまだ達していないと思います。 しかし、モデル サイズの 1/20 未満の場合、特にローカル デバイスのユース ケースを考慮すると、非常にうまく機能しました。 Meta Research と Stanford Alpaca チームに敬意を表します! 後の章で 6 つのテストを自分で確認できます。 次のステップ もっと興味深い質問は、Alpaca/LLaMA 7B の一般的なモデルから 方法です。私たちのほとんどは、デジタル化されたテキストと画像の大規模なコーパスをすでに持っており、毎分新しいものを生成しています。 パーソナライズされたモデルをトレーニングするために自分のデータを使用する したがって、これは遡及的に行うだけでなく、継続的に動的に行う必要があります。 別の調査では ます。誰かがすでに Google Pixel 6 で実行したことを知っていますが、トークン生成速度が遅すぎました。パフォーマンスをあまり犠牲にすることなく、モデルをさらにコンパクトにする方法を見つけることができました。 、私の電話で実行し 次に、このローカル モデルをチャット/メッセンジャー、ソーシャル ネットワーク、フォト アルバムなどのアプリに統合できます。 そして、これらはすべて、中央サーバーが大きな汎用モデルをトレーニングし、ローカル デバイスがより小さなパーソナライズされたモデルをトレーニングする の可能性を広げます。 フェデレーテッド トレーニング ローカルの 7B モデルがクラウドの 65B モデルと通信し、実際のトレーニング データを交換せずにそれぞれのモデルを継続的に最適化するのはクールです。 テスト 1: 感情的なサポート 促す： 大金を失った人を慰める最善の方法は何ですか? アルパカ/ラマ 7B レスポンス 思いやりと共感をもって耳を傾けてください。 自由回答式の質問をして、彼らの気持ちを理解してください。 我慢して;人は悲しみや喪失に対してさまざまな反応を示します。 問題をすぐに修正または解決しようとしないでください。 食事の提供、用事の実行、会社の提供などの実際的な支援を提供します。 ChatGPT 3.5 レスポンス 多額のお金を失うことは、困難で感情的な経験になる可能性があります。重大な経済的損失を経験したばかりの人を慰める方法をいくつか紹介します。 耳を傾け、共感する：その人が自分の感情を表現し、自分の経験を判断したり軽視したりせずに、共感的に耳を傾けることができるようにします。彼らの感情を検証し、あなたのサポートを示してください。 実践的なサポートを提供する: 金融機関への連絡、保険証券の見直し、専門家のアドバイスの求めなど、実際的な問題を支援することを申し出ます。 まだ持っているものに注意を向けさせる: まだ持っているものと、家族、健康、幸福など、人生で最も重要なことに焦点を当てるようにその人を励まします。 励ましを与える: その人が前向きでいるように励まし、喪失から立ち直ることができることを思い出させます。サポートを提供し、この挫折を克服できるという安心感を提供します。 求められていないアドバイスを提供しない: その人がアドバイスを求めない限り、求められていないアドバイスや批判を提供しないでください。代わりに、サポートと共感を提供し、喜んで耳を傾けてください。 損失の処理方法は人によって異なり、重大な経済的損失を経験した人を慰める万能の解決策はないことを忘れないでください。最も重要なことは、彼らのためにそこにいて、サポートを提供し、できる限りの方法で助けることです. テスト 2: 詩を書く 促す： 春の桜と失われた時を嘆く詩を書いてください アルパカ/ラマ7B対応 桜の下を歩く 羽のように私の肌を撫でる枝。 空気は暖かく香ばしく、 甘い春風が子守唄を運んできます。 時間はあっという間に過ぎ去ります。 この失われた時間を嘆きます。 木々の間を散歩していると、 季節が夢のように私のそばに漂うのを感じます。 ああ、春の桜よ、 甘い思い出をもう一度。 あなたの花びらが私の肌にそっとキスをし、 より良い未来への希望を再びもたらします。 だから私はあなたの美しさの下にとどまります。 頭の中のこの花びらの香り。 過去を忘れることはとても簡単で、 いつまでも心に残る思い出は、私にとって大切なものです。 ChatGPT 3.5 レスポンス ピンクの花びらが風になびいて、 春はやさしくやさしく訪れ、 満開の桜並木、 憂鬱を吹き飛ばす光景。 でも、この景色を見ていると、 心は重く、夢に迷い、 周囲の美しさのために、 見つけたものを揺るがすことはできません。 失われた時間、それは私のすべての考えに付きまとう、 買えない宝物、 掌をすり抜けた瞬間、 掴めない思い出。 ああ、桜、儚い光景、 時間の残酷な飛行を思い起こさせる、 行ったり来たりの季節の、 時間の進み方、流れ方。 毎日続けていきたいと思いますが、 一瞬一瞬を大切にしてこう言う。 生きて、愛して、笑って、 そして、過去に無駄な時間はありませんでした。 さぁ、桜が散りますように、 そして、私たち全員に思い出させてください。 心を開いて毎日を生きるために、 そして、時間が私たちを引き離すことは決してありません。 テスト 3: 記事を要約する 促す： 次の文章を一段落にまとめてください ロンドン CNN — スイス最大の銀行、UBS は、今月初めに 2 つのアメリカの銀行の破綻によって解き放たれた金融市場のパニックを食い止めることを目的とした、病んでいるライバルのクレディ スイスを買収することに合意しました。 「UBSは本日、クレディ・スイスの買収を発表した」とスイス国立銀行は日曜日の声明で述べた。救助は「金融の安定を確保し、スイス経済を守る」と述べた。 UBS はクレディ スイスに 30 億スイス フラン (32 億 5000 万ドル) を支払っていますが、これは金曜日に市場が閉鎖されたときの銀行の価値よりも約 60% 少なくなっています。クレディ・スイスの株主は大部分が一掃され、金曜日に 1.86 スイス フランに相当する株式に対して、UBS 株式でわずか 0.76 スイス フラン相当を受け取ることになります。スイスの規制当局は、170億ドル相当の「追加のTier 1」債券（銀行債務のリスクの高いクラス）の所有者はすべてを失うと述べた。 異常なことに、スイス政府が取引に関する不確実性を取り除くために法律を変更することに同意した後、取引は株主の承認を必要としません。 アルパカ/ラマ 7B レスポンス 完了しませんでした。セグメンテーション違反が報告されると、別の時には何も返されませんでした。 ChatGPT 3.5 レスポンス スイス最大の銀行である UBS は、30 億スイス フラン (32 億 5000 万ドル) の緊急救済取引でクレディ スイスを買収することに合意しました。この購入は、今月初めに米国の銀行 2 行が破綻した後、スイス経済を保護し、金融の安定を確保することを目的としています。スイス政府は取引に関する不確実性を取り除くために法律を変更したため、この取引はクレディ・スイスの株主の承認を必要としません。株主は、クレディ スイスの株式 1 株に対して、UBS 株式でわずか 0.76 スイス フランを受け取り、その価値は 60% 下落します。 170 億ドル相当の「追加ティア 1」債券、つまりよりリスクの高い銀行債務の所有者は、すべてを失うことになります。 テスト 4: SAT を取得する方法 促す： SATテストでどのようにエースをとりますか. アルパカ/ラマ 7B レスポンス SAT に備える最善の方法は、練習問題に取り組み、数学や読解力など、試験でテストされるスキルを勉強することです。さらに、テストの形式に慣れることが重要です。時間の制約と質問の種類を理解することは、準備を整えるのに役立ちます。 プレッシャーのかかる試験中に落ち着くためのコツを学ぶことも役に立ちます。テスト形式に慣れるのに役立つため、実際の試験と同様の条件で模擬試験を受けることも強くお勧めします。 ChatGPT 3.5 レスポンス SAT は、米国の大学が入学プロセスの要素として使用する標準化されたテストです。 SAT を達成するためのヒントを次に示します。 テスト形式を理解する: SAT は、読み書き、数学のセクションで構成されています。出題される問題の種類や各セクションの制限時間など、テストの形式をよく理解してください。 練習、練習、練習: 練習すればするほど、質問の種類と、それらに正しく答えるために必要な戦略に慣れてきます。模擬試験や学習ガイドなど、多くのリソースを利用できます。 時間管理スキルを開発する: SAT は時限テストであるため、適切な時間管理スキルを開発することが重要です。テストの各セクションに時間を賢く割り当てるようにしてください。 弱点に焦点を当てる: 自分の弱点を特定し、それらの分野に集中して勉強します。たとえば、数学に苦労している場合は、数学の問題の練習により多くの時間を費やしてください。 積極的に読む: SAT のリーディング セクションでは、文章を理解し分析する能力をテストします。パッセージについて自問自答し、読みながらメモを取ることで、積極的に読む練習をしましょう。 受験戦略をマスターする: 受験スキルを向上させるために使用できる多くの戦略があります。たとえば、消去法、知識に基づいた推測、難しい問題を飛ばして後で戻ってくるなどです。 ぐっすり眠る: テストの前にぐっすり眠って、十分な休息と注意力を保つようにしてください。 SAT を取得するには、時間、労力、献身が必要であることを忘れないでください。これらのヒントに従って必要な作業を行うことで、ハイスコアを達成する可能性を高めることができます。 テスト 5: Web サイトを構築する 促す： Web サイトの構築は、10 の簡単なステップで実行できます。 アルパカ/ラマ7B対応 ペンと紙、または Scrivener などのコンピューター プログラムを使用して、サイトに必要なすべてのアイテムのリストを作成します。 作成するサイトの種類 (ブログ、e コマース、ポートフォリオなど) を決定します。 それを自分で行うか、他の人を雇うかを決定します。 DIY ルートを選択する場合は、どのプログラミング言語と Web ホスティング プラットフォームがニーズに最も適しているかを検討してください。 ドメイン名を取得します。一部のプラットフォームでは、パッケージで無料のドメインを提供しています。それ以外の場合は、ほとんどのレジストラから購入できます。 サイトのテーマ/テンプレートを選択します。選択できる無料のテーマがたくさんあります。何かをカスタマイズしたい場合は、デザイナーにお金を払って仕事をしてもらう必要があります. コンテンツを構築します。画像やテキストだけでなく、ビデオや音楽などのその他の機能も追加します。サイトがより整理されるように、いくつかのページも作成します。 ウェブ上で公開する前に、すべてをテストしてください。ブラウザー拡張機能を使用して、クロスプラットフォームの互換性とアクセシビリティを確認します。また、さまざまなブラウザー (Chrome、Edge、Firefox、Safari) で Web サイトをテストしてください。 すべての主要なブラウザで動作することを確認したら、コンテンツを公開してください。 Google がページをクロールして検索結果に表示できるように、検索エンジンの最適化と分析を設定します。こうすることで、ユーザーは関連するキーワードを検索したときにあなたのサイトを見つけてくれます。 あなたのウェブサイトを宣伝して、人々にその存在を知ってもらいましょう。これを行うには、ソーシャル メディアに投稿するか、有料の広告プラットフォームを使用して、確実に見られるようにします。 ChatGPT 3.5 レスポンス はい、10 の簡単なステップで Web サイトを構築できます。どうぞ： Web サイトの目的を決定する: Web サイトの目的と目標を特定します。ブログ、e コマース サイト、ポートフォリオのいずれでしょうか。これは、必要な機能を決定するのに役立ちます。 ドメイン名を選択してください: ドメイン名は、インターネット上の Web サイトのアドレスです。覚えやすく、スペルが簡単で、Web サイトの目的に関連する名前を選択してください。 Web ホスティング サービスを選択する: Web ホスティング サービスは、Web サイトが機能するために必要なサーバー スペースを提供します。信頼できる安全なホスティング プロバイダーを調査して選択します。 Web サイト ビルダーを選択する: Web サイト ビルダーを使用すると、コーディングの知識がなくても Web サイトを作成できます。 WordPress、Wix、Squarespace など、多くのオプションを利用できます。 テンプレートを選択する: ほとんどの Web サイト ビルダーは、選択可能なデザイン済みのテンプレートを提供しています。 Web サイトの目的に合ったテンプレートを選択し、必要に応じてカスタマイズします。 Web サイトをデザインする: ブランドや目的に合った色、フォント、画像を選択して、Web サイトのデザインをカスタマイズします。 コンテンツの作成と整理: 訪問者が簡単にナビゲートして理解できるように、コンテンツを作成して整理します。 機能を追加する: フォーム、ソーシャル メディア共有ボタン、e コマース機能など、必要な機能を Web サイトに追加します。 検索エンジン向けに最適化: 関連するキーワード、メタ タグ、その他の SEO 手法を使用して、ウェブサイトが検索エンジン向けに最適化されていることを確認します。 ウェブサイトを立ち上げる: 準備ができたら、ウェブサイトを立ち上げ、ソーシャル メディア、電子メール、その他のチャネルを通じて宣伝して、トラフィックを促進し、認知度を高めます。 Web サイトの構築は複雑なプロセスになる場合がありますが、これらの簡単な手順に従うことで、ビジネスまたは個人のニーズに合ったプロフェッショナルで効果的な Web サイトを作成できます。 テスト 6: プロムナイト 促す： 私は高校3年生なのですが、どうやってプロムに連れて行ってくれる女の子を見つけられますか? アルパカ/ラマ7B対応 ご両親に助けを求めてください。または、あなたがよく知っている姉/いとこ/友人がいる友人の1人に、彼らの家に招待され、あなたのためにすべての面倒を見てもらうよう依頼してください. chatGPT 3.5 レスポンス AI 言語モデルとして、好みや経験は人それぞれなので、ロマンチックなパートナーを見つけることを推奨したりアドバイスしたりすることはできません。ただし、新しい人と出会い、プロムデートを見つけるためのヒントをいくつか提案できます。 学校の活動に参加する: 学校の活動やクラブに参加することは、同じような興味を持つ新しい人々と出会う素晴らしい方法です。 学校のイベントに参加する: スポーツの試合、ダンス、その他の社交的な集まりなどの学校のイベントに参加して、新しい人に会います。 友達に紹介を求める: あなたと一緒にプロムに行くことに興味があるかもしれない人を知っているかどうか友達に尋ねます. オンライン グループに参加する: 学校や地域に特化したオンライン グループやソーシャル メディアのページに参加して、新しい人に会い、プロのデートを見つけられる可能性があります。 友好的で親しみやすい: 新しく出会った人に対して、オープンで友好的であること。もっと知りたいと思っている人と笑顔でアイコンタクトを取り、会話を始めましょう。 プロムの日付を見つけることがプロムに参加する唯一の理由ではないことを忘れないでください.友達やクラスメートと一緒に祝い、いつまでも心に残る思い出を作るチャンスです。楽しい時間を過ごし、自分らしくいることに集中すれば、潜在的なデートが自然に来るかもしれません. 参考：詳しい説明 アルパカ 7B モデル ダウンロード (Model bin ファイル サイズ: 4017M) curl -o ./models/ggml-alpaca-7b-q4.bin -C - https://ipfs.io/ipfs/QmUp1UGeQFDqJKvtjbSYPBiZZKRjLp8shVP9hT8ZB9Ynv1 注: 速度を上げてストールを回避するために、別の IPFS ゲートウェイを使用してみてください。これは、自分でそれを理解するための小さな宿題になります。 🙂 README に従って LLaMA の cpp バージョンをインストールします。 https://github.com/ggerganov/llama.cpp?s=09 インタラクティブ モードで実行します: ./main -m ./models/ggml-alpaca-7b-q4.bin --color -f ./prompts/alpaca.txt -ins -n 1024
