初心者のための LLM - ウォークスルー ガイドと用語集

これはあなた👆ですか？あなたは CompSci をやったことがないのに、今は法廷道化師になって、世界がこれまでに見たことのない __ 最も急速に変化する業界で急速に知識を拡大しようとしているのですか?

呼吸する。これは、「本当にばかげた質問」をしても、批判されていると感じずに済む基本に立ち返る投稿です。

学習者のための LLM 用語の簡単な用語集

トランスフォーマー— 見た目以上のもの…機械学習、特にテキストやオーディオなどの一連のデータを処理するために使用されるモデルの一種。文章の文脈を理解するのに優れており、言語の翻訳、テキストの要約、チャットボットの応答の生成に使用できます。

大規模言語モデル (LLM) —記事を書いたり、質問に答えたり、現実的な対話を作成したりできる、言語知識の巨大なデータベースのようなものです。

Transformer は、AI で言語を処理するために使用される技術です。 LLM は言語タスク用の大きな AI モデルであり、多くの場合、Transformer テクニックを使用して構築されます。

インターフェイス— ユーザーが操作できるようにするコンピューター システムまたはソフトウェアの一部。これは、質問やコマンドを入力するとプログラムが応答する、プログラムのフロントエンドと考えてください。

推論— AI では、トレーニングされたモデルを使用して予測や決定を行うことを意味します。たとえば、写真の中の猫を認識するようにモデルをトレーニングした後、モデルが新しい写真を見て、そこに猫がいるかどうかを判断するときに推論が行われます。🐈‍⬛

教師あり学習— モデルに答えの例を与えるマシンのトレーニング方法。プログラムにたくさんの猫の写真を見せて、「これは猫です」と教えて、猫がどのようなものかを学習するようなものです。

教師なし学習( heeeyo) — 答えを与えずにマシンをトレーニングします。モデルはデータを調べて、独自にパターンまたはグループを見つけようとします。たとえば、ジャンル名を知らされずに、さまざまな種類の音楽をジャンルに分類する可能性があります。

強化学習— 試行錯誤を通じて機械に教える。機械は状況の中で選択を行い、その選択が良いか悪いかに基づいて報酬やペナルティを受け取り、時間の経過とともにより良い決定を下すように（または憤慨して秘密主義になるように）学習します。

ニューラル ネットワーク— 人間の脳と同じように機能するように設計されています。それは、情報を処理し、問題を解決するために連携して機能する多数の小さな単位 (脳細胞など) で構成されています。

LLM の作成

データの収集

まずは多種多様なテキストデータを収集することから始めましょう。これには、書籍、オンライン記事、データベースのデータなどが含まれる場合があります。データが多様であればあるほど、LLM は言語のさまざまな側面をよりよく理解できるようになります。

Kaggle には、ML およびデータ サイエンス プロジェクト向けの優れたデータがあります。オーストラリアの地元のKaggle グランドマスターである Jeremy Howardをチェックしてください。

GitHub は多くの場合、研究者や開発者によって公開されたデータセットをホストします。探すのに良い場所です。

言及する価値がある- 論文 + 政府サイトに関連するデータセットの Google Scholar

データの前処理

次に、このデータをクリーンアップします。このステップでは、エラーを修正し、役に立たない部分を削除し、AI がそれらから効果的に学習できるように整理します。

考慮事項

欠損値を処理し、書式設定の問題を修正し、重複データをどのように処理しますか?

モデル アーキテクチャの選択

モデル アーキテクチャは本質的にモデルの設計または構造であり、AI が情報を処理する方法をガイドする青写真として機能します。

Transformer アーキテクチャは、データ内のコンテキストを理解することに重点を置き、テキストなどの連続データを処理するように特に調整されており、今日はこれに固執します。

モデルのトレーニング

準備したデータを AI モデルにフィードします。ここで、AI は言語の複雑さを学習し始めます。トレーニングは、特に大量のデータを使用する場合、時間とリソースを消費する可能性があります。 (ここで、 Unslothの仲間について触れたいと思います。ポッドキャストは近日公開予定です)

テストと改良

トレーニング後、AI が言語をどの程度理解し、生成しているかを評価します。結果によっては、パフォーマンスを向上させるために調整と再トレーニングが必要になる場合があります。

LLM の実行

さて、どうやって獣を走らせるのですか？

LLM を最初から構築する代わりに、 Hugging Face を使用して、膨大な量のデータですでにトレーニングされたモデルにアクセスできます。これらのモデルは、クラウド サービス上で実行することも、ダウンロードしてマシン上でローカルに実行することもできます。

どちらの選択をするにしても、重要なのは、トレーニングされた LLM モデルと、インターネット経由かコンピューター上で直接操作する手段を用意することです。

これは、オープンソース AI の理解と導入の障壁を軽減することを目的とした一連の投稿の第 1 部です。

私はここでポッドキャストを書いたり制作したりしています-

(未)教師あり学習

その他のリンクはこちらhttps://linktr.ee/Unsupervisedlearning

ここでも公開されています