これはあなた👆ですか？あなたは CompSci をやったことがないのに、今は法廷道化師になって、世界がこれまでに見たことのない __ で急速に知識を拡大しようとしているのですか? 呼吸する。これは、「 をしても、批判されていると感じずに済む基本に立ち返る投稿です。 最も急速に変化する業界 本当にばかげた質問」 学習者のための LLM 用語の簡単な用語集 — 見た目以上のもの…機械学習、特にテキストやオーディオなどの一連のデータを処理するために使用されるモデルの一種。文章の を理解するのに優れており、言語の翻訳、テキストの要約、チャットボットの応答の生成に使用できます。 トランスフォーマー 文脈 記事を書いたり、質問に答えたり、現実的な対話を作成したりできる、言語知識の巨大なデータベースのようなものです。 大規模言語モデル (LLM) — Transformer は、AI で言語を処理するために使用される技術です。 LLM は言語タスク用の大きな AI モデルであり、多くの場合、Transformer テクニックを使用して構築されます。 — ユーザーが操作できるようにするコンピューター システムまたはソフトウェアの一部。これは、質問やコマンドを入力するとプログラムが応答する、プログラムのフロントエンドと考えてください。 インターフェイス — AI では、トレーニングされたモデルを使用して予測や決定を行うことを意味します。たとえば、写真の中の猫を認識するようにモデルをトレーニングした後、モデルが新しい写真を見て、そこに猫がいるかどうかを判断するときに推論が行われます。🐈⬛ 推論 — モデルに答えの例を与えるマシンのトレーニング方法。プログラムにたくさんの猫の写真を見せて、「これは猫です」と教えて、猫がどのようなものかを学習するようなものです。 教師あり学習 — 答えを与えずにマシンをトレーニングします。モデルはデータを調べて、独自にパターンまたはグループを見つけようとします。たとえば、ジャンル名を知らされずに、さまざまな種類の音楽をジャンルに分類する可能性があります。 ( 教師なし学習 heeeyo) — 試行錯誤を通じて機械に教える。機械は状況の中で選択を行い、その選択が良いか悪いかに基づいて報酬やペナルティを受け取り、時間の経過とともにより良い決定を下すように（ 学習します。 強化学習 または憤慨して秘密主義になるように） — 人間の脳と同じように機能するように設計されています。それは、情報を処理し、問題を解決するために連携して機能する多数の小さな単位 (脳細胞など) で構成されています。 ニューラル ネットワーク LLM の作成 データの収集 まずは多種多様なテキストデータを収集することから始めましょう。これには、書籍、オンライン記事、データベースのデータなどが含まれる場合があります。データが多様であればあるほど、LLM は言語のさまざまな側面をよりよく理解できるようになります。 Kaggle には、ML およびデータ サイエンス プロジェクト向けの優れたデータがあります。オーストラリアの地元の をチェックしてください。 Kaggle グランドマスターである Jeremy Howard 多くの場合、研究者や開発者によって公開されたデータセットをホストします。探すのに良い場所です。 GitHub は 言及する価値がある - 論文 + 政府サイトに関連するデータセットの Google Scholar データの前処理 次に、 このステップでは、エラーを修正し、役に立たない部分を削除し、AI がそれらから効果的に学習できるように整理します。 このデータをクリーンアップします。 考慮事項 欠損値を処理し、書式設定の問題を修正し、重複データをどのように処理しますか? モデル アーキテクチャの選択 モデル アーキテクチャは本質的にモデルの設計または構造であり、AI が情報を処理する方法をガイドする青写真として機能します。 Transformer アーキテクチャは、データ内のコンテキストを理解することに重点を置き、テキストなどの連続データを処理するように特に調整されており、今日はこれに固執します。 モデルのトレーニング 準備したデータを AI モデルにフィードします。ここで、AI は言語の複雑さを学習し始めます。トレーニングは、特に大量のデータを使用する場合、時間とリソースを消費する可能性があります。 (ここで、 の仲間について触れたいと思います。ポッドキャストは近日公開予定です) Unsloth テストと改良 トレーニング後、AI が言語をどの程度理解し、生成しているかを評価します。結果によっては、パフォーマンスを向上させるために調整と再トレーニングが必要になる場合があります。 LLM の実行 さて、どうやって獣を走らせるのですか？ LLM を最初から構築する代わりに、 使用して、膨大な量のデータですでにトレーニングされたモデルにアクセスできます。これらのモデルは、クラウド サービス上で実行することも、ダウンロードしてマシン上でローカルに実行することもできます。 Hugging Face を どちらの選択をするにしても、重要なのは、トレーニングされた LLM モデル 用意することです。 と、インターネット経由かコンピューター上で直接操作する手段を これは、オープンソース AI の理解と導入の障壁を軽減することを目的とした一連の投稿の第 1 部です。 私はここでポッドキャストを書いたり制作したりしています- (未)教師あり学習 その他のリンクはこちら https://linktr.ee/Unsupervisedlearning でも公開されています ここ
