機械学習プロジェクトのデータ収集は非常に骨の折れる作業です。時間と手間がかかり、費用もかかると言いましたか?データ収集のコストが法外に高額になる可能性があるため、一部の機械学習プロジェクトが開始すらされないのは不公平です。 データ取得にコストがかかるはずがないにもかかわらず、なぜそれほどコストがかかるのかを見てみましょう。人件費、インフラストラクチャ、品質管理、前処理、データ クリーニング、倫理的配慮などのコストは、関連するコスト セグメントのほんの一部です。 データ収集コスト。 これらのセグメントをスキップすることは決して良い考えではありませんが、問題は、データ収集の各ステップを可能な限り効率的にすることでコストを削減できるということです。 私たちは、戦略に単なるコスト削減以上のものが含まれていることを確認する必要があります。また、収集しているデータが高品質であることを確認する必要もあります。 まずは、品質を優先することが費用対効果の高いデータセット収集にどのように役立つかを検討してみましょう。   1. 量よりも質を優先する 機械学習モデルの開発プロセスは、トレーニング データセットを収集することから始まります。トレーニング データを収集するプロセスは 1 回限りではありません。むしろ、画期的な AI ソリューションを開発する全期間を通じて、繰り返し行うことができます。 モデルをテストしているときに、どのシナリオでもモデルの効率が標準に達していない場合は、そのシナリオに合わせてモデルをトレーニングするために、その場合は新しい、より具体的なデータを収集する必要があります。 データ収集のコストを下げるために、私たちの戦略は、新しいデータセットの繰り返しの収集を減らすことである必要があります。さて、「多ければ多いほど良い」という格言は、次の点に注意を払わずにトレーニング データセットのコレクションに適用することはできません。 。 データセットの品質 また、データセットのサイズがトレーニング データ収集の総コストに直接影響することは明らかです。 大量のトレーニング データを収集するには、特にデータにラベルや注釈を付ける必要がある場合、費用と時間がかかる場合があります。ただし、たとえ小規模なデータセットであっても、高品質のデータを収集することは、トレーニング データ収集の全体的なコストを削減するのに実際に役立ちます。 まず、高品質のデータを収集することで、機械学習モデルのパフォーマンスを向上させない可能性のある冗長なデータや無関係なデータの収集を回避できます。その結果、大量のデータの収集、保存、管理にかかるコストが削減されます。 次に、高品質のデータは、データのクリーニングと前処理にかかる時間とコストの削減に役立ちます。データの信頼性と一貫性があれば、機械学習モデルで使用するためのデータのクリーニングと準備が簡単になります。 第三に、高品質のデータセットにより機械学習モデルのパフォーマンスが向上し、追加のトレーニング データの要件が軽減されます。 その結果、モデルの欠点を補うために追加のデータを収集する必要がなくなり、データ収集の全体的なコストの削減に役立ちます。 理想的なケースでは、データ収集プロセスの品質に関して何を期待しているのかを明確にする必要があり、その後、質と量の最適なバランスを見つけることで、全体のコストが大幅に削減されます。  2. 人間参加型の活用 データ収集を可能にするのは人々です。ユースケース、複雑さ、量に応じて、データを収集するためにさまざまな場所から人材を派遣する必要があります。データ収集の際、ほとんどの費用がここに費やされます。 高品質のデータセットを取得するために群衆に対処するときの最初のステップは、目の前のタスクに従って資格と知識のある群衆を採用することです。 ドイツ語の会話音声データが必要な場合は、すでに同様のプロジェクトに取り組んだ経験があるドイツ語を母国語とする人々のオンボーディングに重点を置く必要があります。 彼らは経験があるという理由だけで、お客様の要件を容易に理解し、高品質のデータセットを収集する際にさらに役立ちます。 それとは別に、すべてのデータセット要件は何らかの点で独特であり、一部のデータセット要件は特に複雑になる場合があります。 このような状況では、お金と時間を節約するために、時間をかけて適切なガイドラインとトレーニング資料を作成することを強くお勧めします。 説明書やトレーニング資料が母国語で書かれていると有益です。 ガイドラインが最初から明確であれば、それに関する従業員のトレーニングが簡単になり、データプロバイダーへの信頼を高めることができます。これにより、ガイドラインに関して混乱が生じた場合に何度もやり取りする必要がなくなり、最終的には時間と費用がさらに節約されます。 明確な期待を設定することで、投稿者の仕事への満足度が向上し、仕事を辞める可能性が低くなります。これにより、新しい人材の発掘とオンボーディングにかかるコストと時間が削減されます。 理想的なガイドラインには、参加者に対して明確な承認基準と拒否基準があり、何をすべきか、何をすべきでないのかが明確に理解できる必要があります。これにより、拒否反応ややり直しが大幅に減り、最終的には時間とコストが節約されます。   3.転移学習を採用する 事前トレーニングされたモデルは、転移学習として知られる機械学習手法を使用して、少ないトレーニング データで新しいタスクに再利用されます。転移学習では、収集してラベルを付ける必要がある新しいデータの量を減らすことで、トレーニング データセットの収集コストを削減できます。 従来の機械学習モデルでモデルをゼロからトレーニングするには、大量のラベル付きデータが必要です。しかし、転移学習を使用すると、プログラマはすでにトレーニングされ、大規模なデータセットから一般的な特徴を抽出したモデルから始めることができます。 開発者は、以前にトレーニングしたモデルを、より小規模なタスク固有のデータセットで微調整することで、新しいタスクに優れたモデルを迅速かつ効果的にトレーニングできます。 企業が写真内のオブジェクトを見つけるための機械学習モデルを作成しているとします。次のような事前トレーニングされたモデルを使用できます。 また  、大規模な画像データセットを最初から収集してラベル付けするのではなく、大規模な画像データセットから一般的な特徴をすでに学習しています。 レスネット VGG 事前トレーニングされたモデルは、産業機器や医療機器の写真など、ユースケースに関連する画像のより小さなデータセットを使用して微調整できます。 ビジネスでは、転移学習を利用することで、一流の機械学習モデルを作成しながら、収集してラベル付けする必要がある新しいデータの量を大幅に削減できます。 既存のデータセットを活用することは、転移学習がトレーニング データ収集のコストを削減するのに役立つもう 1 つの方法です。たとえば、開発者は、関連分野で取り組んでいる新しい機械学習プロジェクトの開始点として、以前のプロジェクトのデータセットを使用できます。 結論として、転移学習は機械学習におけるトレーニング データを取得するコストを削減する効果的な方法です。 開発者は、事前トレーニングされたモデルと既存のデータセットを利用することで、新しいタスクに優れた高品質の機械学習モデルを生成しながら、収集してラベル付けする必要がある新しいデータの量を大幅に削減できます。 転移学習の実装を決定することは、次のような多数の制限があるため、難しく、重要な場合があります。 主要な関心事ではないタスク用に事前トレーニングされたモデルがすでに作成されている場合、微調整は有益ではない可能性があります。 タスクに関連する疎なデータセットまたは無関係なデータセットを使用してモデルが開発された場合、 発生する可能性があります。 過学習が 事前トレーニングされたモデルが非常に大きく、多くの計算リソースを必要とする場合、微調整は計算コストが高くなる可能性があります。   4. 既製のデータセットを探索する 大規模なデータセットを扱う場合、新しいデータセットを最初から始めるのは大変な作業になる可能性があります。この状況では、既成のデータセット、または既製 (OTS) データセットを使用することが賢明な選択となる可能性があります。 ニーズを満たすオープンソースのトレーニング データセットを見つけると、時間とお金を節約できます。 要件を満たす完全に構造化されたデータセットをオープンソースで見つけることは非常にまれですが、それが信頼性の高い AI ソリューションの開発をサポートするのに十分な多様性と代表性を備えているという保証はありません。 既製のデータセットを取得するもう 1 つのオプションは、FutureBeeAI などの組織から商用ライセンスを取得することです。 FutureBeeAI には、以下を含む 2,000 を超えるトレーニング データセットのプールがあります。 、画像、ビデオ、テキスト データセット。 スピーチ 必要なデータセットがすでに作成されている可能性が高くなります。 この事前に作成されたデータセットは、収集時間を短縮するだけでなく、群衆を管理する煩わしさから解放され、AI ソリューションの拡張にも役立ちます。  OTS データセットを選択すると、企業はすでに必要な倫理的予防措置をすべて講じているため、コンプライアンスを遵守することが非常に簡単になります。 適切なパートナーを見つけて、適切な既製のデータセットを購入することは、非常に経済的なソリューションとなります。   5. ツールを使用して自動化する これまでの議論から、データ収集のコストを削減する唯一の方法は、これらの小規模だが重要なタスクをそれぞれ実行する最も効果的な手段を見つけることであることは明らかです。このような状況では、最先端のツールを使用すると非常に役立ちます。 データ準備のコストは、私たちが注目すべきもう 1 つの要素です。データセットを収集後に展開できるようにするには、適切なメタデータとグラウンド トゥルースが必要です。 このメタデータを手動で生成すると、時間がかかり、エラーが発生しやすい作業になる可能性があります。データ収集ツールを使用すると、メタデータの作成を自動化し、構造化データセットの収集を高速化できます。 さらに、適切なツールを使用せずにデータを収集すると、収集時間が長くなり、コストが高くなり、データ収集者のストレスが生じるだけです。データ収集ツールを使用すると、手順が大幅に短縮され、総時間を短縮できます。 これにより、参加者のデータ収集タスク全体が容易になり、全体の予算を削減できます。   6. データの拡張 「データ拡張」のプロセスには、新しいトレーニング データを作成するために既存のデータにさまざまな変換を適用することが含まれます。この手法により、開発者はより小さなデータセットからより多くのデータを生成できるようになり、機械学習のためのデータ収集の全体的なコストの削減に役立ちます。 集まった場合を考えてみましょう 。データ拡張を使用すると、次のようにトレーニング データセットの全体のサイズを拡張できます。 ASR モデルの音声データ ホワイト ノイズ、ピンク ノイズ、バブル ノイズなど、さまざまな種類のノイズを追加します。 ノイズの挿入: 音声信号に室内音響を追加することで、さまざまな室内環境をシミュレートできます。 環境シミュレーション: 信号の周波数を増減して音声信号のピッチを変更します。 ピッチシフト:   オーディオ信号の速度を増減して音声信号の速度を変更します。 Speed Perturbation: このような変換により、データセットのサイズを拡張し、機械学習モデルのトレーニング用のデータを追加できるようになります。ここでは、オリジナルのラベルを転写できるため、コストの節約にもなります。 お金と時間を節約するだけでなく、追加データの必要性が減り、利用可能なデータセットを使用してモデルのパフォーマンスが向上します。 データ拡張は強力なツールですが、複雑なツールでもあります。適切に行われない場合、多くの結果が生じます。多くの同様のデータ ポイントを含むデータセットは、その積極的な採用によって生じる可能性があり、データセットでトレーニングされたモデルを過剰適合させる可能性があります。 一言で言えば、専門知識に依存する作業であり、慎重に取り組む必要があります。  7. 倫理的および法的配慮 機械学習の分野では、トレーニング データセットに関する法的考慮事項が非常に重要です。 不適切に調達された、偏った、または差別的なトレーニング データセットに基づいて機械学習モデルを開発および展開すると、法的、倫理的、評判に重大な影響を与える可能性があります。 一般データ保護規則 (GDPR) やカリフォルニア州消費者プライバシー法 (CCPA) など、いくつかのデータ プライバシー法が個人データの収集と使用を規制しています。これらの規制は、個人データの収集、取り扱い、保管に関する正確な指示を提供します。 これらの規則が無視された場合、罰則や法的影響が生じる可能性があります。 専有データや著作権で保護されたデータを扱う場合は、知的財産法を遵守することが不可欠です。そうしないと、法的措置が取られる可能性があります。このような法的紛争は、 最近明らかになった。   生成 AI 企業とアーティスト さらに、次のようなデータセットをコンパイルすることが重要です。 、誰に対しても公平であり、国民の代表です。モデルが特定のグループに対して偏見または差別的である場合、法的措置や風評被害が発生する可能性があります。   公平な 個人データを収集する前に、遵守する必要があるすべてのコンプライアンス要件を確認することをお勧めします。理想的な収集では、データの投稿者が、共有しているデータの種類と、そのデータの潜在的な用途を認識していることを確認します。 データプロバイダーは、最悪の場合の結果についても認識しておく必要があります。さらなる問題を防ぐために、データ収集手順が合意に基づいていることを確認し、各データプロバイダーから書面による同意を取得することを含めてください。損失を避ければお金が節約できるということを忘れないでください。 元の公開場所 -  futurebeeai.com

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Supercharge data sourcing and data preparation at 5x faster rate

Start Humanizing AI

このオーディオは、ストーリーの元の言語で制作されています。

トレーニングデータの取得コストを削減する 7 つの戦略

About Author

コメント

ラベル

この記事は

Related Stories

Telegram: クリプト島と本土を結ぶ橋

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

Telegram: クリプト島と本土を結ぶ橋

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps

トレーニング データの取得コストを削減する 7 つの戦略