AI、分析、データ サイエンスの分野の人に話を聞くと、誰もが合成データこそが未来だと言うでしょう。しかし、「合成データ」の意味を尋ねると、まったく異なる答えが返ってきます。合成データは 1 つのものではなく、複数のユース ケースと定義を持つ幅広いカテゴリだからです。そして、その曖昧さが会話を混乱させます。 それでは、ノイズを排除してみましょう。合成データは、本質的に 2 つの主要な次元に沿って機能します。1 つ目は、既存のデータセットの欠落データの補完から、まったく新しいデータセットの生成までの範囲です。2 つ目は、生データ レベルでの介入と、洞察または結果レベルでの介入を区別します。 これらのディメンションをグラフの軸として想像してください。これにより 4 つの象限が作成され、それぞれが異なるタイプの合成データ ( を表します。それぞれが異なる機能を果たすため、何らかの形でデータを扱う場合は、その違いを知っておく必要があります。  データ補完、ユーザー作成、インサイト モデリング、および製造された結果) データ補完: 空白を埋める データ補完は真の意味での合成データではないと主張する人もいるかもしれませんが、現代の補完技術は単純な平均値や中央値の置換を超えて進化しています。今日、高度な補完では機械学習と生成 AI モデルを活用し、生成される値はこれまで以上に洗練され、文脈的に関連性のあるものになっています。 データ補完は、 と の交差点に位置します。つまり、ギャップのある既存のデータセットを扱い、妥当な値を生み出してギャップを埋めることが目標です。他の種類の合成データとは異なり、補完はまったく新しい情報を作成することではなく、不完全なデータをより使いやすくすることです。 欠損データ 生データ介入 メディアの有効性調査を実施している市場調査会社では、アンケートの回答が欠落しているために視聴者の反応データに欠落が生じることがあります。不完全なデータセットを破棄する代わりに、統計モデリングや機械学習などの補完技術を使用すると現実的な推定値を生成できるため、アナリストは引き続きデータから有意義な洞察を引き出すことができます。 例: ユーザーの作成: 偽の人物、本物の洞察 ユーザー作成は、 と の間にあります。このアプローチでは、既存のデータを変更するのではなく、まったく新しいユーザー プロファイルと動作を作成します。実際のユーザー データが利用できない、機密性が高い、または人工的にスケーリングする必要がある場合に特に便利です。 新しいデータの生成 生データの介入 ユーザーの作成は、製品のテスト、セキュリティの向上、AI モデルのトレーニングに大きな変化をもたらします。 ストリーミング サービスは、実際の顧客データを公開せずに推奨エンジンをテストするために、合成ユーザー プロファイルを作成する場合があります。サイバー セキュリティ企業も同様のことを行って、攻撃シナリオをシミュレートし、不正検出システムをトレーニングします。 例: インサイトモデリング: プライバシーリスクのないパターン インサイト モデリングは、 と 交差点で機能します。生のデータ ポイントを操作する代わりに、実際のレコードを公開せずに現実世界のデータの統計的特性を保持するデータセットを作成します。そのため、プライバシーに配慮したアプリケーションに最適です。 既存のデータ インサイト レベルでの介入の また、インサイト モデリングにより、研究者は既存のデータセットからインサイトを拡張することもできます。特に、大規模なデータの収集が現実的でない場合に有効です。これは、データ収集が面倒でコストがかかるマーケティング調査では一般的です。ただし、このアプローチには、実際のトレーニング データの強固な基盤が必要です。 コピーテストを実施する市場調査会社は、インサイト モデリングを使用して規範データベースを拡張できます。収集された調査回答のみに頼るのではなく、既存の規範データからパターンを推定する合成インサイト モデルを生成できます。これにより、ブランドは新しい調査回答を継続的に収集することなく、より広範で予測力の高いデータセットに対してクリエイティブなパフォーマンスをテストできます。 例: 結果の捏造: データがまだ存在しないとき 製造された成果は、 と の両方の極端な端に位置します。このアプローチでは、AI のトレーニング、モデリング、シミュレーションに不可欠な、まだ存在しない環境やシナリオをシミュレートするために、まったく新しいデータセットをゼロから生成します。 新しいデータ生成 洞察レベルの介入 必要なデータが存在しない、または現実世界で収集するにはコストがかかりすぎたり危険だったりする場合もあります。そこで Manufactured Outcomes の出番です。このプロセスでは、まったく新しいデータセットを生成し、多くの場合、再現が難しい環境で AI システムをトレーニングします。 自動運転車の企業は、歩行者が突然信号無視をするなどの合成道路シナリオを生成し、実際の運転映像ではあまり見られない、まれではあるが重大な状況について AI をトレーニングします。 例: 合成データのリスクと考慮事項 合成データは強力なソリューションを提供しますが、リスクがないわけではありません。合成データの種類ごとに、データの品質、信頼性、倫理的使用に影響を与える可能性のある独自の課題があります。以下に、留意すべき重要な懸念事項をいくつか示します。 代入、インサイト モデリング、または製造された結果に使用される基礎データにバイアスが含まれている場合、それらのバイアスは強化されたり、増幅されたりする可能性があります。 バイアスの伝播: ユーザーの作成とデータの製造により、現実的に見えるデータが生成される可能性がありますが、実際のユーザー行動や市場状況のニュアンスを捉えることはできません。 現実世界の代表性の欠如:  Insights モデリングは、不適切に適用された場合、トレーニング セットと近すぎるデータを作成し、誤解を招く結論につながる可能性があります。 過剰適合と誤った自信: エンジニアリングによって実際の個人を特定できる場合、GDPR や CCPA などのプライバシー法は合成データにも適用されます。 規制と倫理上の懸念: リバース 合成データを評価する際に尋ねるべき重要な質問 合成データが品質基準を満たしていることを確認するには、次の質問を考慮してください。 合成データの基礎を理解することは、潜在的なバイアスや制限を評価するのに役立ちます。 元のデータのソースは何ですか? 機械学習、統計モデル、ルールベースのシステムなど、さまざまな方法が合成データの信頼性に影響を与えます。 合成データはどのように生成されましたか? 生成されたデータが実際のデータを単に複製するのではなく、実際のデータと同様に動作することを確認します。 合成データは現実世界のデータの統計的整合性を維持していますか? 信頼性の高い合成データには検証メカニズムが備わっている必要があります。 合成データは監査または検証できますか? データが合成されているからといって、プライバシー規制が免除されるわけではありません。 規制および倫理ガイドラインに準拠していますか? 合成データは、その基となる現実世界のデータと同じ品質でしか提供されません。基礎となるデータセットを継続的に更新するプロセスを確保することで、モデルが古くなり、現在の傾向と一致しなくなるのを防ぐことができます。 基礎となるデータ モデルを更新するプロセスはありますか? まとめ 合成データは幅広い用語であり、AI、分析、またはデータ駆動型の分野で作業している場合は、どのような種類のデータを扱っているかを明確にする必要があります。欠落しているデータを埋める (代入)、テスト ユーザーを作成する (ユーザー作成)、匿名化されたパターンを生成する (インサイト モデリング)、またはまったく新しいデータセットをゼロから構築する (製造された結果) のでしょうか。 これらはそれぞれ、データの使用方法と保護方法において異なる役割を果たしており、これらを理解することは、急速に進化する AI とデータ サイエンスの世界で情報に基づいた意思決定を行うための鍵となります。次に誰かが「合成データ」という言葉を口にしたら、次のように尋ねてみてください。「どの種類ですか?」

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

長すぎる; 読むには

Get Free Unlimited IP Geo Data With IPinfo Lite

AI業界の誰もが合成データを好むが、それが何なのかについては誰も同意できない

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

暗号通貨の成長: 効果的なユーザーペルソナの作成

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

暗号通貨の成長: 効果的なユーザーペルソナの作成

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps

AI業界の誰もが合成データを好むが、それが何なのかについては誰も同意できない

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon ライティング コンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

暗号通貨の成長: 効果的なユーザーペルソナの作成

AI/ML データレイクのリファレンス アーキテクチャを構築するためのアーキテクト ガイド

HackerNoon ライティング コンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

暗号通貨の成長: 効果的なユーザーペルソナの作成

AI/ML データレイクのリファレンス アーキテクチャを構築するためのアーキテクト ガイド

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド