: 。現在は米国の Pro ユーザーのみが利用できますが、まもなく世界中で利用できるようになります。🌍 🚨 速報 OpenAI は、独自のブラウザを使用してタスクを実行できる AI 搭載エージェント Operator をリリースしました すごいですよね?でもちょっと待ってください。ウェブサイトが反発しないなんてあり得ないですよね?🤔 IP 禁止、ブラウザ フィンガープリント、TLS フィンガープリント、そしてもちろん CAPTCHA などの現在の 、OpenAI の新しいツールに追いつくのでしょうか? ボット対策技術は では、複雑な自動ボットとボット対策防御の戦いで本当に勝っているのは誰でしょうか? 続きを読んで確かめてください! 🔥 LLM モデルとオンライン データ: 不安定な関係 LLM モデルが初めて市場に登場したとき、それはまさに革命でした。職場での日常的なタスクへの取り組み方は永久に変わり、株式市場は興奮して反応し 🚀、誰もが AI の波に乗りました (ほとんどのオンライン製品の背後にはまだ AI がなかったにもかかわらず)。 本物の いつものように、当初の熱狂はやがて薄れ、いくつかの重要な疑問が浮上し始めました。LLM が魔法で動いているわけではないことを知るために、機械学習エンジニアや Kaggle のグランドマスターである必要はありません (ちなみに、 ! 😉)。LLM を 。 私たちはそこにもいます トレーニングするには 大量のデータが 必要です では、そのデータはどこから来るのでしょうか? 答えは簡単です: 🌍 Web です! ウェブは地球上で最大のデータソースなので、 たのも不思議ではありません。そして、ウェブ スクレイピングが倫理的に行われている限り、何も問題はありません 🤷。 OpenAI のような企業が画期的な技術を訓練するために必要なデータを収集するために何年もインターネットをスクレイピングしてき : に関する弊社の記事を読んで、このトピックを深く理解してください。 プロのヒント AI Web スクレイピングの時代に倫理的かつ合法的に行動する方法 しかし、ここに落とし穴があります。 😠 ほとんどのサイト所有者は、AI 企業が自分のデータを使用することを快く思っていません! 結局のところ、データはお金に等しいのです💰。 「 」という記事を発表してから数年が経ちました。ですから、正直なところ、これ以上説明する必要はありません。 エコノミスト誌が 世界で最も価値のある資源はもはや石油ではなく、データである つまり、データを無料で配布することは、基本的に現金を配るのと同じです💸。サイト所有者、特に大企業が、そのことにあまり乗り気でないのも不思議ではありません。😅 状況が進化し、新しい AI オペレーターやツールが登場しつつある今、ウェブサイトはそれに 不満を抱き始めているかもしれません。😬 非常に AIオペレーター対ウェブサイト:この困難な関係の次の段階 OpenAI は に関する記事で次のように述べています。 Operator の仕組み 「Operator は、 (CUA) と呼ばれる新しいモデルを搭載しています。GPT-4 の視覚機能と強化学習による高度な推論を組み合わせることで、CUA は、画面に表示されるボタン、メニュー、テキスト フィールドなどのグラフィカル ユーザー インターフェイス (GUI) と対話するようにトレーニングされます。」 Computer-Using Agent OpenAI のような AI 企業はこれまでも、モデルをトレーニングするために一般的なソースからデータを収集するスクレイピング ボットを構築してきましたが、今ではユーザーに「魔法のように」ウェブサイトとやり取りしたりナビゲートしたりできるツールを提供していることは明らかです。これはワクワクすると同時に恐ろしいことでもあります! 😱 プレゼンテーション ビデオで OpenAI の Operator の動作をご覧ください。 https://www.youtube.com/watch?v=gYqs-wUKZsM&embedable=true 再び、公式プレゼンテーション記事から引用します。 「Operator は、ブラウザを「見る」(スクリーンショットを通じて)および「対話する」(マウスとキーボードで可能なすべてのアクションを使用)ことができるため、カスタム API 統合を必要とせずに Web 上でアクションを実行できます。 問題に遭遇したり間違いを犯したりしても、Operator は推論機能を活用して自己修正することができます。行き詰まり、支援が必要になったときは、ユーザーに制御を戻すだけで、スムーズで協力的な体験が保証されます。」 これは非常に有望ですが、深刻な懸念も生じます。🤔 ユーザーが悪意のある目的で Operator を悪用し始めたらどうなるでしょうか? ボット (YouTube に溢れるスパムコメントなど) にはうんざりしていますが、これはすぐに大きな問題に発展する可能性があります。⚠️ OpenAI が、Operator が有害または望ましくないアクションを実行できないようにすることに成功したと仮定すると (ChatGPT が危険な質問に答えないようにしたのと同じように)、ほとんどの Web サイトがこの種の新しい自動化された AI を活用したインタラクションを歓迎すると本当に確信できるでしょうか? 🤖 AIオペレーターの仕組み 未解決の大きな疑問に踏み込む前に、まずはどのようなやり取りを扱っているのかを明確にしましょう。結局のところ、これらの新しい AI オペレーターが私たちが考えているほど効果的でないのであれば、そもそもなぜそれらから保護する必要があるのでしょうか? 👀 ボット対策は冗談ではありません。強力なボット対策ソリューションで知られる WAF ( ) プロバイダーのリーダーである Cloudflare などの企業は、 。🤑 Web アプリケーション ファイアウォール 常に先頭に立つために毎年何百万ドルもの資金を研究開発に費やしています 現在、 ので、誰もがテストする機会があったわけではありません。しかし、テストした人にとってはどうでしょうか?結果は素晴らしいものです!🤯 OpenAIのOperatorにアクセスできるのは、ChatGPT Proの最高レベルのサブスクリプションプランに月額200ドルを支払っている米国のユーザーのみな 初期のユーザーと 次のような日常的なタスクの自動化において OpenAI が優れていると感じました。 技術レビュー担当者は、 食べ物を注文する(はい、どのレストランから注文するかを選択するなどの決定を自動的に行うこともできます🍔) 一部のソーシャルメディアプラットフォームでユーザーに返信する 報酬を得るためにアンケートに答えるなど、小さなオンラインタスクを完了する どうしてそれが可能なのでしょうか? Operator はミニブラウザウィンドウを開き、通常のユーザーと同じようにテキストプロンプトに基づいてタスクを完了します。 https://www.youtube.com/watch?v=CSE77wAdDLg&embedable=true もちろん、製品はまだ「リサーチプレビュー」の段階にあり、完璧ではありません。時々、製品に刺激を与えたり、失敗のループから救い出す必要があるでしょう。 が、この段階でもこの技術がすでに ことは否定できません。たとえば、 。 Reddit ユーザーの中には、特に価格の高さを理由に不満を述べる人もいます 並外れている 飛行機の予約をする様子をご覧ください ➡️ 本当の疑問は、ウェブサイトは AI を活用した自動化を歓迎するのか、それとも反撃するのか?もし反撃するとしたら、どのように反撃するのか?⚔️ ウェブサイトはいかにして AI に対抗しているか 目新しいものではありません。多くのサイトでは、自動スクリプトによるデータのスクレイピングやページとのやり取りからサイトを保護するために、長年にわたりこれらのソリューションを使用しています。🚫 ボット対策やスクレイピング対策のソリューションは これらの方法についてご興味がおありの場合は、高度なボット対策技術に関する弊社のウェビナーをご覧ください。 https://www.youtube.com/watch?v=RArxdFeijd4&embedable=true すでにご存知かもしれませんが、特に ご覧になったことがあれば、ここでは次のことをお話します。 高度な Web スクレイピングに関するシリーズを : 過負荷を防ぐために、一定時間内のユーザーからのリクエスト数を制限します。IP ことで機能します。 レート リミッター を禁止する : ブラウザの暗号化された接続の固有の特性を追跡してボットを識別する方法。Web の役割について説明します。 TLS フィンガープリンティング スクレイピングにおける TLS フィンガープリンティング : 自動化ツールを見つけるために、固有のデバイスまたはブラウザの属性を検出する手法。 ブラウザ フィンガープリンティング これらの初期防御は、自動化ツール(AI オペレーターなど)からのリクエストを、サイトにアクセスする前にブロックすることに重点を置いています 🛡️。 これらの防御が失敗した場合は、他の技術が役立ちます。例としては、 ユーザー行動分析、 、CAPTCHA などがあります。 JavaScript チャレンジ CAPTCHA は、人間にとっては簡単に解読できるが、ボットにとっては解読が困難になるように設計されているため、特に効果的です。 しかし、AI が賢くなり、より人間のように考えるようになると、ボットを認識することが難しくなります。そのため、 などの突飛なアイデアが提案されています。🎮 ビデオゲームを CAPTCHA として使用する しかし、本当の疑問は、CAPTCHA は AI オペレーターに対する究極の解決策であるかどうかです。詳しく調べてみましょう! 💡 CAPTCHA の解決: AI オペレーターは本当にシステムを打ち負かすことができるのか? : いや、そうでもないけど…🙅♂️ TL;DR OpenAI Operator がテスト用に市場に登場して以来、ユーザーはソーシャル メディアへのログインやフォームへの入力など、CAPTCHA を必要とするタスクの完了にこれを利用しています。 しかし、OpenAI の に記載されているように、人間の介入は依然として必要です。 Computer-Using Agent プレゼンテーション ページ 「CUA はほとんどの手順を自動的に処理しますが、ログイン詳細の入力や CAPTCHA フォームへの応答など、機密性の高い操作についてはユーザーの確認を求めます。」 確かに、AI の推論エンジンが CAPTCHA 🥷 をすり抜けることもあるが、ほとんどの場合、 、その結果は滑稽であると同時に苛立たしいものとなる。Reddit でテストしたところ、ボット対策によって繰り返しシャットダウンされた。 それは惨めに失敗し 、Google マップ、Amazon、G2 AIオペレーターがCAPTCHAに失敗する様子を見るのは、バイラルトレンドとなっている。ログイン試行で手探りで進むこれらのAIツールのビデオがRedditやXに溢れている。 https://x.com/kevinroose/status/1882885941033095271?mx=2&embedable=true 同様の不満を認めています。OpenAI 。 他の技術レビュアーも Operator はほとんどの CAPTCHA でブロックされます 一方で、これは安心できることです。CAPTCHA は役割を果たし、自動化されたボットが大混乱を引き起こすのを阻止しています。その一方で、 。ボット対策技術と AI オペレーターは進化し続け、交互に一歩先を行くことになります。 私たちは猫とネズミのゲーム 🐁 🐈 の中にいます 本当の敗者は?一般ユーザーです!CAPTCHA を導入するサイトが増えると、誰にとってもブラウジングが苦痛になるでしょう。正直に言うと、私たちは皆 CAPTCHA が嫌いです。😩 この戦いは AI オペレーターだけに影響を与えるのではなく、倫理的な Web スクレイパーも巻き込まれています。サイトがボット対策を強化するにつれて、正当なスクレイピング スクリプトが不当にブロックされ、 。 研究者、企業、開発者によるデータ抽出が困難になります 幸いなことに、CAPTCHA やその他のボット対策の悪夢に悩まされる 、プログラムでサイトとやりとりするより良い方法があります。 。 ことなく それが Scraping Browser です 本当の勝者は? Bright Data のスクレイピング ブラウザです。 OpenAI Operator は、他のブラウザ自動化ツールと同様に、通常のブラウザを自動化します。しかし、CAPTCHA を含むほとんどのボット対策技術は、自動化自体が で表示されるわけではありません。 表示されます。 原因 ブラウザの設定方法によって ほとんどのブラウザ自動化ライブラリは、ブラウザを自動化されたものとして設定するため、「通常の」ブラウザを使用する目的が完全に失われます。そこで、アンチボット システムが介入してアクセスをブロックします。🚫 AI が CAPTCHA を回避できるかどうかに焦点を当てるのではなく、真のゲームチェンジャーは、適切なブラウザ、 ブラウザを使用することです。まさにここで、次の機能を備えた 出番です。 つまりスクレイピングと自動化に最適化された Bright Data の Scraping Browser の 検出を回避するための 信頼性の高いTLSフィンガープリント 大規模データ抽出のための 無制限のスケーラビリティ 7,200万のIPプロキシネットワークを搭載した 組み込みIPローテーション 失敗したリクエストを処理するための 自動再試行 AIオペレーターを上回る 🧠 CAPTCHA解読の超能力 驚くことではありませんが、 OpenAI の Operator よりもはるかに効果的です。なぜでしょうか? 処理した同じチームによる長年の開発によって支えられているからです。⚡ スクレイピング ブラウザに組み込まれた CAPTCHA ソルバーは、 最近の SEO データ障害を数分で Bright Data の CAPTCHA ソルバーは、以下に対して効果があることが証明されています。 reCAPTCHA ✔️ (そうです、上のツイートで OpenAI Operator が解決できなかったもの) hキャプチャ✔️ px_captcha ✔️ シンプルなキャプチャ✔️ GeeTest キャプチャ ✔️ ...そして、他にもたくさんあります! だけでなく、表示された場合でも 。🔥 CAPTCHA が表示される可能性が低くなる 簡単に解決できます Scraping Browser は、Playwright、Puppeteer、Selenium など、すべての主要なブラウザ自動化フレームワークで動作します。そのため、完全なプログラム制御が必要な場合でも、 、対応できます。 AI ロジックを追加する場合でも Bright Data の Scraping Browser の動作をご覧ください: https://www.youtube.com/watch?v=4y-i5XKxa7I&embedable=true では… AI に CAPTCHA を解くことを強制し続けるべきでしょうか、それとも機能するツールを使うべきでしょうか? 選択は明らかです。 。🏆 ブラウザのスクレイピングが最高です 最後に OpenAI の Operator は Web インタラクションに革命を起こすために登場しましたが、万能というわけではありません。素晴らしい機能ではありますが、CAPTCHA には依然として苦戦し、ブロックされてしまいます。 シームレスな自動化を実現する組み込みの CAPTCHA ソルバーを備えた Scraping Browser で面倒な作業を回避しましょう。自動化されたスクリプトを通じてでも、Web をあらゆる場所から誰でもアクセスできるようにして、Web を民主化するという私たちの取り組みに乗り出しましょう。 次回まで、CAPTCHA なしで自由にインターネットを探索し続けてください。