ChatGPT は、効率的な Python コードを書くことができ、複雑な SQL クエリを数秒で作成することができます。 ハック、あなたがそれを許すなら、それはあなたのマーケティングキャンペーンの全体を脳に吹き飛ばすでしょう。 私たちは、私たちの法律文書と私たちのビジネス操作を実行するコードで、この「天才」、最新のモデルとすべてを信頼するために急いでいます。 アマゾンやマイクロソフトのような企業で10年以上の経験を持つビジネスインテリジェンスアナリストとして、私はこのテクノロジーがおもちゃから、多くの人が私を置き換える用意があると主張するツールへと移行するのを目にした。 結果は、実際に何が起きているのかを明らかにしました:大きなデザイン選択、コスト対パフォーマンスの取引、それはシステム全体を実行します。これは透明性の問題であり、データプロフェッショナルを懐疑的にするのに十分なギャップです。 もっとも恐ろしい部分は? 確かに間違っている。 トリックを明らかにした数学の問題 私のテストは、3000から3000までのすべての数字の単純なリストでした(100の間隔で)、全体で61の数字に達しました。 ここで「ショートカット」の行動が明らかになった。私が上昇または下落順に分類されたリストを与えたとき、それは毎回テストをアセードしました。それは正確にシンプルなパターンを認識しました: -3000 キャンセル 3000、 -2900 キャンセル 2900 など。 しかし、あなたがパターンを削除したときに何が起こりますか? 私はそれらの正確な同じ数字をランダムな順序に置きました。 それは失敗し、小さなマージンではなかった。 「失敗」の「実績」 AIは計算しなかった. It put on a 計算について 実績 まるでノア・ワイルを見ているかのように。 または :彼は説得力のある医師ですが、あなたは彼に実際の医療手順を実行することを決して信頼すべきではありません。同様に、AIは計算の動きを通過します。それは完全に論理的に見える「ステップごとに」分解で答えますが、最終的な答えは自信を持って、根本的に間違っています。 THE PITT は 私がそれを挑戦したとき、それは「ダブルチェック」され、 間違った答え 異なる このプロセスには、10の数字の小さなグループにリストを分割するように頼むような、広範なハンドハンドハンドが含まれていました。それでも、それらの単純な10の整数で数学を間違えました。 全部で、私はこの後ろから12の異なる間違った答えを受け取りました、すべて同じプロンプトから。 これは「複雑な」リストを処理する失敗ではなかった。基本的な追加を実行する完全な失敗だった。結局、それは「精神的な計算ミス」を謝罪し、それをやっているのではなく、計算をシミュレーションしているという貴重な承認をしました。 このショートカットファーストのデザインは、AIが歴史的に単純な単語の文字を数えるなどの他のタスクを無視した同じ理由で、その主な目的は、最安値のショートカットを見つけること、必ずしも正しい答えではない。 隠れた計算機を見つけた。 したがって、ChatGPTは数学で絶望的に悪いのですか? 正確にはいきません. 私は最初の間違った答えに戻り、返信する代わりに「長く考える」オプションをクリックしました。 その瞬間、こんなことが起こった: # Define the list of numbers 
numbers = [ 2100, 800, -1800, 2400, 1000, -2400, 1200, ... ] 
# Calculate the sum 
total_sum = sum(numbers) 
total_sum 
# Result 0
 それは1秒で正しい答え(ゼロ)を得ました. これは「ゴッチャ」です. それは計算機をずっと持っていました. それは単にそれを使用しないことを選択していました. ここで実際に何が起きているのか。 ChatGPTは、デフォルトモードで速度の第一と精度の第二に最適化されています。 デフォルトの高速パスはテキストのみです. 学習パターンを含む膨大なトレーニングデータに頼って問題を解決しようとします. 簡単な合計(例えば2+2)の場合、これは信頼性があります. しかし、私たちの61の数字リストのような多くのステップで真の精度を必要とするタスクの場合、それは失敗します. それは、彼らの頭の中で大きな数を倍増しようとしている人と同じです:彼らは数学の概念を理解しますが、中間のステップをすぐに追跡し、「運行します」このテキストのみのアプローチは非常に速く、それ以上に、実行するのは安い。 思考パス(Python計算機を使用)は完璧に正確ですが、実行するには高価です。間違ってはいけません、この「遅い」パスはまだ1秒で答えを返しました。しかしOpenAIでは、システムコストは膨大です。次の単語を予測する代わりに、AIはより多くの仕事をしなければなりません:それは安全なPython通訳をスピンアップし、コードを書き、それを実行し、出力を読み取らなければなりません。 これは行動におけるコスト・パフォーマンス・トランスフォーマンスであり、我々が今見たすべての背後にある理由です。 Here's Where It Gets Personal(ここは個人になる場所) 見てください、ここにデータプロフェッショナルにとっての本当のリスクがあります。我々はAIが分析していると仮定します。 見た目 すべき これらはすべて新しい「ダイナミック」システムの一部です。OpenAI自身のプレスリリースはこれを「リアルタイムルーター」と呼び、「迅速に対応するか、または困難な問題に「より長く考えるか」を決定する「リアルタイムルーター」と呼び、これは紙上で素晴らしいように聞こえますが、私のテストでは、このいわゆるスマートルーターは、明らかなパターンが欠けている見た目で単純なタスクで失敗する可能性があります。 61 桁の数学の問題をランダムな順序で与えたとき、内部の論理は困難を誤って判断した。それはそれが打ち砕くことができる簡単な仕事だと思っていたようだった。これは、ルーターのエウリスティクスがこの種の「欺瞞的に単純な」問題を捕らえるために調整されていないことを教えてくれました。それはおそらく単にクエリの長さや数学のシンボルがあるかどうかを調べているだけです。 AIに「この支出報告書のサブサブサブサブサブをチェックする」と尋ねると、自信を持って、テキストだけの「正しいように見える!」と答えると、あなたはその報告書を経営者に渡し、すぐにいくつかの精神的数学を行い、あなたの計算が間違っていることに気づきます。 その瞬間、あなたは、AIの失敗は、実際に計算する代わりにチェックの行為をシミュレートすることでした。 AI Math が実際に働くとき したがって、これらのタスクにAIがいつ信頼できるかを知ることは重要です. 私のテストは特定の脆弱性を打つように設計されました. AI math is generally trustworthy in a few other places: 
 
 
 
 コード解釈器を明示的に使用する場合(例えば「Think Longer」パス) 単純で文脈的な算法(たとえば、「3個のリンゴを持って、2個を買って、いくつ持っているか?」)。 象徴的数学と説明概念(例えば、「ピタゴロ理論を説明する」)。 私のテストが示すように、リスクは、AIがどのモードにいるかを知らないことです。 あなたは実際にこれについて何をすべきか これは「AIを使用しないでください」という意味ではありませんが、初心者ではなくプロとして使用する必要があります。私たちはそれを「ショートカットエンジン」のように扱う必要があります。 見てください、あなたが他の何も覚えていない場合:それはあなたにコードを示す場合、あなたは結果を信頼することができます。 “Think Longer” を「正しいか間違ったか」の答えに用い、まず失敗するのを待つな。 仕事のための正しいツールを使用してください. 単純な算法のために、Excelを使用してください. それはそれのために構築され、無限に信頼性が高いです. なぜ「クリエイティブな書き込み」エンジンは計算機の仕事をしますか? しかし、計算前に分析ワークフローを生成したりデータをクリアする場合、コードを実行するAIを使用することは、仕事を完了するための強力で真に有用な方法です。 AIは数学に失敗したためではなく、信頼のマスクの背後に失敗を隠しているため欠陥しているが、バックポケットに完璧な計算機を持っているが、速く、信頼できない方法にデフォルトされ、使用している方法を教えてくれない。

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Data Portfolio

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

ChatGPTはあなたを数学でガスライトアップしています

About Author

コメント

ラベル

この記事は

Related Stories

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Telegram: クリプト島と本土を結ぶ橋

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Telegram: クリプト島と本土を結ぶ橋

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps