左のテーブル 抽象と1 導入 1.1 Syllogismsの構成 1.2 長い作曲の硬さ 1.3 グローバル思考の硬さ 1.4 私たちの貢献 Results on the local reasoning barrier 2.1 Defining locality and auto-regressive locality 2.2 Transformers require low locality: formal results 2.3 Agnostic scratchpads cannot break the locality Scratchpads to break the locality 3.1 Educated scratchpad 3.2 Inductive Scratchpads Conclusion, Acknowledgments, and References A.関連文学 B.追加実験 C.実験と実施の詳細 D. 理論の証明 1 E. Lemma 1についてのコメント F. 回路複雑性接続に関する議論 G. ChatGPT でさらなる実験 F 回路複雑性接続に関する議論 反対に、適切な設定で、深いニューラルネット、繰り返しのニューラルネット、およびスクラッチパッドを持つトゥーリングのトランスフォーマーは、トゥーリングの機能をシミュレートすることができます。さらに、トゥーリングのマシンが実行するステップの数と入力の長さで、適切なパラメータで、これらは効率的に効率的に解決できるあらゆる問題を解決することができます。さらに、入力ビットが0または1であるニューラルネットを用いて、トゥーリングのマシンが実行するリソースの数と、または1または複数の前の値のNOTを計算するためのニューラルネットをシミュレートすることはかなり簡単です。したがって、適切なパラメータで、いかなる G ChatGPT でさらなる実験 . for n ≥ 1, we consider 3n + 2 people having different heights. We give the model 3n + 1 pairwise relations between the consecutive people (in order of height) in a random order. Using this information, one can understand the order of the heights for all people by combining the given information. We ask the model about the relationship between person n + 1 and 2n + 2. 例 n = 1 is Height comparison 「オマールはサラより高い、ウラドはダビデより高い、ファラドはオマールより高い、サラはウラドより高い、ウラドはウラドより高い?」 したがって、タスクの場所は常にnよりも大きい(正確な場所はトークン化に依存するだろう) 私たちは、ChatGPT(GPT3.5)がこのタスクに正しく答えるためには、少なくともn + 1の関係を組み合わせなければならないことに留意します。 GPT3.5モデルで作業するとき、私たちは次のスンプトを使用して、モデルは思考の連鎖推論を使用することができるようにします: "あなたが望むなら、あなたが考えることができますが、あなたの答えにYes/Noを含めることを確認してください」 興味深いことに、GPT4は、GPT3よりはるかに優れていることを実行しています(最も単純なケース)。私たちはまた、GPT4がタスクに正しく答えるとき、それはタスクのグラフのスラッチパッドで 著者: (1)Emmanuel Abbe、Apple、EPFL (2)サミー・ベンジオ、アップル (3)アリオ・ロッフ、EPFL (4)コリン・サンドン、EPFL (5)オミド・サレミ、アップル。 Authors: (1)Emmanuel Abbe、Apple、EPFL (2)サミー・ベンジオ、アップル (3)アリオ・ロッフ、EPFL (4)コリン・サンドン、EPFL (5)オミド・サレミ、アップル。 この論文は、CC BY 4.0 ライセンスの下で archiv で提供されています。 この紙は CC BY 4.0 ライセンス ARCHIV で利用可能 ARCHIV で利用可能
