目前,大众的想象力把《未来》描绘成一个无情的、无情的朝向Skynet、Hal 9000和R2-D2时代的游行。 和 对于保持这些梦想活着所需的持续技术演变的微妙平衡,几乎没有说话。 一般人工智能 人工超级智能 一般人工智能 人工超级智能 事实上,随着模型的复杂性和计算需求的增加,专家们警告说,允许人工智能开发的基本技术可能很快不会发展得足够快,以创建比OpenAI的o3模型更好的东西。 任何围绕AI现在和未来这些基本元素的结构性弱点都可能破坏可能已经实现的野心。 . 泡沫领土 首先,我们需要一个框架。 大规模的人工智能不如是一个单一的奇迹,而不是相互锁定技术的传递竞赛。 baton pass 和整个景观面部植物. 为本文的目的,需要有工作 AI 模型所需的接口看起来大致如下: 一个 
 
 
 
 
 
 原始数据及其生产者的权利 硅及其记忆支持者 模型架构和驱动它们的变压器 部署基层,从电网到边缘设备 治理铁路防止马戏团自焚 原始数据及其生产者的权利 人工智能算法需要数据来创建文本、图像和视频,在过去的半个十年里,互联网已经为OpenAI、Google、Meta、Anthropic及其同事提供了免费和广泛的数据库,以培训他们。 是。 但是这场盛宴已经接近结束;互联网可能太小了,让AGI出现,监管机构开始关心数据隐私,当数据直接从用户那里收集时。 基金模型 法官 1、需要合成体来创建无尽的训练套件 1、需要合成体来创建无尽的训练套件 而不是依靠人类创建的数据, 这使他们能够生成无限的数据点,而不会耗尽或损害敏感信息,这在广泛数据集无法使用的情况下尤其强大(医疗保健、财务、自动驾驶车辆开发等)。 而且,是的,有捕获。 AI公司现在使用人工智能来创建文本和图像,以便其他模型从中学习 合成体 如果由一个模型创建的数据不准确,并且这些缺陷被允许在没有人为的纠正的情况下反弹,词汇和想法将很快回归自己。 :每一代都有一种模糊的复制,错误和阴影加重,直到规模单独买不起改进。 模型崩溃 保安,以形式 变量,人数据更新周期和过滤器,是防止井中受到毒害的关键。 富裕的域名 
 
 为什么它很重要*:*如果合成机械系统没有得到充分的实施(因为毫无疑问,它是必要的),那么无论我们投入多少计算,明天的大型车型都将面临艰难的天花板。 为什么重要 需要联邦学习以尊重数据隐私 需要联邦学习以尊重数据隐私 人类创建的数据将永远是必要的,但这意味着我们必须放弃隐私的想法,以服务于万能的东西吗?也许不是。 我们的设备可以在设备本身上教授“共享”AI模型,消除将原始数据发送回大型数据中心的需要。 联邦学习 在这个过程中,只有模型的“教训”(微小的重量更新,而不是原始照片或消息)被发送回来,所以任何个人都不会离开设备。 FHE就像一个锁定的盒子,服务器可以摇动而不打开;它可以计算加密数字上的新模型重量,但却从未看到里面是什么。 完全 homomorphic 加密 最后,可以缩小每个更新与 ,它只存储最重要的调整指令,而不是重写整个模型。 低级适应性 这些技巧可以让数以百万计的设备共同训练一个强大的语言模型,保持每个人的数据隐私,并足够高效地进行扩展。 
 
 为什么重要*:* Skynet 不需要发生 通过了解我们的隐私选项,我们可以影响人工智能的未来,并要求大型人工智能公司为我们做正确的事情。 为什么重要 3、增强隐私的技术可以帮助建立更好的守护栏 3、增强隐私的技术可以帮助建立更好的守护栏 如果联邦学习没有被广泛实施,公司可能会转向 噪音被调节,以便人工智能模型仍然学习广泛的模式(病毒如何传播,购买看起来像什么等等),但没有任何东西可以追溯到一个人的医疗记录或购物车。 隐私差异 还有两个主要的隐私增强技术: (几位厨师自己煮一份秘密食谱,一起煮蛋糕,没有一个厨师看到整个食谱) (一个芯片内部创建的小箱子:数据进入,计算发生在箱子里,结果出来,数据留在箱子里)。 安全多方计算 可靠的执行环境 更多的噪音或更重的加密意味着隐私与精度的交换,以及性能打击和高于预期的能源账单。 
 
 为什么重要*:*差异性隐私和其他增强隐私的技术允许公司共享和培训人工智能而不共享原始秘密,但按钮必须精心设置,平衡隐私,速度和准确性。 为什么重要 硅及其记忆支持者 硅(也称芯片,半导体,GPU等)是人工智能“发生”的地方。 关于这些小型的技术奇迹,现在坐落在许多地缘政治讨论的中心。 它放慢了,而且 自2006年以来,该行业现在面临一个选择:重新设计硅或重新设计期望。 全部书籍都写过 摩尔定律 丹纳德滑坡 神经形态芯片可以减少能源消耗,并允许在设备上计算 神经形态芯片可以减少能源消耗,并允许在设备上计算 NVIDIA 但它可能不是10年后的赢家。 , 和 正朝着完全不同的方向走向GPU: . 已成功占据了AI加速器市场的90%以上 脑袋 英特尔 IBM 的 神经结构结构 以大脑的生物结构为灵感,这种构建芯片的方式为传统GPU提供了一个更节能和可适应的替代方案。在黑暗的领域中描绘一百万只火花苍蝇。 只有那些关心这个消息的邻近昆虫才会注意到这个消息,所以大部分的田野都保持黑暗......它们的力量持续一整夜。 静静地坐下来,直到他们需要通过一条线条的“点头”,这样整个板子就会运行。 . 有 射手2 与家庭灯泡相同的果汁 在实践中,这意味着可以翻译信号语言的眼镜或自动避开分支的口袋无人机。 
 
 为什么重要*:* 便宜的认知能力在任何地方都意味着更多的监控玩具,所以社会辩论从“我们可以运行这个模型吗?”转向“我们应该运行它吗?” 为什么重要 5、记忆突破比其他任何东西都更需要 5、记忆突破比其他任何东西都更需要 即使是最快的GPU在等待数据时也变成一张非常昂贵的纸张,芯片也不能做B,如果另一个仍然在A上工作,或者如果A完成的消息需要年龄才能到达。 ”””这就是在哪里 进来。 记忆墙 高带宽内存 它的第四次迭代(HBM4,将于2026年推出)专门用于高性能计算环境,每秒提供的信息是HBM3的两倍。 如果这个部分看起来很短,那是因为它解释了什么。 和 还需要500个字。 NB 戏剧 计算机说 
 
 为什么这很重要*:* 如果技术崩溃,我们将击中一个墙壁,更大的模型只是在等待内存;即使在更明亮的GPU中,进展也停滞不前。 为什么重要 尺度集成可以解决许多延迟问题(但会产生能源问题) 尺度集成可以解决许多延迟问题(但会产生能源问题) 如果信息从一个芯片传递到另一个芯片需要太长时间,为什么不将它们合并成一个非常大的芯片?这是背后的想法。 . 瓦菲尔规模整合 实际上,这意味着一个数万亿参数的模型可以坐在单个芯片上,而不是分散在16个GPU板和拜占庭网络布上。 这不仅仅是理论: 此架构允许10倍更低的延迟 然而,这些芯片需要大量的功率:多达30个NVIDIA H100 GPU,这使得在优点和缺点上相当复杂的数学,也许只有非常具体的用例。 Cerebras Systems正在构建一个具有900000个内核和7000倍的内存带宽的处理器,比领先的GPU 生成者 AI 推断 
 
 为什么这很重要*:*如果尺尺度证明可靠,培训时间将从几周减少到几个小时,实验将蓬勃发展。 为什么重要 模型架构和驱动它们的变压器 现代的生成人工智能系统由一个名为神经网络架构驱动。 转换器通过使用内部表(“ 」他說:「在每個字中,每一個字都會出現。 ” 转换者 attention mechanism 我应该多么重视每一个单词? 这个机制意味着随着查询的大小增加,所需的计算工作增加了四分之一。3个单词意味着9个连接,4个平均16,5意味着25等。 7、差异变换器使注意力机制“更聪明” 7、差异变换器使注意力机制“更聪明” 虽然经典的变形器“注意”所有单词, ,自动降低无关紧要信号的音量,所以只有有用的信息脱颖而出。 差异化技术首先应用噪音取消注意力 该概念还引入“ 让系统积极标记应该彼此推开的代币对,帮助模型避免错误的连接,而不仅仅是让他们更小心。 负面关注 最后,培训过程 之间” 因此,每个头脑学习不同的模式,而不是浪费精力在同一个模式上,这些调整使模型更快地学习,更有效地使用记忆力,并提供更准确、一致的结果。 惩罚重复行为 注意头部 
 
 为什么这很重要*:*差异变换器允许更少的幻觉,更清晰的长期回忆和30%到40%的计算,以相同的准确性在小到中型LLM。 为什么重要 国家空间模型创造“无注意”的重复 国家空间模型创造“无注意”的重复 虽然“常规”转换器在每次添加一个新单词时都会重新读取整个对话(比如在写每个句子之前转到第1页的人)状态空间模型(例如Mamba,S4)。 这意味着翻倍提示只会翻倍工作(而不是方形替代)。 带领一个学到的“国家”前进 这些模型还将长长的提示切成小块,GPU可以并行咀嚼,然后将小块捆绑在一起,以便答案与其他情况下可能实现的相同,但到达速度更快。 整个更新都适合一个紧凑的指令集,消除了记忆周期旅行,因为它可以在飞机上重新计算小块,它几乎不会在缓慢的记忆中存储任何东西,从而减少能源消耗。 
 
 为什么重要*:*这些技巧结合在一起,让明天的助手消化更长的流量(长达数小时的播客、长达一周的聊天等)。 为什么重要 混合专家技巧允许更多参数 混合专家技巧允许更多参数 然后,我们有专家混合技巧,这些技巧基本上只会打开网络(专家)的那些对某个提示至关重要的部分。 没有降低质量。 培训费降低40% 虽然  clean up what attention is already doing and  模型完全取代了线性扩展的东西,MOE少增加容量,所以每个代币只有最相关的子网络火灾。 差异转换器 国家空间 然而,所有那些沉睡的专家仍然必须生活在GPU内存中,路由器必须拼图代币以避免“热”专家。 
 
 为什么它重要*:*效率突破咬到“规模是你所需要的”,潜在地民主化了创建非常大的基础模型。 为什么重要 部署基层,从边缘设备到电网 人工智能通常被认为是无形的,它毕竟是一个算法,它没有重量,不能触摸,但它生活在现实世界中,它运行在设备上,它需要能量来生存,而这种能量使设备变热,需要新的创新类型的冷却。 10. Edge 设备将生成模型放入口袋 10. Edge 设备将生成模型放入口袋 自从创建GPU以来,模型一直生活在云中,它本身生活在物理数据中心中。  (meaning one could use an LLM even on airplane mode). 手机和笔记本电脑正在运送处理单元,可以本地处理推断 例如,框架允许Android应用程序在毫秒内调用剪切的基础模型,没有网络,没有服务器费用,更严格的隐私保障。 谷歌双胞胎纳诺 这些部署不会改变人工智能的数学,但它们确实能够推动其他必要的进展:更聪明的注意力将减少计算浪费,状态空间的重复性削减了背景成本,并且“专家”将大多数参数保持冷静,直到它们需要。 
 
 为什么它很重要****:在设备上推断消除了云的延迟和隐私处罚,将服务成本降低到零,并将强大的AI传播到数十亿的手机和低成本的PC。它允许在连接能力差的地区始终可用的助手,默认情况下将敏感数据(健康日志,摄像头传输)保留在本地,并减少每个生成的代币的体化碳。 为什么重要 电网现代化和灵活的电源供应保持灯光 电网现代化和灵活的电源供应保持灯光 我们需要 我們需要加熱我們的家園並保持工廠運行,但將提供這種額外能量的高壓“高速公路”已經堵塞了。 如果电线不像硅一样快速积累,GPU将停滞不前,我们的AI梦想将延续多年,如果不是几十年。 很多 将新能源连接到电网的平均等待时间为5年。 Three parallel options are emerging to unblock the situation: 
 
 
 
 网络增强技术(动态线路评级、拓扑优化、先进导体等)将在几个月内解锁现有基础设施上的隐藏容量,而不是几十年。 微型电网的“能源公园”正在出现,它们以自有校园的形式出现,这些校园将数百兆瓦的AI负载与相连的风能、太阳能、电池和有时氢气相结合。 谷歌在2024年与Kairos Power签署了世界上第一个企业SMR协议,微软签署了为期20年的合同,重新启动其东海岸云的三英里的岛屿单位1。 这些战术结合在一起,购买时间,但不是永远的。 
 
 为什么这很重要:如果无限的绿色能源成为现实,人工智能可以继续扩展,而不会破坏气候目标或破产电力公司。 为什么重要: 冷却创新消除热瓶颈 冷却创新消除热瓶颈 一,人工智能是通过处理单元来实现的;二,这些单元需要越来越多的能量来处理越来越复杂的算法。 总之,电力带给电力AI创造了热量,还有很多。 energy cannot be created or destroyed 有一段时间,粉丝们能够完成这项工作,但现在已经不够了,流体冷却需要在大多数AI数据中心实现。 和 例如,替换服务器粉丝为冷板或浴缸,移动热量比空气快1000倍。 直接到芯片 沉浸式冷却 液体冷却,根据定义,也是一个水接入的故事。蒸发冷却(热量产生在空气中的蒸汽)可以泡沫。 (同一城市25000人)。 这些资源是必要的,以确保已经缺乏供应的资源不会被AI的主管垄断。 每天高达500万加仑 关闭环节 Finally, once the heat generated by compute is absorbed by water, it becomes a feature, not a bug.  , . Equinix的巴黎PA10校园加热了奥林匹克水学中心 同时,Meta的Odense站点已经加热了11000个丹麦家庭 
 
 为什么这很重要:人工智能价值链中的切割冷却和其他每一个元素(超级电池、内存布、无服务器推断等)都获得了呼吸空间。效率提高,电网总厅上升,水的使用下降,废热分配购买了已经对人工智能足迹警惕的城市的社会许可证。 为什么重要 治理铁路防止马戏团自焚 政策、社会安全网和跨境规则构成了允许内部机器运行的外部笼子,而不会引发叛乱或制裁。 13、政策为一切设定语音 13、政策为一切设定语音 人工智能是危险的,这只是一个事实,今天正在创建的工具已经被用来 两 两 . Laws are needed. 宣传假新闻 鼓励自我伤害 繁殖偏见 到2026年8月,任何“高风险”系统(信用、雇佣、医疗等)都需要进行外部审计。 因此,联邦机构现在依靠自愿(lol)NIST风险框架 . 欧洲的AI法案 2025年政府破坏了前白宫安全命令的部分内容 科罗拉多州通过自己的强制性规则 输出标签也在显微镜下。 两者都坚持可见的水标和隐藏的来源标签,因此深度假冒可以像在线旅行一样轻松地在法庭上追踪。 欧盟法案 最后,监管机构开始挤压硬件,美国商务部现在需要获得许可证 欧洲正在编写类似的“计算日志”。 对于一些芯片和训练跑步 
 
 为什么这很重要:有原因,合规工具正在迅速成为一个盈利的市场,审计,标签和芯片控制已经成为像GPU一样的成本。 为什么重要 社会经济枕头显然是必要的。 社会经济枕头显然是必要的。 即使是最聪明的硅也无法克服政治反击,如果工人感到被抛弃。 那些幸存于早期自动化浪潮的国家表现出一种可重复的公式:灵活的劳动力市场伴随着慷慨的安全网和不懈的再培训。 例如,它允许公司雇用和解雇员工,而失业保险,工资替代计划和快速重新培训缓解了解雇的打击。 该计划允许任何职业生涯中期工人在工作发生突变时花费与人工智能相关的微型身份证。 丹麦的“灵活安全”模式 未来技能 在欧盟层面, 与此同时,美国的CHIPS法案和日本的减税贷款正在在世界另一端挖掘类似资金。 欧元19B公平过渡机制 
 
 为什么这很重要:流离失所的工人越快地获得新工资,反技术民粹主义、惩罚性税收或毛毯暂停所需的氧气就越少。 为什么重要 国际协调比以往任何时候都更需要 国际协调比以往任何时候都更需要 治理在水边失去咬人,G7认识到这一点,发起了“ ”,一个自愿的(lol)代码,要求签名者水准合成内容,发布安全评估,并安装事件报告热线。 广岛进程 联合国还召集了一个高级顾问机构,将国家规则合并为一个共享的风险分类,并为全球人工智能治理框架制定蓝图。 与此同时,美国、荷兰和日本加强了对极端紫外线光学的出口管制,正如中国呼吁建立一个国际人工智能协调机构来滥用警察模型一样。 
 
 为什么这很重要:没有最小的协调层次,公司将迁移到最宽松的管辖区,对手将秘密训练红线模型,人工智能“安全状态”将成为果汁的间谍目标。 为什么重要 基于人工智能模型的性能来处理进展是舒适但可欺骗的 Cerebras 可以在几个小时内完成一万亿个参数的网络,但如果没有 HBM4 带宽,它就会消失。 联盟式学习可以保护隐私,但没有稀缺的架构,手机的电池就会消失。 因此,这张长达十年的分数卡不会像“AI赢了,AI输了”那样阅读,更像是“有足够的链接在时间上升级了吗?” . 也许 无论如何,唯一可靠的预测是,下一个突破将在第一眼看上去令人怀疑的无聊。 外面好运。

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - AUTOMATION.

2020 - Hacker Noon Contributor of the Year in AUTOMATION

2022 - HackerNoon Contributor of the Year - Entrepreneurship

2022 - HackerNoon Contributor of the Year - Future

2022 - HackerNoon Contributor of the Year - Science

Tech, made simple

Nominated for 2022 - HackerNoon Contributor of the Year - Science

Nominated for 2022 - HackerNoon Contributor of the Year - Entrepreneurship

Nominated for 2022 - HackerNoon Contributor of the Year - Future

該音頻是用故事的原始語言製作的！

太長; 讀書

Make resilience your competitive advantage

塑造人工智能未来的15个核心想法 - 为什么它们在今天很重要

About Author

註釋

標籤

这篇文章刊登在

Related Stories

Claude Sonnet 3.5 系统提示泄漏：法医分析

从论坛到信息流：社交媒体算法如何塑造数字互动

加密货币增长：创建有效的用户角色

看不见的层面：为什么用户访谈是不可替代的资产

Claude Sonnet 3.5 系统提示泄漏：法医分析

从论坛到信息流：社交媒体算法如何塑造数字互动

加密货币增长：创建有效的用户角色

看不见的层面：为什么用户访谈是不可替代的资产

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps