本周，我将稍微偏离我平时解释人工智能概念或编码教程的文章。是的，这是一次哲学的、怀旧的旅程，我有幸一路走来。 很早就进入一个领域的人拥有的罕见特权之一是，你可以亲眼看到这个领域像婴儿一样成长。十年前，当我开始攻读计算机视觉硕士学位时，我的一位计算机科学毕业生朋友问道：“计算机视觉到底是什么意思？”如今，这个问题已经不是什么大问题了，因为互联网上流传着足够多的计算机视觉任务视频，比如分割（见下文）。  图像分割的结果——这是十年前深度学习兴起时遍布互联网的一项计算机视觉任务。 那么，过去十年发生了什么变化？事物都有两面性。而且，增长既有好处也有坏处。 封闭社区——小即是美 据说，冰岛人之间都有某种血缘关系，如果某人的血缘关系超越了你的二代表兄妹，那么你就可以嫁给他。 同样，人工智能社区也曾是紧密联系的。那种紧密联系的社区感觉已经一去不复返了。与任何研究人员交流时，你通常都知道他们属于哪个群体。当你阅读并欣赏他们对该领域的影响时，你会在某种程度上理解并尊重他们的工作。 随着该领域不断蓬勃发展，甚至很难说你知道某人的工作，忘记他们。有太多新名字和新分支，甚至很难跟踪。 再举一个例子，PyTorch 还处于起步阶段。Slack 社区规模很小，但很有帮助，PyTorch 的开发人员直接回答了我们关于使用该库的问题。这鼓励我们更多地了解它。如今，该框架已经非常成熟，并且出现了 LangChain 和 Llamaindex 等新框架。与 AI 的其他分支相比，人们的注意力都集中在 LLM 上。 硬件豪华 过去，我们习惯在单个 GPU 上训练深度神经网络，以创造一些有影响力的东西。在 CVPR、NeurIPS 和 ICML 等顶级会议上发表的大多数作品都可以在一台 8 GB GPU 机器上进行训练和复制，在极少数情况下，最坏的情况下，也可以在一台配备 4 个 GPU 的机器上进行训练和复制。  特斯拉用于 AI 的最新 GPU 集群图片（来源：  ）   https://www.hpcwire.com/off-the-wire/tesla-to-roll-out-advanced-supercomputer 我清楚地记得，当时我买了一个只有 8 GB RAM 的单 GPU 来参加 Kaggle 比赛，当时是多么高兴。一些 Kaggle 大师的获奖解决方案就是在家里的一台 GPU 机器上训练深度学习模型的。 当今的 AI 世界需要 GPU 集群来训练基础模型。即使对这些模型进行微调也需要 24GB 的 GPU，这些 GPU 非常强大且价格昂贵，只有拥有“AI 预算”的企业才能负担得起。 技能需求 那时，该领域还没有人工智能的包装。招聘人员被赋予了一项陌生的任务，即寻找“深度学习”工程师。招聘人员和初创公司创始人通过各种渠道寻找深度学习专家。在 LinkedIn 上定期收到邀请我加入他们团队担任深度学习工程师的消息是常态。  仅 5 天前发布的机器学习工程师招聘广告截图就收到了 100 多名申请者！ 目前的情况是，在 LinkedIn 上，“机器学习工程师”的招聘广告发布后一天内就收到了 100 多份申请。如果你觉得难以置信，请看一下上面的截图。问题仍然是申请人的技能与职位要求有多大关系。但市场很快就会饱和技能！ 子技能——运营和架构 增长意味着更多的多样性和机会。ML-ops、LLM-ops 和 ML-architects 等新角色不断涌现。微型单模型文件 (< 1 GB) 的时代已经一去不复返。模型在大小和功能上的增长催生了部署和维护它们的新技能。 此外，使用 MLFLow 等工具可以自动完成模型的训练和部署。用于训练的云基础设施需要足够复杂。所有这些都催生了具有专门职责的全职职位。 再见机器学习工程师，你好人工智能工程师 在 AI 领域工作最有趣的是编写模型架构，并使用我们内部的数据从头开始训练模型。虽然这需要大量预处理数据，但训练模型和可视化训练结果曾经非常有趣。过去有/现在仍然有一个专门的职位，称为机器学习 (ML) 工程师。 科技巨头开发基础模型正在重新定义这一角色。随着模型规模的扩大，培训预算也变得非常庞大。事实上，Meta 培训 LLama 2 模型的成本为 2000 万美元。显然，试图采用人工智能的初创公司或组织不想浪费这笔钱。现在已经确定，基础模型是科技巨头开发的，但 Mistral 和 Anthropic 等一些公司除外。 遗憾的是，这意味着 ML 工程师的角色正在转变为 AI 工程师的角色。ML 工程师的角色主要是开发模型架构、进行训练和评估。新的 AI 工程师角色主要涉及开发 API 或调用科技巨头（OpenAI、Meta 和 Google）提供的 API 来提示基础模型。 在极少数情况下，这需要对这些基础模型进行微调。但公司可以选择构建 RAG 管道或“按原样”使用基础模型，而无需对其进行微调。 结论 总而言之，我认为这是软件工程和机器学习角色的缓慢融合。软件工程师和深度学习专家之间的界限正在消失。因此，在未来几年，软件工程师将成为与基础模型一起工作的人工智能工程师，既编写代码，又解决客户需求。 此外，在未来几年，公司将分为两类——AI 产品公司和 AI 服务公司。AI 产品公司将再次是 OpenAI、Meta 和 Google，用于开发基础模型。AI 服务公司将通过微调或围绕 AI 基础模型开发 RAG 风格的管道来提供 API 服务，以服务于他们的客户。 最后，求职申请激增是否预示着像互联网泡沫一样的泡沫即将破灭？我觉得是的。但让我们拭目以待吧…… 喊出来 希望这对您有用。 如果你喜欢这篇文章，为什么不关注我呢 推特 了解研究更新、视频教程链接以及来自顶级 AI 实验室的新 AI 工具？ 另外，请订阅我的 YouTube 频道 我在这里以直观的方式解释人工智能概念和论文。  

Why not checkout more about AI Bites!

Read My Stories

該音頻是用故事的原始語言製作的！

人工智能时代已经一去不复返

About Author

註釋

標籤

这篇文章刊登在

Related Stories

Claude Sonnet 3.5 系统提示泄漏：法医分析

如何将您的工作流程提高 10 倍：17 个必备应用程序

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

看不见的层面：为什么用户访谈是不可替代的资产

Claude Sonnet 3.5 系统提示泄漏：法医分析

如何将您的工作流程提高 10 倍：17 个必备应用程序

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

看不见的层面：为什么用户访谈是不可替代的资产

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps