我们都听说过 GPT-3，并且对它的功能有一定的了解。您肯定已经看到了一些完全由于该模型而诞生的应用程序，其中一些我在 中进行了介绍。 GPT-3 是 OpenAI 开发的模型，您可以通过付费 API 访问，但无法访问模型本身。 之前有关该模型的视频 GPT-3 如此强大的原因在于它的架构和大小。它有 1750 亿个参数。这是我们大脑中神经元数量的两倍！ 这个庞大的网络在整个互联网上都经过了相当多的训练，以了解我们如何编写、交换和理解文本。本周，Meta 为社区向前迈出了一大步。他们刚刚发布了一个同样强大甚至更强大的模型，并且已经完全开源。多么酷啊？在视频中了解更多... 观看视频 参考 ►阅读全文： ://www.louisbouchard.ai/opt-meta/ ►张，苏珊等人。 “OPT：开放预训练的 Transformer 语言模型。” ►My GPT-3 的大型语言模型视频： ://youtu.be/gDDnTZchKec ►Meta的帖子： ://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/ ►代码： ://github.com/facebookresearch/metaseq ►My Newsletter（每周在您的电子邮件中解释的新 AI 应用程序！）： ://www.louisbouchard.ai/newsletter/ ►加入我们的 Discord 频道，一起学习 AI： ://discord.gg/learnaitogether https https://arxiv.org/abs/2205.01068 https https https https https 视频记录 0:00 我们都听说过 gpt3 并且有 0:02 有点清楚的想法 0:03 你肯定见过的能力 0:06 一些应用程序的诞生严格是由于 0:08 这个模型中的一些我在一个 0:10 以前的视频gpd3是开发的模型 0:13 您可以通过 openai 访问 0:15 付费 api 但无法访问模型 0:18 让 gpt3 如此强大的原因在于两者 0:21 它的架构和大小 0:24 1750 亿个参数，数量翻倍 0:27 我们大脑中的神经元 0:30 巨大的网络几乎训练有素 0:32 在整个互联网上了解如何 0:34 我们写交流和理解文本 0:37 本周meta迈出了一大步 0:39 为社区转发，他们只是 0:41 发布了一个模型，就像 0:43 功能强大，如果不是更多，并且已经完全 0:46 开源它有多酷，我们可以 0:48 现在可以访问类似 gpt 的模型和 0:51 不用去直接玩 0:53 通过 api 和有限访问元 0:56 最新型号 opt 代表 0:59 开放的预训练变压器是 1:01 有多种尺寸可供选择 1:03 预先训练的重量来玩或做 1:05 任何研究工作，其中之一是 1:07 媲美gp23，拥有最好的 1:09 结果对 1:12 领域，特别是对于我们学术 1:14 研究人员就像 gpg3 这个新的 1:17 模型可以从用户输入生成文本 1:19 有一天它在很多不同的任务上 1:22 甚至可以总结几周 1:24 在清晰的报告中为您工作的价值 1:26 但在那之前你仍然需要写 1:28 他们自己至少可以得到一些 1:30 有助于使这个报告过程大大 1:33 使用出色的工具更有效，例如 1:35 这一集赞助商的权重和偏见 1:38 权重和偏差可以让您轻松 1:39 跟踪您的所有实验 1:41 只有少数几行添加到您的 1:44 代码，但更具体地说，它真的 1:46 很酷，他们是如何促进创作的 1:48 令人惊叹的交互式报告 1:50 像这个清楚地展示你的团队 1:53 或未来本身你的运行矩阵 1:55 超参数和数据配置 1:57 连同您或您的团队的任何笔记 2:00 当时报告很容易完成 2:02 以下从您生成的模板 2:04 运行指标，您只需添加 2:06 您的评论是一个强大的功能 2:08 或者添加快速评论 2:10 实验或创建完善的分析 2:12 捕捉和分享您的作品的作品 2:14 如果你想提高你的 2:16 专业的承运人，所以我推荐 2:18 使用改善沟通的工具 2:20 在您的团队中，例如权重和偏差尝试 2:23 它与下面的第一个链接并开始 2:25 像专业人士一样分享您的工作 2:29 opt 或更准确地说是 opt-175b 2:33 与gpt3非常相似，所以我强烈 2:36 建议观看我的视频更好 2:37 了解大型语言模型如何 2:40 工作 gpd3 和 opt 至少不能 2:42 总结您的电子邮件或快速撰写 2:44 基于主题的文章也可以 2:46 解决基本数学问题答案 2:49 问题和更多的主要区别 2:51 用gpt3是这个是开放的 2:53 来源，这意味着您可以访问 2:56 它的代码甚至预训练模型 2:58 直接玩另一个重要的 3:00 有趣的事实是 opt 的训练被用作 3:03 碳足迹的第 7 为 gpt3 3:06 这是正确的另一步 3:08 方向你可以看到这个新的 3:10 模型与 gpt3 非常相似但开放 3:13 源所以语言模型使用 3:15 我在视频中介绍的变压器 3:18 在此之前接受过许多培训 3:19 可以说不同的数据集 3:22 整个互联网来处理文本和 3:24 生成更多文本以更好地理解 3:27 他们是如何工作的，我会再次向您推荐 3:29 我制作的涵盖gpt3的视频 3:31 非常相似的模型在这里我真的 3:34 想要涵盖的是meta的努力 3:36 这种模型可访问 3:38 每个人都在付出很多努力的同时 3:40 分享其局限性偏见和 3:43 例如，他们看到选择的风险 3:45 倾向于重复并陷入困境 3:48 一个对我们来说很少发生的循环 3:50 否则没有人会和你说话，因为 3:53 他们也在互联网上接受过培训 3:55 发现 opt 有很高的倾向 3:57 产生有毒的语言并强化 4:00 基本上有害的刻板印象 4:02 复制我们的一般行为和 4:04 它也可以事实上产生偏见 4:07 不正确的陈述是 4:08 如果您希望人们服用，则不可取 4:10 你认真这些限制是一些 4:13 这些最重要的原因 4:15 模型不会很快取代人类 4:17 对于重要的决策工作或 4:20 甚至可以在商业中安全使用 4:22 我邀请您阅读他们的产品 4:24 论文为他们的深入分析 4:26 模型的容量和更好的理解 4:28 他们努力使这个模型更加 4:30 环保且使用安全 4:33 您还可以阅读有关他们的更多信息 4:34 培训过程并自己尝试 4:36 连同他们的公开代码全部 4:39 链接在描述中，例如 4:41 新的开源贡献 4:43 模型文档和代码可用 4:45 对研究非常重要 4:47 推动科学进步的社区，我是 4:49 很高兴像元这样的大公司这样做 4:52 感谢他们来自各地的研究人员 4:54 世界将能够进行实验 4:56 使用最先进的语言模型 4:58 而不是更小的版本，我很兴奋 5:00 看看所有即将到来的进步吧 5:02 将创造，我很想看看你 5:04 伙计们可以随意发表评论 5:06 在视频下或加入我们的社区 5:09 未被发现并分享您的项目 5:10 那里叫做一起学习人工智能 5:13 你也可以在下面找到一个链接我希望 5:15 你喜欢这周的视频 5:17 有点不同，涵盖这个 5:19 令人振奋的消息和必要的努力 5:21 分享公开的研究我会 5:24 下周见，另一个惊人的 5:26 纸

Alongside

Facebook

Super

Watch more on YouTube: https://www.youtube.com/c/WhatsAI

I explain Artificial Intelligence terms and news to non-experts.

2021 - HackerNoon Contributor of the Year - FACEBOOK

2022 - Best Data Science Newsletter

2022 - HackerNoon Contributor of the Year - Artificial Intelligence

2022 - HackerNoon Contributor of the Year - Computer Vision

2022 - HackerNoon Contributor of the Year - Data Science

2022 - HackerNoon Contributor of the Year - Google

2022 - HackerNoon Contributor of the Year - Innovation

2022 - HackerNoon Contributor of the Year - Machine Learning

2022 - HackerNoon Contributor of the Year - Natural Language Processing

2022 - Top Tech Youtuber

2021 - HackerNoon Contributor of the Year - DEEP-LEARNING

Nominated for 2022 - Best Data Science Newsletter

Nominated for 2022 - HackerNoon Contributor of the Year - Artificial Intelligence

Nominated for 2022 - Top Tech Youtuber

Nominated for 2022 - HackerNoon Contributor of the Year - Innovation

Nominated for 2022 - HackerNoon Contributor of the Year - Data Science

Nominated for 2022 - HackerNoon Contributor of the Year - Natural Language Processing

Meta 的新模型 OPT 是一个开源 GPT-3

太長; 讀書

Companies Mentioned

Louis Bouchard

About Author

標籤

Languages

这篇文章刊登在...