4,761 讀數

用于构建深度学习模型的 20 个最佳 PyTorch 数据集

经过 Open Datasets Compiled by HackerNoon10m2023/02/26

太長; 讀書

用于训练和构建深度学习模型的两个最广泛使用的开源机器学习框架是 TensorFlow 和 PyTorch。这些框架在构建和训练模型的方法上具有独特的差异。框架的选择取决于用户的具体需求和偏好。本文着眼于构建深度学习模型的最佳 PyTorch 数据集。

featured image - 用于构建深度学习模型的 20 个最佳 PyTorch 数据集

用于训练和构建深度学习模型的两个最广泛使用的开源机器学习框架是 TensorFlow 和 PyTorch。

这些框架在构建和训练模型的方法上具有独特的差异。 TensorFlow 使用静态图和声明式编程，提供更好的优化机会并允许分布式训练，而 PyTorch 使用动态计算图和命令式编程，允许更灵活和轻松的调试过程。框架的选择取决于用户的具体需求和偏好。

本文着眼于当今可用的用于构建深度学习模型的最佳 PyTorch 数据集。

开放 PyTorch 数据集的最终列表

1.宾州树库

Penn Treebank 是带注释的英文文本的集合，在自然语言处理 (NLP) 研究社区中得到广泛研究。它包含来自杂志、新闻文章和虚构故事等各种类型的超过 450 万个单词的文本。该数据集还包含有关名称权利、词性标记和句法结构的手动注释信息，用于训练和评估各种 NLP 模型，包括语言模型、解析器和机器翻译系统。

要下载此数据集，请单击在这里。

2.斯坦福问答数据集（SQuAD）

SQuAD（斯坦福问答数据集）是自然语言处理 (NLP) 中流行的基准数据集，包含超过 100,000 个问答对，从一组维基百科文章中提取。它用于评估使用 PyTorch 或其他深度学习框架构建的各种 NLP 模型的性能。 answer span 的平均长度为 3.6 个单词，相应段落中平均有 11.0 个单词。

以下是有关 SQuAD 的一些额外详细信息：

小队 1.0 - 它包含来自英语维基百科的 536 篇文章的 100,000 多个问答对。

小队 2.0 - 它包含 100,000 多篇维基百科文章的 150,000 多对问答对，以及额外的无法回答的问题来测试模型的弃权回答能力。

该数据集的目标是为机器学习模型提供一项具有挑战性的任务，以回答有关给定文本段落的问题。点击这里下载最新版本 (SQuAD 2.0) .

3.肺图像数据库联盟和图像数据库资源计划 (LIDC-IDRI)

这个 PyTorch 数据集是胸部计算机断层扫描图像的公共数据集，已被多位放射科医生注释为肺结节。它包括从不同机构收集的 1,018 幅 CT 扫描，包含超过 23,000 个带注释的结节。

数据集中的每一次扫描都附有来自四位经验丰富的放射科医生的注释，这些注释提供了有关形状、大小、结节位置和纹理的信息。创建该数据集是为了支持开发用于肺癌筛查和诊断的计算机辅助诊断 (CAD) 系统的研究。

注意：该数据集是公开可用的，但受到某些限制和使用要求的约束。

点击这里去下载。

4.时尚-MNIST

PyTorch Fashion MNIST 数据集由 Zalando Research 创建，用于替代原始 MNIST 数据集，并以与 PyTorch 兼容的格式提供。 PyTorch Fashion MNIST 数据集包含 70,000 张服装项目的灰度图像，其中包括 60,000 张训练图像和 10,000 张测试图像。

图片大小为 28x28 像素，代表 10 种不同类别的服装，包括 T 恤/上衣、裤子、套头衫、连衣裙、外套、凉鞋、衬衫、运动鞋、包和踝靴。它类似于原始 MNIST 数据集，但由于服装项目的复杂性和多样性更高，因此分类任务更具挑战性。

可以下载数据集这里.

5. Yelp 评论

Yelp 评论数据集广泛收集了来自美国 11 个大都市地区的超过 500 万条本地企业评论。数据集中的每条评论都包含星级、业务类别、评论文本、日期和位置等信息。它是对使用 PyTorch 构建深度学习模型感兴趣的宝贵资源。

请注册并单击此处下载数据集。

6.斯坦福犬

这个 PyTorch 数据集包含 120 个不同品种的狗的 20,580 张高质量图像的集合，每张图像都标有关于图像中狗的品种的信息。可用于图像分类和物体识别。使用以 JPEG 格式提供的数据集和文本文件中的注释，图像的大小为 224x224 像素。数据集中的品种范围从金毛猎犬和拉布拉多犬等常见品种到奥特猎犬和苏塞克斯猎犬等更鲜为人知的品种。

您可以下载数据集这里。

7.加州理工学院 101

虽然每个类别的图像数量有限可能是一个挑战，但详细的注释使 PyTorch Caltech 101 数据集成为评估深度学习模型的宝贵资源。该数据集是一个带标签的计算机视觉数据集，包含 101 个类别的 9,144 张高质量物体图像。它还涵盖了广泛的对象类别，并且图像是从各种来源获得的。每个图像都标有对象和图像的类别，这使得它更容易与各种深度学习框架一起使用。

点击这里下载.

STS-B（语义文本相似性基准）数据集是 2012 年至 2017 年间在 SemEval 上下文中组织的 STS 任务中使用的英语数据集。它包含 8628 个句子对，具有 1 到 5 的人类分配相似性分数。它取自各种来源，如新闻文章、论坛帖子、带标题的图像并涵盖广泛的主题，是与 PyTorch 一起使用的流行数据集，用于评估模型在确定两个句子之间的语义相似性方面的性能。 STS-B 数据集有多种格式，包括 PyTorch 兼容格式，因为 PyTorch 是一个深度学习框架，用于在此数据集上训练和评估模型。

\要下载此数据集，请单击这里.

9. WMT'14 英语-德语

该 PyTorch 数据集是斯坦福大学于 2015 年创建的英德机器翻译基准数据集。它包含英语和德语句子对齐文本的平行语料库，用于构建和评估深度学习模型。虽然每个测试集包含 3,000 个句子对，但训练集包含大约 450 万个句子对，平均句子长度为英语 26 个单词和德语 30 个单词，词汇量约为英语 160,000 个单词和 220,000 个单词德语。

您可以向下滚动并下载它这里.

10.名人A

该数据集是一个流行的大规模人脸属性数据集，包含超过 200,000 张名人图像。它于 2015 年由香港中文大学的研究人员首次发布。CelebA 中的图像包含 40 种面部属性，例如年龄、头发颜色、面部表情和性别。此外，这些图像是从互联网上检索到的，涵盖了广泛的面部外观，包括不同的种族、年龄和性别。每个图像中面部位置的边界框注释，以及眼睛、鼻子和嘴巴的 5 个标志点。

注意：CelebA 数据集已获得 Creative Commons Attribution-Noncommercial-Share 的许可，只要给予适当的信用，就可以将其用于非商业研究目的。

要在 PyTorch 中使用 CelebA 数据集，您可以使用torchvision.datasets.CelebA类，它是torchvision模块的一部分。您可以从以下位置下载数据集网站或者这里.

11.UCF101

UFC101 数据集广泛用于计算机视觉领域的视频分类。它包含来自 101 个动作类别的 13,230 个人类动作视频，每个包含大约 100 到 300 个视频。 PyTorch UCF101 数据集是原始 UCF101 的预处理版本，可以在 PyTorch 中使用。预处理后的数据集包含经过标准化和调整大小的视频帧，包括每个视频的相应标签。它还分为三组：训练、验证和测试，分别包含大约 9,500、3,500 和 3,000 个视频。

要下载数据集，请单击这里.

12.HMDB51

HMDB51 数据集是从各种来源收集的视频的集合，包括电影、电视节目和在线视频，包括 51 个动作类，每个动作类至少有 101 个视频片段。它由中佛罗里达大学的研究人员于 2011 年创建，用于研究人类动作识别。视频为 AVI 格式，分辨率为 320x240 像素，每个视频都有真实标注，包括动作类标签以及视频中动作的开始和结束帧。数据集中的每个视频代表一个人在静态摄像机前执行一个动作。动作包括每天的范围广泛的活动，例如跳跃、挥手、喝酒和刷牙，以及弹吉他和骑马等复杂动作。

注意：它与UCF101数据集，其中包含更多的动作类，但每个类的视频更少。

您可以下载数据集这里.

13.活动网

ActivityNet 是一个大型视频理解数据集，包含来自烹饪、运动、舞蹈等不同类别的 20,000 多个视频。这些视频的平均长度为 3 分钟，平均标注了 1.41 个活动片段。它在 PyTorch 中可用，在深度学习框架中很容易使用。 PyTorch 版本提供了从每个视频的 RGB 帧和光流场中提取的预处理特征，以及时间段和活动标签的地面实况注释。

您可以下载数据集这里.

14. VOC 数据集（视觉对象类）

VOC 数据集（视觉对象类）于 2005 年作为 PASCAL VOC 挑战赛的一部分首次推出，旨在推进视觉识别领域的最新技术水平。它由 20 个不同对象类别的图像组成，包括动物、车辆和常见的家居用品。这些图像中的每一个都用图像中对象的位置和分类进行了注释。注释包括边界框和像素级分割掩码。数据集分为两个主要集：训练集和验证集。训练集包含大约 5,000 张带有注释的图像，而验证集包含大约 5,000 张没有注释的图像。此外，该数据集还包括一个包含大约 10,000 张图像的测试集，但该集的注释未公开。

要下载最近的数据集，您可以从网站，只需一行代码，通过我们的Deep Lake开源将其加载到 Python 中，或者从格格.