LAION全称Large-scale Artificial Intelligence Open Network，是一家非营利组织，成员来自世界各地，旨在向公众提供大规模机器学习模型、数据集和相关代码。他们声称自己是真正的Open AI，100%非盈利且100%Free。在九月份，他们公布了一个全新的图像-文本对（image-text pair）数据集，叫LAION-400M。该数据集包含4亿条数据。
LAION-400M数据集完全公开、自由访问。
需要注意的是，此大规模数据集是非精心策划的。它是为了研究目的而构建的，目的是为广泛的研究人员和其他感兴趣的社区提供更大规模的测试模型的训练，而不是用于任何现实世界的生产或应用。
他们使用OpenAI的CLIP过滤了LAION-400M数据集中的所有图像和文本，方法是计算文本和图像embedding之间的余弦相似性，并删除相似性低于0.3的图像和文本。0.3的阈值是通过人类评估确定的，似乎是估计语义图像-文本-内容匹配的一个很好的启发式方法。
图像-文本对是从Common Crawl（https://commoncrawl.org/ ）数据转储中提取的，来自2014年至2021年期间爬网的随机网页。
LAION-400M数据集统计
LAION-400M以及未来更大规模的数据集，事实上，是数据集的数据集。例如，我们可以按图像大小将其过滤到较小的数据集中，如下所示：
| 样本选择条件 | 包含的样本数 |
|---|---|
| 不重复样本数 | 4.13亿 |
| 高度或宽度>= 1024的样本数 | 2600万 |
| 高宽>= 1024的样本数 | 960万 |
| 高度或宽度>= 512的样本数 | 1.12亿 |
| 高宽>= 512的样本数 | 6700万 |
| 高度或宽度>= 256的样本数 | 2.68亿 |
| 高宽>= 256的样本数 | 2.11亿 |
通过使用KNN索引，我们可以按感兴趣的领域提取专门的数据集。它们的规模足以（或将）训练技术领域模型。
此外，也可以使用https://rom1504.github.io/clip-retrieval/ 来简单地可视化数据集。在那里，我们可以使用CLIP和knn索引在数据集之间搜索。
下载链接请关注公众号之后，回复“LAION-400”获取即可。
