一个 22 万张 NSFW 图片的鉴黄数据集？你可以有大胆的想法了……

[ljspython]

如果你想训练一个内容审核系统过滤不合适的信息，或用 GAN 做一些大胆的新想法，那么数据集是必不可少的。例如图像鉴黄，我们需要使用卷积神经网络训练一个分类器，以区分正常图像与限制级图像。但限制级的图像很难收集，也很少会开源。因此最近有开发者在 GitHub 上开源了一份 NSFW 图像数据集，这是不是你们想要的？



项目地址： https://github.com/alexkimxyz/nsfw_data_scrapper

最后，希望大家注意身体

[lwlipuyang]

我佛了

[hilbertz]

好的，先让我再进行一次详细的人工标注

[publicvoid]

楼主好人

[DesmondLiu90]

666

[zhang1215]

刚刚随意打开一张发现并不是 NSFW 的 http://cdn.awwni.me/kguv.jpg

[lucahan]

有点强啊。。。。

[likuku]

@zhang1215 可能...有些办公室的也是无法容忍（正常）二次元文化吧。

[Oa]

删前留名

[wsd15321]

这也行

[ziseyinzi]

收藏比回复多系列

[JohnChiu]

@zhang1215 #5 neutral 和 drawings 文件夹内是 safe for work 的啊

[HOHOCCC]

这谁顶得住啊

[thonatos]

要不要拿出我私藏的爬虫出来？怕分享了大家身体就垮了

[hpeng]

Reddit 去采集 nsfw 就好了，已经帮你标注了

[slamDunkLINk]

楼上的,有就别私藏了,分享才是王道

[kawkeye]

@thonatos share?

[sxm]

抓个 xxx 站就有几百万的图了

[zhuoyan]

1042 次点击, 25 人收藏

[lucahan]

@thonatos 我能顶得住

[stone666]

火钳刘明

[BestMe]

@ljspython 不懂技术的，表示很焦急。

[wwg1994]

这谁顶得住啊

[shench]

厉害厉害！

[abeholder]

哇塞，搭配我的控制台下载器
https://github.com/abedormancy/tinydownloader
来下载 食用更佳 （里面有千把张二次元桌面壁纸，忘记哪爬的了。。）~~

[imshf]

@thonatos #13 顶得住老哥

[zhang1215]

@JohnChiu 噢，没仔细看还以为全都是呢

[abeholder]

为什么突然萌生出一种六学既视感 。。。

说到 NSFW 的数据集， 我就想起了几个月前做的一个小的下载器。。。

别问了，问就文体两开花·

[lingo]

你要说人工智能神经网络，我是不会的，但是你说人工标注，那我们的故事就开始了。

[lingo]

顺便想起前几天看到的说 firefox 新功能，内置了一个黄网名单，名单上的网站不会出现在欢迎页。。
作为一个开源项目，能不能只对这份名单感兴趣 = =

[d5]

理念先进了

[gxlwm]

就这一会 star 涨了好多, 老哥们稳

[Amayadream]

这谁顶得住啊

[lucahan]

@abeholder 这谁顶得住啊。。。

[xspippo]

快拿我的营养快线

[jasonyang9]

这叫学以致用

[Bantes]

1842 次点击 ∙ 55 人收藏
不说了，收藏波先

[suyuyu]

插眼

[x86]

手冲一时爽，一直冲一直爽

[lkmountain]

插眼

[youngxu]

机器之心昨天发的，我昨天就 clone 了以防被删（ x

[OMGZui]

留图不留种，xxxxxx

[JRay]

为了学习人工智能我决定要收藏一波

[wjfz]

已 DownLoad ZIP 防止被删

[cp333]

教练，我也要学人工智能

[hackpro]

这么大的数据集就算了 你还要做 GAN
你想干嘛 想让 TA 自己脱衣服吗😂

[zhichaozhang]

fork 了

[qiuai]

@thonatos 家里随时有几箱营养快线的路过...快放出来...

[leexy]

666

[ResidualWind]

火钳刘明

[rocyhua]

火钳刘明

[CivAx]

后排兜售营养快线、卷纸

[bravecarrot]

期待楼主的换脸作品

[zhouyg]

学习学习下人工智能

[Yiki]

大家保重身体

[lostberryzz]

proxychains4 wget --tries=1 -i raw_data/porn/porn.txt

[peaceblast]

@zhouyg 好像很正经的样子……

[mumonitor]

我准备开始学习卷积神经网络了！

[AngryPanda]

战略性 mark

[j717273419]

有没有 nsfw 视频训练集

[0312birdzhang]

战略性马克， 我为什么滑稽了起来

[xlcoder166]

战略性马克 +1

[heiyutian]

这是限制级？

[ddid]

我有个疑问，这些资源都是欧美的，如果是亚洲或者非洲内容，会不会免疫鉴定呢？

[hotea]

1024

[purplewall]

讲真这个项目是个爬虫+分类器吧，不过链接是真的多

[dissvm]

91024

[tao1991123]

好人一生平安

[ddid]

好吧，多翻了几张，挺全面的……

[michaelcheng]

凸(艹皿艹 ),在公司不小心点开

[googlefans]

懂了

[KasuganoSoras]

<?php
$data = file_get_contents("/raw_data/pron/pron.txt");
$exp = explode("\n", $data);
foreach($exp as $url) {
exec("wget {$url}");
}

[KasuganoSoras]

写错了是 porn hhh

[earthyan]

哈哈哈

[wangfei324017]

蛮多无关的啊。。

[Phariel]

这种项目建议不要 fork 会有 ban 号的风险

[Loyalsoldier]

cat ../urls.txt | xargs -n 1 -P 20 wget -t 3

-P 20 这个 20 上同时下载的数量，这是同时一次下载 20 张图片
-t 3 这个 3 是如果图片第一次下载失败后，尝试 3 次

[daxiongz]

够了....

[mlhorizon]

@heiyutian #62 按照绿绿教义，肯定限制级。

[weeevv]

再来几个人把 GAN 抬上来...

[ayase252]

https://github.com/eriklindernoren/Keras-GAN
我准备好了，🤔

[exciting]

1024
咦，不好意思走错站了。

[i945]

我感觉... 这个真训练出来，没几张图能过审

[Mrlgm]

这谁顶得住呀

[Nick2VIPUser]


[fly9006]

额，这样玩下去，gayhub💊

[xxgirl2]

记得把下载脚本里的 wget 改用 aria2c，要不然那是真的慢（

[xuanbg]

自然风光图片不错

[imn1]

自从有电脑开始就不缺这种数据，而且是已经标注了的……

[leopku]

@thonatos 求

[leopku]

@imn1 不分享说个猫线

[imn1]

@leopku
我只是想说，搞技术的，甚至仅仅只是会用现成工具的，22w 都只是小数目

而且，在这点上我比较相信人民警察的能力，自己拿没事，分享则要慎重

[lyseky]

收藏不看系列

[fengc]

https://i.loli.net/2019/01/15/5c3d2898f2eb2.png 这也太真实了

[flashrick]

这谁顶得住啊

[DRcoding]

7129 次点击 ∙ 263 人收藏 ∙ 5 人感谢

热爱学习的我觉定让它变成 264 人收藏

[hasbug]

翻看了一些，都是欧美，也没看到真漏的，失望，还不如 sex 站直接看

[huruwo]

fork 就完事了

[Tourin]

已 star

[Rizio]

@heiyutian 说起来有点下流，我。。我好了

[Rizio]

@hasbug 就是要这种没漏的，留给自己 YY 的空间，嘿嘿嘿嘿