最近正在学习 Go,想写一个爬虫来练练手。
但是不知道该爬些什么,大家有没有什么建议的目标站点或者好玩的点子,都可以提出来。
这个主要是练习和玩,写完之后代码会直接开源。
1
meik2333 2019-08-27 18:09:32 +08:00 1
|
2
upczww 2019-08-27 18:12:53 +08:00 via Android
爬携程,美团,淘宝,这些都非常好爬
|
3
ylsc633 2019-08-27 18:15:27 +08:00
我曾入行时学习 php 的时候 用 php 的 cUrl 趴了 达盖尔 板块的图!
|
5
siriussilen 2019-08-27 18:18:31 +08:00
@Ritter 好爬+2
|
8
cxsz 2019-08-27 18:38:34 +08:00
豆瓣 爬电影信息,评分,观影人数啥的
|
10
roryzh 2019-08-27 19:36:30 +08:00 1
jav
|
11
default7 2019-08-27 22:43:04 +08:00
为什么不是 py
|
12
skiy 2019-08-27 23:19:22 +08:00 via Android
|
13
fivestrong 2019-08-27 23:38:38 +08:00 via iPhone
爬 dmm 吧,整个电影库。
|
14
XxxxD 2019-08-27 23:49:39 +08:00
从自己兴趣出发啊
|
15
misaka19000 2019-08-27 23:56:07 +08:00
写啥爬虫啊,没什么技术含量
|
16
rayhy 2019-08-28 00:00:49 +08:00 via Android
写个 golang 版本的 rsshub 吧,能考验下自己怎么组织代码,怎么设计 API,怎么方便别人帮你写某个网站的爬虫。
|
17
herozzm 2019-08-28 00:17:24 +08:00
@siriussilen 好爬+3
|
18
mumbler 2019-08-28 00:35:47 +08:00
爬 youtube 所有带中文字幕的视频
|
19
MMMMMMMMMMMMMMMM 2019-08-28 08:10:20 +08:00
某 hub 视频
|
20
omph 2019-08-28 08:44:57 +08:00
微信、微博、豆瓣等资源大户
|
21
ctro15547 2019-08-28 08:49:35 +08:00
国内外各种大秀直播平台的流媒体地址抓取,做个整合,做成 api,外接个播放工具,或者动手写写安卓,就取名叫 XX 聚合直播吧,放墙外收费,到手的钱,写个监控各挖矿币种走势的爬虫,自动买币,一条龙
|
23
sadfQED2 2019-08-28 09:13:02 +08:00 via Android
https://github.com/Jinnrry/getAwayBSG 上次看见的,跟进一下?
|
25
qq7790586 2019-08-28 10:19:57 +08:00
顺便借楼问下,爬虫是 python 还是 go 好呢?
|
26
ClericPy 2019-08-28 11:37:52 +08:00
golang 实现其他语言的著名 爬虫框架, 主要是模仿 API 或者架构
或者最简单的模仿其他语言的好用的 http 请求库, 主要了解下设计和命名方式 或者实现 curlparse, 也就是 curl string 和 struct 互转 边看边学, 最简单的还是直接照抄 Github 已有项目, 很多时候自己摸索的进度完全不如直接看好代码, 刚入门多学学别人的设计和风格比自己瞎写有用得多 |
28
tushile928 2019-08-28 13:32:12 +08:00
爬可用 6 位数以内域名
|
29
andy1ee11o2 2019-08-28 13:37:43 +08:00
Fanza
|
30
amwyyyy 2019-08-28 13:49:37 +08:00
我之前刚玩的时候把某 h 网站的图片全下了
|
31
encro 2019-08-28 13:57:47 +08:00
网易考拉 趁倒闭前收集 SKU 分析分析
|
32
laravel 2019-08-28 13:58:16 +08:00
p 站(p**nh*b)视频中文留言
|
35
qiuBiLiBiLima 2019-08-28 17:00:07 +08:00
大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去
|
36
qiuBiLiBiLima 2019-08-28 17:02:27 +08:00
大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去 这个是地址 https://github.com/loadchange/amemv-crawler
|