爬取各高校信息，有什么好的方案么？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2454 天前的主题，其中的信息可能已经有所发展或是发生改变。

毕设是关于高校信息的一个系统，需要先爬取各高校信息（专业排名（是否重点）、师资力量、校园图片、招生人数和分数线每年）。但是各学校网站结构又不尽一样，不知道有啥好的办法？

目前是找到一个这方面信息比较全的网站： http://gkcx.eol.cn .实在不行，只能从这爬了...

很好奇，这个网站是如何实现各高校信息的抓取的呢？是跟学校有合作，还是就程序爬，还是每年人工输入，亦或是几种结合？

11 条回复 • 2018-03-06 20:16:02 +08:00

Len1133

2018-03-06 09:37:17 +08:00

高考报志愿的时候有一本参考书，你可以上那本书的网站看看

lunatic5

2018-03-06 09:53:54 +08:00

本科不知道，专科的话可以去职成网。

wisej

2018-03-06 11:37:26 +08:00

@lunatic5 本科得有 - -

wisej

2018-03-06 11:39:41 +08:00

@Len1133 这个我有印象，但是早忘了书名是啥，更别说网站了

dobelee

2018-03-06 13:03:10 +08:00 via Android

這類信息不好爬，藏得很深。

wisej

2018-03-06 14:44:36 +08:00

@dobelee 是啊，每个高校网站结构还不一样。所以很好奇那个网站是怎么做的

z919zzz

2018-03-06 16:00:17 +08:00 via Android

江西叫高考天地

wisej

2018-03-06 18:39:34 +08:00

@z919zzz 哇我也是江西的。谢啦，已经决定就爬那个网站了

b821025551b

2018-03-06 18:41:27 +08:00

百度百科:doge:

z919zzz

2018-03-06 19:22:05 +08:00 via Android

@wisej 还有微信公众号江教在线

wisej

2018-03-06 20:16:02 +08:00

@b821025551b 你怎么知道我要这么干:doge:，不过录取分数线还是得走那个网站