这是一个创建于 2742 天前的主题，其中的信息可能已经有所发展或是发生改变。
大家好！ 我是"一步采集"的作者。 地址： http://onestepspider.51pashanhu.com/
一步采集通过分析网页 HTML 结构，尝试自动识别出页面中的列表数据，比如 V2EX 列表的主题数据，包括字段标题、时间、作者、阅读量等等。 还有常见的表格类数据。
并且，程序内还有一套“分页识别算法”，自动分析出下一页，以实现采集分页数据的功能。
优点：相对于其他同类产品，一步采集的速度是有非常大的优势，采集一个常规网页，基本都是在秒级别。
缺点和不足： 对于 Ajax 加载的网页还不支持，详情页的识别还在开发中。
这个产品目前还是一个 Demo 阶段，欢迎大家提供宝贵意见！ 我们持续改进！
 |
1
oness OP 核心点就 2 个：自动识别列表算法、自动识别分页算法。
下一步的自动采集内容页，涉及正文提取算法。 这个目前有很成熟的算法，很好搞定。 |
 |
2
whung 2017-06-17 15:07:27 +08:00 via iPhone  1
收藏下支持一下你
|
 |
3
mingyun 2017-06-17 23:12:29 +08:00
试了下，速度挺快的，都不用写代码了
|
 |
4
watermelon92 2017-06-17 23:39:31 +08:00
实测速度的确快啊，怎么做到的
|
|
5
oness OP |
 |
6
xiaoqiang0704 2017-06-18 16:31:30 +08:00
确实很方便。可以进一步分享实现的方式吗
|
 |
7
jayli517 2018-02-06 05:54:41 +08:00
找东西的时候发现的，已经 200 多天了，不知道还更新不更新了，爬山虎采集器倒是评测感觉挺好的
|
Select Language