V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  endoffight  ›  全部回复第 5 页 / 共 38 页
回复总数  746
1  2  3  4  5  6  7  8  9  10 ... 38  
2019-12-03 14:51:50 +08:00
回复了 endoffight 创建的主题 分享创造 分享一个最近写的 http 代理池工具 proxy_pool
@xjoker

这个问题其实之前考虑过,因为池子可能不是给某一个爬虫使用,所以当时考虑到创建多个池子,然后针对每一个池配置一个检测代理是否可用的规则,所以我在开发的时候预留了 master 和 worker 模式,master 负责爬,每个 work 会维护自己的池子,m 会把采集到的代理分发到所有 w 中。

但是检测一个代理 IP 是否可用,仅仅靠 http code==200 应该是不够的,遇到 API 类型的 url,可能要解析一下,然后判断某个字段是否正确;或者 html 中出现了某个关键字;还可能有更复杂的判断模式,当时想很多东西,撸代码的时候觉得还是先把基本功能实现了再说。

综上,目前这个项目还是属于初级阶段,代理池时作为一个中立的池子。而你说的这个 feature 等有了 M/W 模式后就很好实现了。现阶段想满足你的需求修改 proxy 的 TestProxy 方法为你自己的逻辑即可。
2019-12-03 11:52:57 +08:00
回复了 endoffight 创建的主题 分享创造 分享一个最近写的 http 代理池工具 proxy_pool
@xjoker 目前用的是 ip.cip.cc ,这个 url 直接返回客户端 ip,方便比较

是有需求吗?
2019-11-29 19:25:25 +08:00
回复了 gamesover 创建的主题 Docker 有没有轻量级的 docker 部署方案
rancher
nodejs 可破
2019-09-27 10:15:30 +08:00
回复了 TheRightMan 创建的主题 问与答 怎样高效共享大量文件到国外?
开个国外的 vps,一般都是 g 口,然后在国内把 90g 分拆成 N 份 rsync 到 vps,可以同时用不同的网络上传,保证上行速度
花牌情缘
ts551 了解一下
2019-08-23 23:43:10 +08:00
回复了 51300520 创建的主题 问与答 mongodb 不用它自己生成的主键行不行?
mongodb 必须要存在_id 列,只是你没有主动给他设定值而已,所以解决的办法就是把你想要设置的主键名改为_id 就好
2019-07-10 20:01:35 +08:00
回复了 hefang 创建的主题 问与答 求推荐显示器?? 4K?? 27 寸及以上??
KOIOS K2418U 23.8 英寸 4K 原装 LG IPS HDR FreeSYNC 专业设计显示器

618,799 入的,带 3 年保,给我的黑果用,自动视网膜屏,坏了也不心疼
2019-06-24 20:46:14 +08:00
回复了 ycz0926 创建的主题 剧集 美剧 危机边缘 据说不错
开始以为是走近科学,后面就给烂尾了
2019-06-23 09:49:54 +08:00
回复了 lxy 创建的主题 分享创造 phpMyAdmin Docker 简单配置
adminer 了解一下
2019-06-18 18:19:02 +08:00
回复了 caneman 创建的主题 Docker Dockerfile CMD 中如何执行多条命令?
1,托管程序,比如 supervisor
2,分成两个容器
3, 让第一个 cmd 后台运行,然后&&接 cmd2
2019-06-14 16:26:29 +08:00
回复了 koolob 创建的主题 北京 迫于甲醛,起诉了自如
@koolob 能不能分享一下起诉书,我下一步也准备起诉自如
2019-06-12 16:15:33 +08:00
回复了 koolob 创建的主题 北京 迫于甲醛,起诉了自如
支持维权,和楼主一样,不过我还在等检测结果
2019-06-11 09:22:04 +08:00
回复了 RLinux 创建的主题 问与答 创建个人博客是否有必要
你愿意用 opencart 搭建一个电商平台,还是直接在大平台开店?

个人建议,自己折腾比较有意思。
ZW5kb2ZmaWdodEBxcS5jb20=
感谢楼主
2019-03-29 09:11:27 +08:00
回复了 hronro 创建的主题 macOS 有还停留在 10.11.6 的老哥吗?
10.13.6 黑苹果 +1
2019-03-12 19:51:00 +08:00
回复了 bbsanimal 创建的主题 macOS windows 连 macos 有啥好的远程软件嘛
realvnc
1  2  3  4  5  6  7  8  9  10 ... 38  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3200 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 42ms · UTC 13:41 · PVG 21:41 · LAX 06:41 · JFK 09:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.