什么值得买的 rss 订阅在抓取的时候遇到安全验证了怎么办

[freefreesea]

最近想把什么值得买的几个榜单加到热榜站里去，然后看到官方提供了 rss 源
https://www.smzdm.com/dingyue/
但是请求过去会遇到验证码验证，这种情况下怎么做。

如果通过个人账号的 cookie 去做的话，这个 cookie 的有效期是多久，会不会对账号有影响。
我看好多热榜站都有什么值得买的榜单，所以就来咨询下朋友们

[queue]

你猜什么值得买的技术会不会也在这个站里

[freefreesea]

@queue 所以呢，我看全网很多地方都有什么值得买的榜单，说明他是可取的，只是我的方案不对，我来咨询下正确方案有什么问题呢，这位朋友

[queue]

@freefreesea #2 没问题，我的意思是，什么值得买的技术可能也在群里，然后他们可能发现这件事，然后有可能封禁掉。没有不允许你提问的意思

[freefreesea]

@queue 全网几乎 80%的热榜站都有什么值得买的榜单，而且已经很多年。那么这种情况下，你觉得是 [什么值得买] 的技术团队一直发现不了这件事，还是说本身这件事就是允许的

[lavvrence]

更换包括 User-Agent 和 JA3/JA4 指纹这类客户端特征。

[NewYear]

Linuxdo 也这样，开放 RSS ，但服务器通过代码访问不了，然后站长还会很贴心给一个测试截图和你说，RSS 访问没问题啊。

甚至有人发帖问《为什么 RSS 是给非浏览器访问的，却要验证浏览器？》，终于在半年前，彻底锁死非浏览器访问，然后不了了之。

而 smzdm ，我试了下，即便是正常浏览器，也访问不了，无解。

当然啦，你也可以通过他们的联系方式联系一下，能解决的话其实都不是什么大问题。

[RangerWolf]

http://feed.smzdm.com/ 我简单用 curl 尝试了一次 没有触发验证码
是不是你请求频率太高了？

[maocat]

别人都在犯法，为什么我一犯法就被抓，别人是如何避免被抓的

[ronyin]

那你可以反向看看那些热榜的网站，他们用了什么代码

[freefreesea]

@NewYear 是的，咱俩心路历程一样啊，我也是弄 L 站的，过不了验证，然后 smzdm 也是，偶尔可以访问成功，再就是要么出 403 ，要么出腾讯验证码，还会出别的！难啊兄弟

[freefreesea]

@ronyin 他们都是闭源的，收费项目一大堆，咱这做公益站的，人家肯定不会和咱交流

[freefreesea]

@RangerWolf 你再试下其他两个看看

[queue]

@freefreesea #4 说明别人没有被发现

[RangerWolf]

@freefreesea #12 确实 第二个就需要验证了

[zhengfan2016]

可以参考下 rsshub 的实现，基本上大部分热门的网站这里都有


op 这个帖让我想起以前我的帖子
[大神们，爬虫如何绕过不讲武德的阿里云的云盾] - https://v2ex.com/t/736334