V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Mystery0  ›  全部回复第 2 页 / 共 21 页
回复总数  406
1  2  3  4  5  6  7  8  9  10 ... 21  
@tomatocici2333 有账号,今晚我测试一下 A 的风控,看看是不是 A 的限制
@defunct9 #11 这算是一个可能的原因。如果是这样的话,我这爬虫的寿命相当于是终结了

不过业务系统 A 是个外包,应该不会专门做这种吧

明说了吧,业务系统 A 就是 正方教务系统 https://i.imgur.com/NIvxivj.png
@proxytoworld #8 这需要改一下代码,让来自用户的请求先临时停下来,然后再把 cookie 从 B 里面抓出来拿到 Windows 云服务器去访问测试

改动比较大,后面如果还是没有进展也只能试试了

不过说起来,我观察了浏览器上访问业务系统 A 时的请求,它的 Cookie 有刷新的情况,正常先加载 Html ,此时服务端 set 一个 cookie ,然后浏览器开始加载 js 、img 等资源,在这些加载过程中依旧会随机的 set 一个新的 cookie ,从观察情况来看,没有什么规律,也不确定为什么业务系统 A 要 set 一个新的 cookie
@zjsxwc 接触不到 A ,要爬它就是因为改不了动不了它呀 https://i.imgur.com/NIvxivj.png
@kkk9 参数应该是一样的,代理服务器 B 和业务服务 C 都是代码来发的请求,没有道理不一样
Windows 云服务器上的 Edge 浏览器在多次测试过程中使用的都是同一个账号和密码,也没有换浏览器,请求成功和失败的时候参数也应该是一样的

这个东西给我的感觉就像是:我用 Edge 刚刚获取到的 Cookie ,还没开始走到登录接口呢,就突然被什么东西给拿去用了(例如刷新验证码,或者登录其他账号了),等 Edge 走到登录接口了,Cookie 就有问题了
@proxytoworld 对,这也是我十分奇怪的点,按理说不管是不是深信服,VPN 都不应该会“篡改”请求的,但是除了 Atrust 之外,就没有地方可以怀疑了,除非是业务系统 A 改东西了。
因为我在服务器上单独测试过浏览器访问业务系统 A 了,问题依旧出现,说明问题应该不是出现在代理服务器 B 、业务服务器 C 甚至更加往下的服务器

这东西对我的冲击有点像“计算网络不存在了” https://i.imgur.com/NIvxivj.png
因为情况很复杂,所以写了很多的字配上图来说明情况,希望大佬们可以耐心看完 https://i.imgur.com/YGIx7lh.png
帖子不要沉了呀,求大家帮帮我
分子+1
31 天前
回复了 abcfreedom 创建的主题 Apple ios 有没有什么 app 能去掉图片隐私信息的
dama ?
33 天前
回复了 intoext 创建的主题 Debian Debian 这个系统你们一般怎么读?
底半
35 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@beneo 我这里的数据转换很简单,就是接收请求,然后调用新版本的服务,获取到返回数据之后再按照老版本的格式返回,请求量大是因为微信小程序端不升级了,一直在请求老接口
35 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@Immortal 还有一个是组网是用的 tailscale 来跨云联通,这块 k3s 有很多资料(直说了就是米开朗琪杨推的🤣)
35 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@Immortal 第一次用 k3s 的时候,我的活动机都开的是 1c2g ,跑个 k8s 的话就别想跑服务上去了,所以就整了 k3s ,后面受不了机器性能太低,就渐渐的开成 2c4g 的配置了
35 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@Immortal 我组的高可用集群
35 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
36 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@Mystery0 数据库和 redis 在单独的机器上,通过内网连进去,不在 k3s 里面
36 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
https://i.imgur.com/GLsnqm6.png
刚刚去 k3s 截了个图
自己买云厂商活动机组的 k3s ,普遍是 2c4g ,所以对内存很敏感,一旦全部跑在一台机器上面之后,内存爆了机器都连不上

部署的这些东西,除了 python 那个和 halo ,其他都是我自己写的,用 go 写的请求量超大的服务,占用内存也比那几个 java 老服务没流量占用的内存小一大半。
绿色框的 java 服务设置了 jvm 内存限制为 1G ,它的请求量大,占用内存多没得说;蓝色框的两个老服务,基本上没什么流量了,现在设置的 jvm 内存限制是 512M ,再低就起不来了


现在你问我写新东西要用 java 还是 go ?你觉得我该选什么?
从图上看,go 写的东西无论是 cpu 还是内存都比 java 低太多了


————————
FAQ:

1.为什么不加钱上大机器?
A:钱不是大风刮来的,就这一堆,算下来一年都要好几千块钱呢

2.为什么这么多 java 服务?
A:有些是以前写的,为了降低占用,我都把里面的代码改了很多了,老服务做兼容的逻辑,以前是查库,现在我改成了返回死数据。如果时间够,我是真的想把这堆东西全部用 go 重写

3.这是 pod 的占用,有些两个容器的是不是其他容器占用大
A:有两个容器的,第二个容器都是 categraf ,用来采集 promethus 数据上报监控的,没有这个监控,我连哪台机器内存爆了都不知道
1  2  3  4  5  6  7  8  9  10 ... 21  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1054 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 19:14 · PVG 03:14 · LAX 11:14 · JFK 14:14
Developed with CodeLauncher
♥ Do have faith in what you're doing.