RT, flask 时一个通常情况下是一个单进单线框架,所以生产一般会还会套一层 Gunicorn + Gevent 来满足并发需求,但是最近在给模型封装 webapi 的时候我萌生疑问:
1
yinmin 2023-03-21 17:05:09 +08:00
Gunicorn 是一定要用的,Gevent 要具体分析。Gevent 是基于协程的,需要连续 2 次 IO(例如:数据库、redis 、文件等)之间没有长时间的密集计算,否则会卡卡的。如果有长时间封闭式密集计算,Gunicorn+thread 更好些。
对于第二个问题,Gevent 模式不区分 gpu 和 cpu ,只考虑协程模式下,多协程能否有效运行。 |
2
yinmin 2023-03-21 17:20:46 +08:00 1
使用 Gunicorn + Gevent ,如果长时间无 io 的密集计算,需要定期运行 gevent.sleep(),把控制权交回 gevent 的事件循环,允许其他协程运行。同时,启用多个 workers 来提升并发量。
|
3
Oilybear OP @yinmin 很感谢回复,可能我这个问题的核心确实应该是问 “是否还需要 gevent” 更合适一些,因为目前的服务为纯计算服务,慢 IO 我想应该只有异常日志会触发磁盘 IO ,所以想来可能确实不需要 gevent
|
4
Oilybear OP 另外还想向大家咨询,如果服务器上 GPU 不支持 VM 的话,使用 docker 部署多个容器使用同一块 GPU 是否类似于抢占式的场景,还是类似多线或者多进程并行场景
|
7
so1n 2023-03-21 17:55:26 +08:00
如果给算法模型做 gateway 没有 IO 操作 gevent 可以不要
|
9
chenzi0103 2023-03-21 23:41:51 +08:00
用 ray 来实现
|
10
dayeye2006199 2023-03-22 01:41:13 +08:00
gthread ,甚至流量不大的时候 sync 模式都可以。
online inference 一般不会上 GPU ,因为往 GPU 上面来回搬数据也是有 overhead 的。特别是你自己写的服务,没有做 batching 的话,就是不断的搬很小的 tensor ,做很简单的运算。这个时候这个 IO 开销会超过运算开销。 如果是做批量 inference (比如在数据管道里),可以考虑上 GPU 。 几个程序一起用 GPU 我记得默认和多进程模型类似,timesharing 模式,不同进程切分为 time slices ,上 GPU 执行,CUDA 里面有个中央的调度器。 nvidia 也有更高级的执行模式(可能要收费的),可以几个 kernel 一起上 GPU 并行执行,这样程序就不用中断。 但这个 schedule 算法是闭源的,谁也说不清楚是咋弄的, |
11
zeromovie 280 天前
我是用 fastapi 加上 uvicorn 做算法的封装,配合 asyncio ,也能满足异步需求
|