Cpu

版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 1. 前言 最近经历了一次AI预测模型工程化性能调优，这里分享出来，希望对大家有所启发。 模型是keras训练的神经网络预测模型，输入一段文本，输出文本的分类结果。为了对外提供服务，已经将模型用 gunicorn + flask对模型进行封装，提供http接口。 环境 OS：ubuntu 18.04 CPU：32核 内存: 256GB 显卡: Tesla P100 前期的压测结果 wrk -t4 -c100 -d30s --script=post.lua --latency http://localhost:8080/api/predict 类型 CPU GPU QPS 2.4 12.41 2. 观察性能指标 QPS过低不能满足业务方的要求，所以萌叔尝试对封装好的服务进行调优。 仔细观察了各项系统指标之后(cpu、load、磁盘IO、内存使用率、虚拟内存页换入换出) 萌叔发现了一个疑点。 2.1 keras 使用CPU 在压测的过程中，CPU的使用率只能达到70%左右 2.2 keras 使用GPU 在压测的过程中，GPU的使用率只能达到30%左右 神经网络模型对文本分类的预测过程，实际就是将输入文本转换成数值，再带入神经网络，进行的2次计算的过程。这是一个计算密集型的场景，性能瓶颈应该是CPU/GPU; 如果CPU、GPU没有打满，则说明性能仍有提升的空间。 3. 调优 3.1 初始协程模式 web使用Flask开发，启动脚本如下: gunicorn -k gevent -t 300 -b 0.0.0.0:8080 run:app gunicorn有几种工作模式 sync (进程模式) eventlet gevent (协程模式) tornado gthread gevent是一种协程模式，它的特点是在请求的处理过程中有IO调用时(或者当前的协程主动让出CPU)，会自动触发切换上下文切换，启动另一个协程，提高CPU的利用率。它特别适用于IO密集型的场景，尤其是对于处理过程中有对数据库的调用，第三方服务调用的情况。 ...