Gunicorn 在某些页面上将 CPU 飙升至 100%......杀戮性能

Gunicorn spiking CPU to 100% on certain pages...killing performance

提问人:demluckycharms 提问时间:9/12/2018 更新时间:9/12/2018 访问量:2971

问:

我有一个通过 Nginx / Gunicorn 提供的 Django 应用程序。加载某些页面时,Gunicorn 的 CPU 使用率飙升至 100% 并完全降低性能,导致页面加载需要 10 秒。

我没有进行任何数据库调用 - 我已经加载了所有结果。它应该非常快,所以这种疯狂的减速是疯狂的。memcached

gunicorn_start:

NAME="name"                                  # Name of the application
MAINDIR=/opt/name/
DJANGODIR=/opt/name/path             # Django project directory
SOCKFILE=/opt/name/run/gunicorn.sock  # we will communicte using this unix socket
USER=nginx                                       # the user to run as
GROUP=nginx                                      # the group to run as
NUM_WORKERS=3                                     # how many worker processes should Gunicorn spawn
DJANGO_SETTINGS_MODULE=name.settings             # which settings file should Django use
DJANGO_WSGI_MODULE=name.wsgi                     # WSGI module name

LSCPU:

Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                8
On-line CPU(s) list:   0-7
Thread(s) per core:    1
Core(s) per socket:    1
Socket(s):             8
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 63
Model name:            Intel(R) Xeon(R) CPU E5-2660 v3 @ 2.60GHz
Stepping:              2
CPU MHz:               2593.993
BogoMIPS:              5187.98
Hypervisor vendor:     VMware
Virtualization type:   full
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              25600K
NUMA node0 CPU(s):     0-7

nginx.conf文件:

user  nginx;
worker_processes  8;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    client_max_body_size 20M;
    keepalive_timeout  0;

    gzip  on;
    gzip_vary on;
    gzip_min_length 10240;
    gzip_proxied expired no-cache no-store private auth;
    gzip_types text/plain text/css text/xml text/javascript application/x-javascript application/javascript application/xml;
    gzip_disable "MSIE [1-6]\.";

    include /etc/nginx/conf.d/*.conf;

这将部署到远程测试服务器。我尝试将 in 设置为 1、3、9 和 17,但无论如何问题仍然存在。NUM_WORKERSgunicorn_start

当我关闭 gunicorn 并在机器上本地运行它时,问题消失了,速度也很好,所以我知道问题出在 Nginx 或 Gunicorn 上。manage.py runserver

Django nginx gunicorn

评论

0赞 vindev 2/19/2021
你是如何解决这个问题的?
0赞 dev93 3/31/2021
你能解决这个@demluckycharms吗?
0赞 Chris 4/12/2021
我面临同样的问题。Gunicorn 与 UvicornWorkers,由 Nginx 反向代理。不知道为什么它堵塞了。只需加载登录屏幕并设置 CSRF cookie(因此本身不执行任何登录 POST)就会使我的 CPU 飙升至 100%,从而阻塞所有内容。我调整了 --workers 和 --threads 的地狱,从零到十个,我仍然得到 100%+ CPU 峰值在 docker-swarm 上运行,我什至将 django 容器复制到 5,仍然同样缓慢的响应
1赞 WMRamadan 4/25/2021
你有没有试过使用 github.com/benfred/py-spy 并将其连接到 gunicorn 主进程,并使用 -subprocesses 同时自动记录所有工作进程。
0赞 Alexei Martchenko 5/10/2023
服务器 CONF 在哪里?有服务器和位置块的那个?您只发布了主 conf,其他的都在 /etc/nginx/conf.d/ 中

答: 暂无答案