探索 PM2 Cluster 模式下 Log4js 日志丢失

更新日期: 2018-12-30阅读: 3.6k标签: pm2

Node 应用为单线程应用,JS 虽可利用异步 I/O 避免线程阻塞,但无法利用多核 CPU 的优势提升运行效率,提高吞吐量仍需多线程。Node Cluster 可产生多个工作线程共享同一 TCP 连接,主线程通过 IPC 通道与工作线程通讯,并使用 Round-robin 负载均衡极好的处理线程间压力。

PM2 Cluster 使得 Node 操作集群更加容易,PM2 会根据服务器 CPU 核数产生相应的工作线程,只需按如下方式启动应用:

pm2 start app.js -i 0


但 PM2 Cluster 与 Log4js 相撞时,砸出了大坑,本人踩了进去。

踩坑经过:某日服务端同学上报了一线上请求参数异常日志,为追踪异常产生原因,我在所有线上服务器翻查均未寻到相关日志。服务端异常日志并非捏造,前端日志丢失并非偶然。为统计日志丢失率,在线下环境定量发起 100 条请求,结果仅产生 25 条日志,多次实验发现丢失率稳定在 3/4 令人发指!热(好)爱(奇)技(心)术(重)的我查阅了 Log4js 源码:

configuration.addListener((config) => {
    // clear out the listeners, because configure has been called.
    listeners.length = 0;

    disabled = config.disableClustering;
    pm2 = config.pm2;
    pm2InstanceVar = config.pm2InstanceVar || 'NODE_APP_INSTANCE';

    debug(`clustering disabled ? ${disabled}`);
    debug(`cluster.isMaster ? ${cluster.isMaster}`);
    debug(`pm2 enabled ? ${pm2}`);
    debug(`pm2InstanceVar = ${pm2InstanceVar}`);
    debug(`process.env[${pm2InstanceVar}] = ${process.env[pm2InstanceVar]}`);

    // just in case configure is called after shutdown.
    if (pm2) {
        process.removeListener('message', receiver);
    }
    if (cluster.removeListener) {
        cluster.removeListener('message', receiver);
    }

    if (config.disableClustering) {
        debug('Not listening for cluster messages, because clustering disabled.');
    } else if (isPM2Master()) {
        // PM2 cluster support
        // PM2 runs everything as workers - install pm2-intercom for this to work.
        // we only want one of the app instances to write logs.
        debug('listening for PM2 broadcast messages');
        process.on('message', receiver);
    } else if (cluster.isMaster) {
        debug('listening for cluster messages');
        cluster.on('message', receiver);
    } else {
        debug('not listening for messages, because we are not a master process.');
    }
});

请注意:

PM2 runs everything as workers - install pm2-intercom for this to work.

Log4js 在 Cluster 模式下,worker 将日志发送至 master,master 实现日志写入文件。但在 PM2 Cluster 模式下,所有进程皆为 worker:


于是按照 Log4js 源码的指引安装 pm2-intercom 进程间通讯模块:


仍不奏效,又注意到 isPM2Master():

const isPM2Master = () => pm2 && process.env[pm2InstanceVar] === '0';
const isMaster = () => disabled || cluster.isMaster || isPM2Master();

isPM2Master 通过 Log4js configure 中 pm2 及 pm2InstanceVar 参数确定,于是修改 Log4js 配置如下:

Log4JS.configure({
    // ...
    pm2: true,
    pm2InstanceVar: 'INSTANCE_ID'
});

终于解决了 PM2 Cluster 模式下 Log4js 日志丢失问题。


补充一下:

自行实现 Node Cluster:

const OS = require('os');
const Cluster = require('cluster');
const Koa = require('koa');
const App = new Koa();
if (Cluster.isMaster) {
    for (let i = 0; i < OS.cpus().length; i++) Cluster.fork();
    console.log('master', process.pid);
} else {
    App.listen(3000);
    console.log('worker', process.pid);
}

端口 PID 与控制台显示的 PID List 关系:



使用 PM2 Cluster 启动 Node 应用,端口 PID 与 PM2 控制台显示的 PID List 关系:



作者:呆恋小喵
原文链接:https://sunmengyuan.github.io/garden/2018/08/23/cluster-log.html



链接: https://fly63.com/article/detial/1731

pm2的使用与总结,一款node.js服务器管工具

pm2的使用心得,Node服务常使用的工具是pm2和forever,通过它可以是node的服务在后台运行。通过pm2对node进程的管理,可以简化很多繁琐的任务,例如性能监控、自动重启、负载均衡等

使用pm2快速将项目部署到远程服务器

当我们需要将项目部署到远程线上服务器时;传统的方法可能就是:将本地代码通过ssh、ftp等方式上传到服务器;然后通过ssh登入到服务器,配置好环境;手动启动应用。太过手动化,麻烦,操作繁琐。

pm2 命令使用

启动时指定日志存放的文件位置;使用配置文件的方式.注意: 如果你已经启动过了项目,那么再次启动项目时指定的日志路径是不生效的,需要先在pm2实例列表中把该项目清除掉,按照id单个清除如:pm2 delete [id] 或者全部清除掉 pm2 delete all

pm2常用指令

node守护进程比较nodemon:开发环境使用,修改后自动重启。 forever:管理多个站点,每个站点访问量不大,不需要监控。 pm2:网站访问量比较大,需要完整的监控界面。

PM2实现Nodejs项目自动部署

首先简单说下思路:本地git仓库与远程仓库关联(github、码云等平台),然后pm2按照指定配置登录服务器,拉取远程仓库的代码更新,再执行一些指定的命令(如打包等)。

在生产环境中运行PM2和Node.js

在Stream,我们构建了许多应用程序来展示我们的服务所提供的出色功能。对于几乎所有的应用程序,我们都将它们放在一个云服务器上—通常是DigitalOcean或AWS EC2。虽然维护代码库和维持它的相关性是有困难的

PM2_ Node 应用的进程管理器

pm2是一个带有负载均衡功能的 Node 应用的进程管理器。当你要把你的独立代码利用全部的服务器上的所有CPU,并保证进程永远都活着,0秒的重载, PM2是完美的。它非常适合IaaS结构,但不要把它用于PaaS方案

pm2管理node服务

全局安装pm2;检测pm2是否安装成功,在命令行输入pm2 -v;先查看pm2路径;从全局路径随便选一个,把pm2路径软连接到全局路径上

pm2的配置文件

PM2 是 node 进程管理工具,可以利用它来简化很多 node 应用管理的繁琐任务,如性能监控、自动重启、负载均衡等,而且使用非常简单。这篇文章主要介绍pm2配置文件的相关写法

pm2常用命令

pm2(Process Manager 2)是具有内置负载均衡器的Node.js应用程序的生产运行时和进程管理器。它允许您永久保持应用程序活跃,无需停机即可重新加载它们,并促进常见的Devops任务

点击更多...

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!