sdk

adm

基础安装

安装git

yum install git

安装node

git clone https://github.com/cnpm/nvm.git ~/.nvm && cd ~/.nvm && git checkout `git describe --abbrev=0 --tags`

echo ". ~/.nvm/nvm.sh" >> /etc/profilesource /etc/profile

nvm install v10.16.0

nvm use v10.16.0

node -vnpm -v

nvm alias default v10.16.0

运行项目

npm install -g pm2

pm2 start ./bin/www

server {    listen    443 ssl;    listen    [::]:443 ssl;    server_name  dbtest.rangersprotocol.com;    ssl_certificate "/app/cert/5767542__rangersprotocol.com.pem";    ssl_certificate_key "/app/cert/5767542__rangersprotocol.com.key";    gzip on;    gzip_static on;    gzip_min_length 1k;    gzip_buffers 16 64k;    gzip_http_version 1.1;    gzip_comp_level 9;    gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;    gzip_vary on;    location / {    proxy_pass http://localhost:4000;            proxy_redirect off;            proxy_set_header X-Real-IP $remote_addr;            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;            proxy_set_header Connection "";    }}

pm2 守护进程

安装pm2

cnpm i pm2 -g

项目创建pm2.jsom

pm2 start pm2.json

常用pm2 指令

pm2 start app.js # 启动应用pm2 start app.js --name="demo" # 启动应用名为demopm2 start app.js --watch # 当文件发送变化自动重启应用pm2 start script.sh # 启动 bash 脚本pm2 list # 列出PM2启动的应用列表pm2 show [app-name] # 显示应用的所有信息pm2 logs # 显示所有应用的程序日志pm2 logs [app-name] # 显示指定应用程序的日志pm2 stop all # 停止所有的应用程序pm2 stor 0 # 停止id为0的应用pm2 restart all # 重启所有应用pm2 restart 0 # 重启id为0的应用pm2 delete all # 关闭删除所有应用

收集

log_format配置

log_format main '$time_local        -       -       $http_x_real_ip $http_host      $status $request_time   $request_length $body_bytes_sent        15d04347-be16-b9ab-0029-24e4b6645950    -       -       9689c3ea-5155-2df7-a719-e90d2dedeb2c    937ba755-116a-18e6-0735-312cba23b00c    $request_method $server_protocol        $request_uri    -       $http_user_agent        -       sample=-&_UC_agent=-&test_device_id=-&-      -       -       -';

用于接受来自SDK的打点请求

location = /test.gif {    empty_gif;}

测试

05/Aug/2020:20:23:06 +0800        -       -       - www.xl-jk.com      200 0.000   491 43        15d04347-be16-b9ab-0029-24e4b6645950    -       -       9689c3ea-5155-2df7-a719-e90d2dedeb2c    937ba755-116a-18e6-0735-312cba23b00c    GET HTTP/1.1        /test.gif?a=1    -       Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36        -       sample=-&_UC_agent=-&test_device_id=-&-      -       -       -

日志监听

yum install rsyslogyum install rsyslog-kafka.x86_64

# 加载omkafka和imfile模块module(load="omkafka")module(load="imfile") # nginx templatetemplate(name="nginxAccessTemplate" type="string" string="%hostname%<-+>%syslogtag%<-+>%msg%\n") # rulesetruleset(name="nginx-kafka") {    #日志转发kafka    action (        type="omkafka"    template="nginxAccessTemplate"        topic="fee-test"        broker="localhost:9092"    )} # 定义消息来源及设置相关的actioninput(type="imfile" Tag="nginx-accesslog" File="/var/log/access.log" Ruleset="nginx-kafka")

日志消费

mac 安装kafka

brew install kafka

brew cask install java8

/usr/local/Cellar/zookeeper/usr/local/Cellar/kafka

/usr/local/etc/kafka/server.properties/usr/local/etc/kafka/zookeeper.properties

brew services start zookeeperbrew services start kafka

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

kafka-topics --list --zookeeper localhost:2181

kafka-console-producer --broker-list localhost:9092 --topic test

node-schedule定时器

安装

npm install node-schedule

例子

const schedule = require('node-schedule')// 每小时的 第42分钟 执行一个任务 注意是5个星号（最多可有6个星号，从左到右分别代表：秒（0-59）、分（0-59）、时（0-23）、天（1-31）、月（1-12）、星期几（0-7 0和7代表周日））const job = schedule.scheduleJob('42 * * * *', function(){  console.log('The answer to life, the universe, and everything!');});

每秒和每分钟执行一次

// 每秒执行一次const job = schedule.scheduleJob('*/1 * * * * *', function(){  // do some});// 每分钟执行一次const job = schedule.scheduleJob('*/1 * * * *', function(){  // do some});

// 每小时的第2分钟的第1秒执行一次const job = schedule.scheduleJob('1 2 * * * *', function(){  // do some});

指定一个日期执行

// 2022-1-25 20:56执行一次const date = new Date(2022, 0, 25, 20, 56, 0);const job = schedule.scheduleJob(date, function(){  // do some});

在将来使用当前数据：

const date = new Date(2022, 0, 25, 21, 4, 0);let x = 1;const job = schedule.scheduleJob(date, function(y){  // do some  console.log(y); // 1}.bind(null,x));x = 2

用自定义规则来执行任务：

// 每分钟的第1秒执行一次const rule = new schedule.RecurrenceRule();rule.second = 1;const job = schedule.scheduleJob(rule, function(){  // do some});

// 在每周4/5/6 的17时0分执行一次const rule = new schedule.RecurrenceRule();rule.dayOfWeek = [0, new schedule.Range(4, 6)];rule.hour = 17;rule.minute = 0;const job = schedule.scheduleJob(rule, function(){  // do some});

支持时区：

// 用UTC时间const rule = new schedule.RecurrenceRule();rule.hour = 0;rule.tz = 'Etc/UTC';const job = schedule.scheduleJob(rule, function(){  // do some});

RecurrenceRule属性：

支持对象字面量规则：

// 每周日下午2点半 执行一次const job = schedule.scheduleJob({hour: 14, minute: 30, dayOfWeek: 0}, function(){  // do some});

支持开始时间和结束时间：

// 延迟5s后开始，10s后结束const startTime = new Date(Date.now() + 5000);const endTime = new Date(startTime.getTime() + 5000);const job = schedule.scheduleJob({ start: startTime, end: endTime, rule: '*/1 * * * * *' }, function(){  // do some});

优雅（等待所有的工作被终止）的关闭任务，返回promise：

schedule.gracefulShutdown();

系统中断时，优雅的关闭作业

process.on('SIGINT', function () {   schedule.gracefulShutdown()  .then(() => process.exit(0))}

取消某个作业：

j.cancel();

页面性能监控