Nginx 作为现代 Web 架构中最流行的反向代理和 Web 服务器之一，其作为网站流量入口, 日志文件包含了大量有价值的信息。我们可以通过分析这些日志，了解网站的实际运行状况、用户行为模式，并及时发现潜在问题。本文将详细介绍如何使用命令行工具和脚本对 Nginx 日志进行深入分析，涵盖从基础统计到高级异常检测的各种常用命令。

一、 Nginx 日志格式解析

在开始分析之前，我们需要了解 Nginx 的日志格式。典型的 Nginx 访问日志格式如下（可以在 nginx.conf 中通过 log_format 指令自定义）：

log_format  timed_combined  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" '
                        '$request_time $upstream_response_time';

这个 Nginx 日志格式 timed_combined 定义了多个字段，每个字段记录了 HTTP 请求的不同信息。

$remote_addr: 客户端的 IP 地址（直接访问服务器的 IP）
$remote_user: HTTP 基本认证中的用户名（如果启用认证）
$time_local: 服务器本地时间的访问时间戳，格式通常为 [日/月/年:时:分:秒 时区]
$request: 客户端请求的原始 HTTP 方法、路径和协议版本。
$status: 服务器返回的 HTTP 状态码。
$body_bytes_sent: 发送给客户端的响应体字节数（不含响应头）
$http_referer: 请求的来源页面 URL（即用户从哪个链接跳转过来）
$http_user_agent: 客户端的用户代理（浏览器、设备等信息）
$http_x_forwarded_for: 此字段记录客户端 IP
$request_time: 服务器处理请求的总时间（从接收到客户端第一个字节到发送完响应，单位：秒）。
$upstream_response_time: 如果请求被代理到上游服务器（如 PHP-FPM、后端服务），此字段记录上游服务器的响应时间（单位：秒）

一条实际的日志记录可能如下所示：

79.95.86.141 - - [28/Apr/2025:01:29:06 +0000] "POST /keepalive HTTP/2.0" 200 60 "https://www.google.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36" "79.95.86.141" 0.024 0.023

二、 常用日志分析

1. 统计今日请求最多的 URL

grep $(date +%d/%b/%Y) /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -n 20

命令解析：
grep $(date +%d/%b/%Y): 筛选出今天的日志（格式如 28/Apr/2025）
awk ‘{print $7}’: 提取 URL（第 7 个字段）
sort: 排序 URL 以便统计
uniq -c: 统计每个 URL 出现的次数
sort -nr: 按出现次数降序排序
head -n 20: 只显示前 20 条结果

2. 统计某个时间段请求最多的 URL

awk '$4 >= "[28/Apr/2025:01:00:00" && $4 < "[28/Apr/2025:02:00:00"' /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -n 20

3. 找出访问次数最多的 10 个 IP

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 10

4. 找出某个时间段访问最多的 IP

awk '$4 >= "[28/Apr/2025:01:00:00" && $4 < "[28/Apr/2025:02:00:00"' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -n 10

5. 找出响应超过 n 秒的 URL

当我们想找出响应时间超过 5 秒的请求（需要日志中包含响应时间字段，需要在 log_format 中添加$request_time）：

awk '$NF > 5 {print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -5

6. 实时筛选 Nginx 日志

tail -f /var/log/nginx/access.log

结合 grep 进行实时筛选，例如只显示 404 错误：

tail -f /var/log/nginx/access.log | grep '" 404 '

更高级的实时监控可以使用 ngxtop 工具或者 goaccess, 本文不做介绍!可自行查询!

7. 统计每秒的 QPS

计算每秒的请求量可以帮助我们了解流量情况：

awk '{print $4}' /var/log/nginx/access.log | cut -d: -f2-3 | uniq -c

更精确的每秒 QPS 统计：

awk '{split($4, a, ":"); print a[2]":"a[3]":"a[4]}' /var/log/nginx/access.log | sort | uniq -c

要统计特定时间段的 QPS 变化：

awk '$4 >= "[28/Apr/2025:01:00:00" && $4 < "[28/Apr/2025:02:00:00"' /var/log/nginx/access.log | awk '{split($4, a, ":"); print a[2]":"a[3]":"a[4]}' | sort | uniq -c

8. 实时统计 QPS:

tail -f /var/log/nginx/access.log | awk '{
    split($4, time, ":");
    key = time[2] ":" time[3] ":" time[4];
    count[key]++;
    print key, count[key];
}'

三、 自动化日志监控方案

异常请求报警脚本

#!/bin/bash
# 监控最近 5 分钟内 404 错误率
ERROR_COUNT=$(awk -v d1="$(date --date="-5 min" "+[%d/%b/%Y:%H:%M")" -v d2="$(date "+[%d/%b/%Y:%H:%M")" '$4 >= d1 && $4 <= d2 && $9 == 404' /var/log/nginx/access.log | wc -l) TOTAL_COUNT=$(awk -v d1="$(date --date="-5 min" "+[%d/%b/%Y:%H:%M")" -v d2="$(date "+[%d/%b/%Y:%H:%M")" '$4 >= d1 && $4 <= d2' /var/log/nginx/access.log | wc -l) ERROR_RATE=$(echo "scale=2; $ERROR_COUNT*100/$TOTAL_COUNT" | bc) if (( $(echo "$ERROR_RATE > 5" | bc -l) )); then
    echo "High error rate detected: $ERROR_RATE%" | mail -s "Nginx Error Alert" admin@example.com
fi

自动封禁恶意 IP
使用 fail2ban 可以实现自动封禁频繁尝试攻击的 IP, 本文不做详细介绍!