证书明明续期成功了,线上却还是过期:一次 nginx 没 reload 的复盘
一次线上证书过期告警的复盘:ACME 自动续期其实成功了,但新证书躺在磁盘上,nginx 没 reload,对外仍在用旧证书。记录症状、排查过程、根因和预防措施。
本文目录

告警来了,但续期任务显示"成功"
某天上午,监控报某个域名的证书还剩不到一天就要过期。第一反应是续期脚本挂了。登上机器一看,cron 里的续期任务日志是绿的,证书目录里新证书的时间戳也是几天前刚签发的。
证书是新的,浏览器却说是旧的——这就是典型的"签发和部署脱节"现场。
确认症状只用了两条命令。先看磁盘上的证书:
openssl x509 -in /etc/letsencrypt/live/example.com/fullchain.pem -noout -datesnotAfter 是两个月以后,没问题。再看线上实际握手的证书:
echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null | openssl x509 -noout -datesnotAfter 是明天。两边对不上,问题就清楚了:nginx 内存里装的还是旧证书。

根因:reload 钩子在静默失败
这个域名的续期是靠 certbot 的 --deploy-hook 执行 nginx -s reload 的。翻 cron 日志,续期那次执行时 deploy hook 报了权限错误——某次加固时把 cron 里续期命令的执行用户从 root 换成了一个普通用户,续期本身没问题(证书目录权限单独放开了),但 reload nginx 需要向 master 进程发信号,普通用户做不到。
更麻烦的是这个失败没有冒泡到任何告警。hook 的 stderr 进了没人看的本地日志文件,续期主流程的退出码又被脚本 || true 吞掉了。于是接下来的几十天里,证书一直按期签发、按期躺平,直到旧证书快要寿终正寝才被外部监控抓到。
修复本身只要一行:把执行用户改回去(或者用 sudoers 给 reload 单独授权),然后手动 reload 一次,再跑一次 s_client 确认新证书生效。
排查这类问题的固定套路
以后遇到"证书过期"告警,按这个顺序查,能省不少瞎猜:
- 先分清是哪一层的证书。 机器前如果有 CDN、负载均衡或反代,浏览器看到的是边缘节点的证书,源站续期了也没用。用
openssl s_client直连源站 IP 加 SNI 对比一下就知道。 - 磁盘证书 vs 线上证书。 像上面那样对比两个
notAfter。不一致就是没 reload 或没部署;一致但都过期,才是签发环节的问题。 - 签发环节再看 ACME 日志。 HTTP-01 常见坑是 80 端口被改、验证路径被 rewrite;DNS-01 常见坑是 API token 过期或权限被收窄。
- 不要相信退出码,要相信握手结果。 续期成功不等于用户能用到新证书。
预防:盯住"生效时间",不是"任务状态"

这次之后做了三件事:
- 监控项从"证书剩余天数"升级为对线上实际握手证书做检查,剩余 14 天就告警,留出足够的人工介入窗口。
- deploy hook 失败必须让续期任务整体失败,并且告警。删掉所有
|| true,这类"吞掉错误让它看起来岁月静好"的写法是事故的好朋友。 - 每次续期后自动跑一次握手校验,把实际生效的
notAfter写进日志,签发和部署之间的裂缝就能立刻暴露。
在 CertbotX 中实践
这类"签了没发、发了没生效"的断层,恰好是 CertbotX 想消掉的。它把 ACME 自动签发、到期前重新签发和部署串在同一条流水线里:证书签发后可以直接推送到 Agent、EdgeOne 或 CDN 侧,不依赖手写的 deploy hook 和 cron 用户权限是否刚好配对。每次部署都会留下记录,能在审计里查到哪张证书在什么时间部署到了哪个目标——排查时不用再翻没人看的 cron 日志。对于 DNS-01 场景,它也支持 CNAME 委托,把 _acme-challenge 指到专门的验证域,避免主域 DNS 凭据扩散到每台机器上。
一点收尾感想
证书事故的迷惑性在于:签发环节通常是最自动化的部分,看起来最不会出问题,于是所有注意力都在那;真正脆弱的反而是最后一步——让运行中的进程把新证书用起来。监控线上握手结果,比监控任何任务的成功日志都更接近用户真实看到的画面。
参考文档: