跳到正文
零到全栈 · 卷 7 · 上线与运维

备份、监控与回滚

本合集目录
本章目录

单册说明:本文件是卷 7 的第 8 章,可独立阅读。前置:第 7 章(日志)、第 2 章(目录规划)。本章补齐"出事能救回来"的三件套:每日自动备份、能真正报警的健康检查、一条命令切回上一版。

项 内容
所属卷 卷 7 · 上线与运维(第 8 / 8 章)
前置章节 7.7 日志、埋点与流量;7.2 服务器环境准备;7.3 systemd
本章产出 backup.sh + backup.timer + /healthz + deploy.sh / rollback.sh + 一次真实的删库恢复
对应代码 scripts/backup.sh、scripts/deploy.sh、routers/health.py
配图 无(后续统一制图)
读完的判定 你亲手删掉 dudao.db,用备份恢复了数据,并且记录了这次恢复花了几分钟

7.8.1 一句话结论:没演练过的备份,等于没有备份

三个现场,一个比一个疼。

现场一:你每天都 cp /srv/dudao/data/dudao.db /srv/dudao/data/backup/,跑了两个月。某天误删了数据,把备份拷回来,SQLite 打开时报:

sqlite3.OperationalError: database disk image is malformed

file 命令说得更直接:

dudao-20261110.db: data

它不是数据库,是一堆字节。因为复制的那一刻,SQLite 正在写 WAL,你拿到的是撕裂的快照。

现场二:备份脚本跑了半年,每天一个文件,大小都是 12 KB。你以为它一直正常。真要恢复时才发现,三个月前的某次改路径之后,脚本每天都在备份一个不存在的库——sqlite3 报错,cp 报错,但脚本没有 set -e,错误被吞掉,退出码永远是 0,定时任务从不报警。

现场三:新版本发布,用户反馈"保存按钮没反应"。你打开日志,发现是迁移脚本把 notes.content 改名了,旧代码还在读旧字段。想回滚,但代码是 git pull 直接拉到工作目录的,回滚意味着 git reset --hard,而工作目录里还有别人改过的配置——你不敢动。

三个现场对应三件事:备份方式错、备份没校验、发布没版本目录。 这一章解决。

7.8.2 原理与方法

① 三二一原则落到这个项目上

"三二一"是备份的通用经验:至少 3 份副本,2 种不同介质,1 份在异地。

要求 「读到」的具体做法 不做的后果
3 份 线上库 + 本机每日备份 + 异地一份 一块盘坏,全没
2 种介质 云硬盘 + 对象存储/另一台机器 同盘同寿命,一起坏
1 份异地 另一台机器或对象存储,不同可用区 机房级故障时全丢

一个人项目最容易做到的是"本机每日 + 每周同步到另一处"。异地不必是另一台服务器,对象存储或你自己电脑上的加密目录都算,只要不在同一块盘、同一个机房。

保留策略建议:

类型 保留 为什么
每日备份 7 份 覆盖"这周改坏了"
每周备份 4 份 覆盖"上个月改坏了"
发布前快照 每次发布 1 份 覆盖"这次发布改坏了"

日备覆盖"这周改坏了",周备覆盖"上个月改坏了"。

② 为什么不能 cp 正在写的库

SQLite 默认在 WAL 模式下工作。写入不是直接改主库文件,而是:

写操作 → dudao.db-wal(预写日志) → 某个时刻 checkpoint → 合并回 dudao.db

磁盘上同时有三个文件:

文件 内容
dudao.db 主库,可能落后于最新事务
dudao.db-wal 还没合并的最新修改
dudao.db-shm 共享内存索引,进程间协调用

cp dudao.db 只复制了主库,丢掉了 WAL 里的最新数据;更糟的是,如果复制过程中刚好在 checkpoint,主库处于中间状态,拷出来就是一个损坏的文件。

正确做法是让 SQLite 自己生成一致性快照:

sqlite3 /srv/dudao/data/dudao.db ".backup '/tmp/out.db'"

.backup 调用的是 SQLite 的在线备份 API:它对源库加读锁、分页拷贝、保证拿到的是一个事务一致的快照,不需要停服务。

另一种等价写法:

sqlite3 /srv/dudao/data/dudao.db "VACUUM INTO '/tmp/out.db';"

VACUUM INTO 会顺带整理碎片,产物更小,但耗时更长。

复制完之后必须校验:

sqlite3 /tmp/out.db "PRAGMA integrity_check;"

输出 ok 才算成功。这一步不能省,它是"备份文件存在"和"备份可用"之间唯一的桥。

③ 备份里该有什么

内容 要不要 理由
data/dudao.db 要 全部业务数据
backend/.env 要(加密) 丢了之后 SECRET_KEY 变了,所有用户被登出
web/ 静态产物 可选 能从代码重新构建,但重建要几分钟
代码版本号 要 恢复时知道该配哪个版本的代码
.venv/、node_modules/ 不要 几百 MB,能重建,且和机器架构绑定
日志 不要 体积大、价值低,单独轮转

.env 里有密钥,所以整个备份包必须 chmod 600。如果传到对象存储,先加密(gpg 或服务端加密),别把明文密钥放到别人家的存储桶里。

④ 恢复演练:唯一能证明备份有用的方式

恢复要做四件事,顺序固定:

  1. 停服务(避免恢复过程中有写入);
  2. 删掉旧的 -wal 和 -shm;
  3. 放回 dudao.db;
  4. 启动并验证。

第 2 步最容易被跳过,也是最危险的:残留的 WAL 会被 SQLite 当作"尚未合并的事务"重放到刚恢复的库上,结果可能是一堆不该存在的数据,或者直接损坏。

要记录两个数字:

指标 含义 怎么测
RTO 恢复要多久 从停服务到 /healthz 返回 200,掐表
RPO 最多丢多少数据 备份频率决定,日备 = 最多丢 24 小时

RTO 只有真做一次才知道。你以为 5 分钟,实际可能是 40 分钟——因为找不到备份文件在哪、因为权限不对、因为忘了 -wal。

建议每季度演练一次并记录:

日期:2026-11-17
备份文件:dudao-20261117-0320.tar.gz(大小 1.2 MB)
操作:停服务 → 删库 → 解包 → 替换 → 启服务
结果:成功,数据完整(128 条摘录、4 个用户)
RTO:6 分 40 秒
发现的问题:备份目录属主是 root,dudao 读不了,已修

最后一行才是演练的真正价值:它暴露的是流程问题,不是数据问题。

⑤ 健康检查:三层,看的东西不一样

层次 检查什么 从哪发起 失败说明
进程存活 systemd 的 active 本机 进程崩了
应用就绪 /healthz 返回 200 本机 进程在但干不了活(库打不开、磁盘只读)
外部可达 https://域名/healthz 另一台机器 DNS、证书、Nginx、网络,任意一环断了

第三层最容易被忽略。你在服务器上 curl 127.0.0.1:8000/healthz 永远是 200,因为那条路根本不经过 Nginx 和证书。用户走的是完整链路,探针也必须走完整链路。

/healthz 该检查什么,有一个取舍:

检查项 要不要放进 /healthz 理由
数据库能 SELECT 1 要 最常见的"进程活着但用不了"
数据目录可写 要 磁盘满或权限错时,读能通、写会 500
证书剩余天数 可放另一个端点 它变化慢,不需要每分钟查
第三方 API 可达 不要 对方抖动会让你误判自己挂了

原则:只检查"我自己能不能干活",不检查"别人好不好"。

单机项目的监控有个天然缺陷:机器挂了,机器上的探针也挂了,没人报警。 三种破解方式:

方式 成本 说明
另一台机器 cron + curl 低 最实在,一台最便宜的小机器就够
第三方 uptime 服务 免费额度通常够 它从外部探,能覆盖 DNS 和证书
你自己的电脑定时跑 零成本 缺点是你关机时没有监控

本书推荐前两种之一。关键是探针必须在外网,且失败时要能通知到你(邮件、IM 机器人、短信)。

⑥ 发布与回滚:版本目录加软链

把代码直接 git pull 到运行目录,是回滚困难的根源。正确结构是"每次发布一个新目录,用软链指向当前版本":

/srv/dudao/
├── releases/
│   ├── 20261117-1210/     ← 每次发布新建
│   │   ├── backend/
│   │   └── web/
│   └── 20261116-0930/
├── current -> releases/20261117-1210
├── backend -> current/backend
├── web     -> current/web
├── shared/
│   └── venv/              ← 跨版本共用,不进 releases
└── data/                  ← 永不在 releases 里

三个关键点:

软链切换是原子的:ln -sfn 要么指向旧的,要么指向新的,不存在"指到一半"。

venv 放在 shared/。 每次发布重建 venv 要几分钟,而且依赖没变时完全没必要。release 里的 backend/.venv 做成指向 shared/venv 的软链,这样 7.3 写的 ExecStart=/srv/dudao/backend/.venv/bin/uvicorn 一个字都不用改。

数据库不在 releases 里。 这是整章最重要的一条。切版本只换代码,数据原地不动。

回滚就是"把软链指回上一个目录再重启",一条命令,几秒钟。

但有一个前提必须说清:数据库迁移是不可回滚的。 如果新版本给 notes 加了一列并写了数据,回滚到旧代码后,旧代码不认识这一列(通常不报错),但如果新版本删了一列或改了类型,旧代码就会崩。所以规则是:

发布前先备份,迁移只做加法(加列、加表),不做减法和改名。

⑦ 事故处置清单

出事时人容易慌,按清单走能省时间:

阶段 动作 目标时间
0. 判断影响面 全站挂了,还是某个功能?登录能用吗? 1 分钟
1. 止损 回滚版本 / 恢复备份 / 重启服务,先让用户能用 5 分钟
2. 保现场 复制日志、systemctl status、df -h、ss -lntp 的输出到 notes/ 5 分钟
3. 定位 按 0.3 的六段链路逐段排除 30 分钟
4. 修复 在本地改,走正常发布流程,不在服务器上直接改 —
5. 复盘 写清"什么坏了、为什么、怎么防" 当天

顺序要点:先止损再定位;回滚会清掉现场,动手前先抄证据。

7.8.3 动手:备份、定时、删库、恢复、回滚

第一步:写 backup.sh

sudo mkdir -p /srv/dudao/backend/scripts
sudo tee /srv/dudao/backend/scripts/backup.sh >/dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail

APP=/srv/dudao
DB="$APP/data/dudao.db"
DEST="$APP/data/backup"
KEEP_DAYS=7
STAMP="$(date +%Y%m%d-%H%M%S)"
OUT="$DEST/dudao-$STAMP.tar.gz"

# 异地目标,留空则跳过。形如 [email protected]:/srv/backup/dudao
REMOTE="${DUDAO_BACKUP_REMOTE:-}"

mkdir -p "$DEST"
WORK="$(mktemp -d)"
trap 'rm -rf "$WORK"' EXIT

# 1. 一致性快照,不是 cp
sqlite3 "$DB" ".backup '$WORK/dudao.db'"

# 2. 校验,不通过就失败退出
if [ "$(sqlite3 "$WORK/dudao.db" 'PRAGMA integrity_check;')" != "ok" ]; then
    echo "integrity_check failed" >&2
    exit 2
fi

# 3. 配置单独带上,权限靠打包时收紧
install -m 600 "$APP/backend/.env" "$WORK/env.backup"

# 4. 清单:恢复时靠它知道这是哪一版
{
    echo "stamp=$STAMP"
    echo "db_bytes=$(stat -c %s "$WORK/dudao.db")"
    echo "git=$(git -C "$APP/current" rev-parse --short HEAD 2>/dev/null || echo unknown)"
} > "$WORK/MANIFEST"

tar -czf "$OUT" -C "$WORK" .
chmod 600 "$OUT"

# 5. 大小兜底:空库也有几十 KB,小得离谱一定是错的
SIZE=$(stat -c %s "$OUT")
if [ "$SIZE" -lt 1024 ]; then
    echo "backup too small: $SIZE bytes" >&2
    exit 3
fi

# 6. 保留策略
find "$DEST" -name 'dudao-*.tar.gz' -type f -mtime +"$KEEP_DAYS" -delete

# 7. 异地(可选)
if [ -n "$REMOTE" ]; then
    rsync -az "$OUT" "$REMOTE/"
fi

echo "ok $OUT $SIZE bytes"
EOF

sudo chmod 755 /srv/dudao/backend/scripts/backup.sh
sudo chown dudao:dudao /srv/dudao/backend/scripts/backup.sh

逐段说清为什么:

段落 作用 少了会怎样
set -euo pipefail 任何一步失败就退出 错误被吞,脚本永远返回 0
trap ... EXIT 退出时清理临时目录 每次跑都留一堆临时文件
.backup 一致性快照 cp 出来的库可能损坏
integrity_check 验证文件可用 备份了半年才发现全是坏文件
install -m 600 配置进包且收紧权限 密钥以 644 躺在备份里
MANIFEST 记录版本与时间 恢复时不知道配哪个代码版本
大小兜底 拦住"备份了个空文件" 静默失败
find -mtime -delete 保留 7 天 磁盘被备份撑满

手工跑一次:

sudo -u dudao DUDAO_BACKUP_REMOTE= /srv/dudao/backend/scripts/backup.sh

预期:

ok /srv/dudao/data/backup/dudao-20261117-0430-12.tar.gz 1183744 bytes

看一眼内容:

sudo -u dudao tar -tzf /srv/dudao/data/backup/dudao-*.tar.gz | head

预期:

./
./dudao.db
./env.backup
./MANIFEST

第二步:做成定时任务

用 systemd timer,不用 cron。理由:日志进 journald(和 7.3 一致)、能 Persistent=true 补跑错过的任务、能用 systemctl list-timers 统一查看。

sudo tee /etc/systemd/system/dudao-backup.service >/dev/null <<'EOF'
[Unit]
Description=DuDao daily backup
After=network.target

[Service]
Type=oneshot
User=dudao
Group=dudao
Environment=DUDAO_BACKUP_REMOTE=
ExecStart=/srv/dudao/backend/scripts/backup.sh
EOF

sudo tee /etc/systemd/system/dudao-backup.timer >/dev/null <<'EOF'
[Unit]
Description=Run DuDao backup daily

[Timer]
OnCalendar=*-*-* 03:20:00
Persistent=true
RandomizedDelaySec=300

[Install]
WantedBy=timers.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable --now dudao-backup.timer
systemctl list-timers dudao-backup.timer --no-pager

三个参数的选择理由:

参数 值 理由
OnCalendar 03:20 访问最少;避开整点(很多任务挤在整点)
Persistent=true — 机器在 03:20 关机时,开机后补跑一次
RandomizedDelaySec 300 加最多 5 分钟随机延迟,避免和其它任务撞在一起

Persistent=true 很关键:云主机维护重启经常发生在凌晨,没有它就会连续几天不备份,而你完全不知道。

验证:

sudo systemctl start dudao-backup.service
systemctl status dudao-backup.service --no-pager
sudo journalctl -u dudao-backup -n 20 --no-pager

第三步:装 /healthz

新建 backend/routers/health.py:

from pathlib import Path

from fastapi import APIRouter
from fastapi.responses import JSONResponse

import config
from db import get_conn

router = APIRouter(tags=["health"])


@router.get("/healthz")
def healthz():
    checks = {}

    try:
        with get_conn() as conn:
            conn.execute("SELECT 1").fetchone()
        checks["db"] = "ok"
    except Exception as exc:
        checks["db"] = f"fail: {type(exc).__name__}"

    try:
        probe = Path(config.DB_PATH).parent / ".write-probe"
        probe.write_text("x", encoding="utf-8")
        probe.unlink()
        checks["disk"] = "ok"
    except Exception:
        checks["disk"] = "readonly"

    healthy = all(v == "ok" for v in checks.values())
    return JSONResponse(
        status_code=200 if healthy else 503,
        content={"status": "ok" if healthy else "degraded", "checks": checks},
    )
# main.py
from routers import health

app.include_router(health.router)

写探针文件而不是只检查 os.access,是因为权限位和实际可写是两件事:目录 755 属主 root 时,os.access 对 root 会说"可写",但应用以 dudao 跑就写不进去。

验证:

curl -s -w '\n%{http_code}\n' http://127.0.0.1:8000/healthz
{"status":"ok","checks":{"db":"ok","disk":"ok"}}
200

再故意制造一次失败:

sudo chmod 500 /srv/dudao/data
curl -s -w '\n%{http_code}\n' http://127.0.0.1:8000/healthz
sudo chmod 700 /srv/dudao/data

预期返回 503 且 disk 是 readonly。能返回 503 的探针才是探针,永远返回 200 的探针只是装饰。

第四步:真删一次库

这一步必须做,而且要挑一个数据不重要的时候。

# 0. 确认最新备份存在
ls -lh /srv/dudao/data/backup/ | tail -n 3

# 1. 记下当前数据量,用来对比恢复结果
sudo -u dudao sqlite3 /srv/dudao/data/dudao.db \
  "SELECT (SELECT COUNT(*) FROM notes), (SELECT COUNT(*) FROM users);"
# 形如 128|4

# 2. 停服务
sudo systemctl stop dudao

# 3. 备份现场(万一恢复失败,还能手工捞)
sudo -u dudao cp -a /srv/dudao/data/dudao.db /srv/dudao/data/dudao.db.before-drill

# 4. 删库
sudo -u dudao rm -f /srv/dudao/data/dudao.db /srv/dudao/data/dudao.db-wal /srv/dudao/data/dudao.db-shm

此时启动服务应该直接失败,/healthz 拿不到 200:

sudo systemctl start dudao
sleep 3
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8000/healthz

预期 000(连不上)或 503。

开始恢复:

# 5. 停服务
sudo systemctl stop dudao

# 6. 解包到临时目录
RESTORE=$(mktemp -d)
sudo -u dudao tar -xzf /srv/dudao/data/backup/dudao-最新那个.tar.gz -C "$RESTORE"

# 7. 放回,注意属主和权限
sudo install -o dudao -g dudao -m 600 "$RESTORE/dudao.db" /srv/dudao/data/dudao.db

# 8. 确认没有残留 WAL
ls -l /srv/dudao/data/

# 9. 启动并验证
sudo systemctl start dudao
sleep 2
curl -s http://127.0.0.1:8000/healthz
sudo -u dudao sqlite3 /srv/dudao/data/dudao.db \
  "SELECT (SELECT COUNT(*) FROM notes), (SELECT COUNT(*) FROM users);"

第 8 步必须看到只有 dudao.db、backup/ 和 dudao.db.before-drill,没有 -wal 和 -shm。有的话删掉再启动。

最后清理:

sudo -u dudao rm -f /srv/dudao/data/dudao.db.before-drill
rm -rf "$RESTORE"

第五步:写 deploy.sh 与 rollback.sh

第一次切到版本目录要搬迁一次:把现有 backend/ 移进 releases/ 的第一个版本,把 .venv 和 .env 移到 shared/,再按上面的结构建三条软链。搬完 restart 验一次。

sudo tee /srv/dudao/backend/scripts/deploy.sh >/dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail

APP=/srv/dudao
SRC="${1:?用法: deploy.sh <源码目录,需含 backend/ 与 web/>}"
STAMP="$(date +%Y%m%d-%H%M%S)"
REL="$APP/releases/$STAMP"

if [ ! -d "$SRC/backend" ] || [ ! -d "$SRC/web" ]; then
    echo "$SRC 下缺少 backend/ 或 web/" >&2
    exit 1
fi

mkdir -p "$REL/backend" "$REL/web"

rsync -a --delete --exclude '.venv' --exclude '__pycache__' --exclude '.env' \
    "$SRC/backend/" "$REL/backend/"
rsync -a --delete "$SRC/web/" "$REL/web/"
ln -sfn "$APP/shared/venv" "$REL/backend/.venv"
ln -sfn "$APP/shared/.env" "$REL/backend/.env"

ln -sfn "$REL"            "$APP/current"
ln -sfn "$REL/backend"    "$APP/backend"
ln -sfn "$REL/web"        "$APP/web"

# 启动失败时 systemctl 会返回非 0,用 || true 让流程走到健康检查再决定回滚
systemctl restart dudao || true
sleep 3

if ! curl -fsS -o /dev/null http://127.0.0.1:8000/healthz; then
    echo "health check failed, rolling back" >&2
    exec "$APP/backend/scripts/rollback.sh"
fi

echo "deployed $STAMP"
EOF

sudo tee /srv/dudao/backend/scripts/rollback.sh >/dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail

APP=/srv/dudao
PREV="$(ls -1dt "$APP"/releases/*/ 2>/dev/null | sed -n 2p)"

if [ -z "$PREV" ]; then
    echo "no previous release" >&2
    exit 1
fi

ln -sfn "${PREV%/}"        "$APP/current"
ln -sfn "${PREV%/}/backend" "$APP/backend"
ln -sfn "${PREV%/}/web"     "$APP/web"

systemctl restart dudao
echo "rolled back to ${PREV%/}"
EOF

sudo chmod 755 /srv/dudao/backend/scripts/deploy.sh /srv/dudao/backend/scripts/rollback.sh

ln -sfn 里的 -n 是关键。对"指向目录的软链"执行 ln -sf 时,如果不加 -n,ln 会认为你要在目标目录里创建链接,结果是 current/releases/xxx 这样的怪东西,而 current 本身没变。这个坑不会报错,只会让你以为"切换没生效"。

发布分三步:上传到临时目录、备份、发布。

# 本机:上传到 /tmp,登录用户就能写,不需要 sudo
ssh dudao 'mkdir -p /tmp/dudao-release'
rsync -a --delete --exclude '.venv' --exclude '__pycache__' --exclude '.env' \
  backend/ dudao:/tmp/dudao-release/backend/
rsync -a --delete web/ dudao:/tmp/dudao-release/web/

# 服务器:先备份,再从临时目录发布
ssh dudao 'sudo -u dudao /srv/dudao/backend/scripts/backup.sh && \
  sudo /srv/dudao/backend/scripts/deploy.sh /tmp/dudao-release'

为什么不直接传到 /srv/dudao/backend:那里的属主是 dudao,登录用户写不进去。/tmp 中转一次,权限边界最干净。

回滚:

sudo /srv/dudao/backend/scripts/rollback.sh

验证当前版本:

readlink -f /srv/dudao/current
ls -1dt /srv/dudao/releases/*/ | head -n 3

第六步:配外部探活

在另一台机器上加一条 cron(或第三方服务的自定义监控):

*/5 * * * * curl -fsS -m 10 -o /dev/null https://dudao.example.com/healthz || echo "dudao down $(date)" >> ~/dudao-alert.log

把 echo 换成邮件或 IM 机器人。没有通知的监控等于没有监控。

7.8.4 三个坑

坑 1:cp 出来的备份打不开

症状:

sqlite3.OperationalError: database disk image is malformed

或者:

file dudao-20261110.db
dudao-20261110.db: data

成因:WAL 模式下的主库文件不是完整状态,最新事务在 -wal 里;复制过程中发生 checkpoint 时,还会拿到撕裂的页。

修法:

sqlite3 /srv/dudao/data/dudao.db ".backup '/srv/dudao/data/backup/tmp.db'"
sqlite3 /srv/dudao/data/backup/tmp.db "PRAGMA integrity_check;"

输出 ok 再打包。已经用 cp 备份了半年的,那些文件基本都不可信,不要指望它们能恢复,立刻换成 .backup 并做一次演练。

一个补充判断:如果备份文件大小和主库完全一样,且主库当时没有写入,cp 有可能恰好可用。但"有可能"不是备份策略,别赌。

坑 2:备份文件在,恢复时才发现用不了

症状:恢复时出现其中一种:

报错 原因
unable to open database file 属主/权限不对,dudao 读不了
database disk image is malformed 备份本身就是坏的(坑 1)
数据是几个月前的 定时任务早就静默失败了
表不存在 恢复到了错误的库,或版本不匹配

成因:只验证了"文件存在",没验证"能恢复"。文件存在是一个极弱的信号——0 字节的文件也存在。

修法:把验证做进备份脚本(本章的 integrity_check + 大小兜底),并且每季度真恢复一次。恢复演练要覆盖到"停服务、删 WAL、改属主、启动、核对行数"每一步,因为出问题的往往不是数据,是这些周边动作。

还有一条:备份文件名必须带时间戳。固定名字(如 dudao-backup.db)会被下一次覆盖,你永远只有一个备份。

坑 3:磁盘满了,备份静默失败

症状:/srv/dudao/data/backup/ 里最新的文件停在两周前,但 systemctl status dudao-backup.timer 显示一切正常,journalctl 里也没有 failed。

成因:两种。

成因 表现
脚本没有 set -e sqlite3 失败后继续执行,tar 打了个空包,退出码 0
旧备份没清理 find -mtime +7 -delete 没生效,磁盘满,tar 写不进去

第二种还会连带把数据库写坏(7.7 讲过 database or disk is full)。

修法:三件事一起做。

# 1. 脚本必须有 set -euo pipefail 和明确的退出码
# 2. 每次成功后打印一行 ok,方便 grep
sudo journalctl -u dudao-backup --since "7 days ago" --no-pager | grep -c '^.*ok '

# 3. 监控"最新备份的年龄",而不是"任务有没有跑"
find /srv/dudao/data/backup -name 'dudao-*.tar.gz' -mtime +1 | head

第三条输出的应该是空。有输出就说明超过 24 小时没有新备份,比看 timer 状态可靠得多——timer 只证明"触发了",不证明"成功了"。

把这条检查塞进 7.8.3 第六步的外部探活里,或者单独加一个每日任务:

[ -z "$(find /srv/dudao/data/backup -name 'dudao-*.tar.gz' -mtime +1)" ] || echo "backup stale" 
坑 关键现象 一句话修法
cp 备份损坏 database disk image is malformed 改用 .backup + integrity_check
备份不可恢复 权限错、版本错、数据旧 每季度真恢复一次,把验证写进脚本
静默失败 最新备份停在两周前 set -euo pipefail + 监控备份年龄

本章验收

  • backup.sh 手工执行输出 ok ... bytes,tar 包内有 dudao.db、env.backup、MANIFEST
  • systemctl list-timers dudao-backup.timer 能看到下一次执行时间
  • curl /healthz 返回 200;把 data/ 改成只读后返回 503,改回后恢复 200
  • 完成一次真实的"删库 → 恢复",恢复后行数与删除前一致,并记录了 RTO
  • deploy.sh 产出新的 release 目录,readlink -f /srv/dudao/current 指向它
  • rollback.sh 能在 10 秒内切回上一个版本,/healthz 恢复 200

自测

Q1:为什么恢复数据库之前必须删掉 dudao.db-wal 和 dudao.db-shm?

看答案 WAL 里存着尚未合并进主库的事务。恢复回来的主库是某个时间点的快照,如果旧 WAL 还在,SQLite 启动时会把它当作"这个库的最新修改"重放上去,结果可能是数据倒退、主键冲突,甚至直接损坏。所以恢复的顺序必须是:停服务 → 删 -wal/-shm → 放回主库 → 启动,让 SQLite 从干净状态开始。

Q2:备份脚本里为什么既要做 integrity_check,又要检查文件大小?

看答案 两者拦的是不同的失败。integrity_check 拦"文件结构损坏"(比如用 cp 拷了撕裂快照),但它对一个 0 字节的文件也可能返回 ok(空库是合法的);大小检查拦"备份了个空东西"(路径写错、源库不存在)。两个都做,才能覆盖"文件存在但没用"的绝大多数情况。再加上"备份年龄"监控,就覆盖了"根本没跑"这一种。

Q3:为什么回滚只切软链不够,还要考虑数据库迁移?

看答案 软链只切换代码,数据库是共享的、不回滚。如果新版本做了破坏性迁移(删列、改名、改类型),旧代码去读就会报错或读到错的数据。所以规则是迁移只做加法:加列(带默认值)、加表、加索引,不删不改名。确实需要做破坏性变更时,要先备份,并接受"回滚 = 连数据一起回到备份点"这个代价。

下一步

到这里,https://你的域名 能打开,进程开机自启、崩了自动重启、日志可查、备份能恢复、发布能回滚。卷 7 的目标达成。

但"能上线"和"值得被使用"之间还有一段距离:需求该砍到多小、测试该测什么、性能和安全的最低线在哪。下一卷处理这些。

→ 卷8-00-导读.md