备份、监控与回滚
本合集目录
本章目录
单册说明:本文件是卷 7 的第 8 章,可独立阅读。前置:第 7 章(日志)、第 2 章(目录规划)。本章补齐"出事能救回来"的三件套:每日自动备份、能真正报警的健康检查、一条命令切回上一版。
| 项 | 内容 |
|---|---|
| 所属卷 | 卷 7 · 上线与运维(第 8 / 8 章) |
| 前置章节 | 7.7 日志、埋点与流量;7.2 服务器环境准备;7.3 systemd |
| 本章产出 | backup.sh + backup.timer + /healthz + deploy.sh / rollback.sh + 一次真实的删库恢复 |
| 对应代码 | scripts/backup.sh、scripts/deploy.sh、routers/health.py |
| 配图 | 无(后续统一制图) |
| 读完的判定 | 你亲手删掉 dudao.db,用备份恢复了数据,并且记录了这次恢复花了几分钟 |
7.8.1 一句话结论:没演练过的备份,等于没有备份
三个现场,一个比一个疼。
现场一:你每天都 cp /srv/dudao/data/dudao.db /srv/dudao/data/backup/,跑了两个月。某天误删了数据,把备份拷回来,SQLite 打开时报:
sqlite3.OperationalError: database disk image is malformed
file 命令说得更直接:
dudao-20261110.db: data
它不是数据库,是一堆字节。因为复制的那一刻,SQLite 正在写 WAL,你拿到的是撕裂的快照。
现场二:备份脚本跑了半年,每天一个文件,大小都是 12 KB。你以为它一直正常。真要恢复时才发现,三个月前的某次改路径之后,脚本每天都在备份一个不存在的库——sqlite3 报错,cp 报错,但脚本没有 set -e,错误被吞掉,退出码永远是 0,定时任务从不报警。
现场三:新版本发布,用户反馈"保存按钮没反应"。你打开日志,发现是迁移脚本把 notes.content 改名了,旧代码还在读旧字段。想回滚,但代码是 git pull 直接拉到工作目录的,回滚意味着 git reset --hard,而工作目录里还有别人改过的配置——你不敢动。
三个现场对应三件事:备份方式错、备份没校验、发布没版本目录。 这一章解决。
7.8.2 原理与方法
① 三二一原则落到这个项目上
"三二一"是备份的通用经验:至少 3 份副本,2 种不同介质,1 份在异地。
| 要求 | 「读到」的具体做法 | 不做的后果 |
|---|---|---|
| 3 份 | 线上库 + 本机每日备份 + 异地一份 | 一块盘坏,全没 |
| 2 种介质 | 云硬盘 + 对象存储/另一台机器 | 同盘同寿命,一起坏 |
| 1 份异地 | 另一台机器或对象存储,不同可用区 | 机房级故障时全丢 |
一个人项目最容易做到的是"本机每日 + 每周同步到另一处"。异地不必是另一台服务器,对象存储或你自己电脑上的加密目录都算,只要不在同一块盘、同一个机房。
保留策略建议:
| 类型 | 保留 | 为什么 |
|---|---|---|
| 每日备份 | 7 份 | 覆盖"这周改坏了" |
| 每周备份 | 4 份 | 覆盖"上个月改坏了" |
| 发布前快照 | 每次发布 1 份 | 覆盖"这次发布改坏了" |
日备覆盖"这周改坏了",周备覆盖"上个月改坏了"。
② 为什么不能 cp 正在写的库
SQLite 默认在 WAL 模式下工作。写入不是直接改主库文件,而是:
写操作 → dudao.db-wal(预写日志) → 某个时刻 checkpoint → 合并回 dudao.db
磁盘上同时有三个文件:
| 文件 | 内容 |
|---|---|
dudao.db |
主库,可能落后于最新事务 |
dudao.db-wal |
还没合并的最新修改 |
dudao.db-shm |
共享内存索引,进程间协调用 |
cp dudao.db 只复制了主库,丢掉了 WAL 里的最新数据;更糟的是,如果复制过程中刚好在 checkpoint,主库处于中间状态,拷出来就是一个损坏的文件。
正确做法是让 SQLite 自己生成一致性快照:
sqlite3 /srv/dudao/data/dudao.db ".backup '/tmp/out.db'"
.backup 调用的是 SQLite 的在线备份 API:它对源库加读锁、分页拷贝、保证拿到的是一个事务一致的快照,不需要停服务。
另一种等价写法:
sqlite3 /srv/dudao/data/dudao.db "VACUUM INTO '/tmp/out.db';"
VACUUM INTO 会顺带整理碎片,产物更小,但耗时更长。
复制完之后必须校验:
sqlite3 /tmp/out.db "PRAGMA integrity_check;"
输出 ok 才算成功。这一步不能省,它是"备份文件存在"和"备份可用"之间唯一的桥。
③ 备份里该有什么
| 内容 | 要不要 | 理由 |
|---|---|---|
data/dudao.db |
要 | 全部业务数据 |
backend/.env |
要(加密) | 丢了之后 SECRET_KEY 变了,所有用户被登出 |
web/ 静态产物 |
可选 | 能从代码重新构建,但重建要几分钟 |
| 代码版本号 | 要 | 恢复时知道该配哪个版本的代码 |
.venv/、node_modules/ |
不要 | 几百 MB,能重建,且和机器架构绑定 |
| 日志 | 不要 | 体积大、价值低,单独轮转 |
.env 里有密钥,所以整个备份包必须 chmod 600。如果传到对象存储,先加密(gpg 或服务端加密),别把明文密钥放到别人家的存储桶里。
④ 恢复演练:唯一能证明备份有用的方式
恢复要做四件事,顺序固定:
- 停服务(避免恢复过程中有写入);
- 删掉旧的
-wal和-shm; - 放回
dudao.db; - 启动并验证。
第 2 步最容易被跳过,也是最危险的:残留的 WAL 会被 SQLite 当作"尚未合并的事务"重放到刚恢复的库上,结果可能是一堆不该存在的数据,或者直接损坏。
要记录两个数字:
| 指标 | 含义 | 怎么测 |
|---|---|---|
| RTO | 恢复要多久 | 从停服务到 /healthz 返回 200,掐表 |
| RPO | 最多丢多少数据 | 备份频率决定,日备 = 最多丢 24 小时 |
RTO 只有真做一次才知道。你以为 5 分钟,实际可能是 40 分钟——因为找不到备份文件在哪、因为权限不对、因为忘了 -wal。
建议每季度演练一次并记录:
日期:2026-11-17
备份文件:dudao-20261117-0320.tar.gz(大小 1.2 MB)
操作:停服务 → 删库 → 解包 → 替换 → 启服务
结果:成功,数据完整(128 条摘录、4 个用户)
RTO:6 分 40 秒
发现的问题:备份目录属主是 root,dudao 读不了,已修
最后一行才是演练的真正价值:它暴露的是流程问题,不是数据问题。
⑤ 健康检查:三层,看的东西不一样
| 层次 | 检查什么 | 从哪发起 | 失败说明 |
|---|---|---|---|
| 进程存活 | systemd 的 active |
本机 | 进程崩了 |
| 应用就绪 | /healthz 返回 200 |
本机 | 进程在但干不了活(库打不开、磁盘只读) |
| 外部可达 | https://域名/healthz |
另一台机器 | DNS、证书、Nginx、网络,任意一环断了 |
第三层最容易被忽略。你在服务器上 curl 127.0.0.1:8000/healthz 永远是 200,因为那条路根本不经过 Nginx 和证书。用户走的是完整链路,探针也必须走完整链路。
/healthz 该检查什么,有一个取舍:
| 检查项 | 要不要放进 /healthz |
理由 |
|---|---|---|
数据库能 SELECT 1 |
要 | 最常见的"进程活着但用不了" |
| 数据目录可写 | 要 | 磁盘满或权限错时,读能通、写会 500 |
| 证书剩余天数 | 可放另一个端点 | 它变化慢,不需要每分钟查 |
| 第三方 API 可达 | 不要 | 对方抖动会让你误判自己挂了 |
原则:只检查"我自己能不能干活",不检查"别人好不好"。
单机项目的监控有个天然缺陷:机器挂了,机器上的探针也挂了,没人报警。 三种破解方式:
| 方式 | 成本 | 说明 |
|---|---|---|
| 另一台机器 cron + curl | 低 | 最实在,一台最便宜的小机器就够 |
| 第三方 uptime 服务 | 免费额度通常够 | 它从外部探,能覆盖 DNS 和证书 |
| 你自己的电脑定时跑 | 零成本 | 缺点是你关机时没有监控 |
本书推荐前两种之一。关键是探针必须在外网,且失败时要能通知到你(邮件、IM 机器人、短信)。
⑥ 发布与回滚:版本目录加软链
把代码直接 git pull 到运行目录,是回滚困难的根源。正确结构是"每次发布一个新目录,用软链指向当前版本":
/srv/dudao/
├── releases/
│ ├── 20261117-1210/ ← 每次发布新建
│ │ ├── backend/
│ │ └── web/
│ └── 20261116-0930/
├── current -> releases/20261117-1210
├── backend -> current/backend
├── web -> current/web
├── shared/
│ └── venv/ ← 跨版本共用,不进 releases
└── data/ ← 永不在 releases 里
三个关键点:
软链切换是原子的:ln -sfn 要么指向旧的,要么指向新的,不存在"指到一半"。
venv 放在 shared/。 每次发布重建 venv 要几分钟,而且依赖没变时完全没必要。release 里的 backend/.venv 做成指向 shared/venv 的软链,这样 7.3 写的 ExecStart=/srv/dudao/backend/.venv/bin/uvicorn 一个字都不用改。
数据库不在 releases 里。 这是整章最重要的一条。切版本只换代码,数据原地不动。
回滚就是"把软链指回上一个目录再重启",一条命令,几秒钟。
但有一个前提必须说清:数据库迁移是不可回滚的。 如果新版本给 notes 加了一列并写了数据,回滚到旧代码后,旧代码不认识这一列(通常不报错),但如果新版本删了一列或改了类型,旧代码就会崩。所以规则是:
发布前先备份,迁移只做加法(加列、加表),不做减法和改名。
⑦ 事故处置清单
出事时人容易慌,按清单走能省时间:
| 阶段 | 动作 | 目标时间 |
|---|---|---|
| 0. 判断影响面 | 全站挂了,还是某个功能?登录能用吗? | 1 分钟 |
| 1. 止损 | 回滚版本 / 恢复备份 / 重启服务,先让用户能用 | 5 分钟 |
| 2. 保现场 | 复制日志、systemctl status、df -h、ss -lntp 的输出到 notes/ |
5 分钟 |
| 3. 定位 | 按 0.3 的六段链路逐段排除 | 30 分钟 |
| 4. 修复 | 在本地改,走正常发布流程,不在服务器上直接改 | — |
| 5. 复盘 | 写清"什么坏了、为什么、怎么防" | 当天 |
顺序要点:先止损再定位;回滚会清掉现场,动手前先抄证据。
7.8.3 动手:备份、定时、删库、恢复、回滚
第一步:写 backup.sh
sudo mkdir -p /srv/dudao/backend/scripts
sudo tee /srv/dudao/backend/scripts/backup.sh >/dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
APP=/srv/dudao
DB="$APP/data/dudao.db"
DEST="$APP/data/backup"
KEEP_DAYS=7
STAMP="$(date +%Y%m%d-%H%M%S)"
OUT="$DEST/dudao-$STAMP.tar.gz"
# 异地目标,留空则跳过。形如 [email protected]:/srv/backup/dudao
REMOTE="${DUDAO_BACKUP_REMOTE:-}"
mkdir -p "$DEST"
WORK="$(mktemp -d)"
trap 'rm -rf "$WORK"' EXIT
# 1. 一致性快照,不是 cp
sqlite3 "$DB" ".backup '$WORK/dudao.db'"
# 2. 校验,不通过就失败退出
if [ "$(sqlite3 "$WORK/dudao.db" 'PRAGMA integrity_check;')" != "ok" ]; then
echo "integrity_check failed" >&2
exit 2
fi
# 3. 配置单独带上,权限靠打包时收紧
install -m 600 "$APP/backend/.env" "$WORK/env.backup"
# 4. 清单:恢复时靠它知道这是哪一版
{
echo "stamp=$STAMP"
echo "db_bytes=$(stat -c %s "$WORK/dudao.db")"
echo "git=$(git -C "$APP/current" rev-parse --short HEAD 2>/dev/null || echo unknown)"
} > "$WORK/MANIFEST"
tar -czf "$OUT" -C "$WORK" .
chmod 600 "$OUT"
# 5. 大小兜底:空库也有几十 KB,小得离谱一定是错的
SIZE=$(stat -c %s "$OUT")
if [ "$SIZE" -lt 1024 ]; then
echo "backup too small: $SIZE bytes" >&2
exit 3
fi
# 6. 保留策略
find "$DEST" -name 'dudao-*.tar.gz' -type f -mtime +"$KEEP_DAYS" -delete
# 7. 异地(可选)
if [ -n "$REMOTE" ]; then
rsync -az "$OUT" "$REMOTE/"
fi
echo "ok $OUT $SIZE bytes"
EOF
sudo chmod 755 /srv/dudao/backend/scripts/backup.sh
sudo chown dudao:dudao /srv/dudao/backend/scripts/backup.sh
逐段说清为什么:
| 段落 | 作用 | 少了会怎样 |
|---|---|---|
set -euo pipefail |
任何一步失败就退出 | 错误被吞,脚本永远返回 0 |
trap ... EXIT |
退出时清理临时目录 | 每次跑都留一堆临时文件 |
.backup |
一致性快照 | cp 出来的库可能损坏 |
integrity_check |
验证文件可用 | 备份了半年才发现全是坏文件 |
install -m 600 |
配置进包且收紧权限 | 密钥以 644 躺在备份里 |
MANIFEST |
记录版本与时间 | 恢复时不知道配哪个代码版本 |
| 大小兜底 | 拦住"备份了个空文件" | 静默失败 |
find -mtime -delete |
保留 7 天 | 磁盘被备份撑满 |
手工跑一次:
sudo -u dudao DUDAO_BACKUP_REMOTE= /srv/dudao/backend/scripts/backup.sh
预期:
ok /srv/dudao/data/backup/dudao-20261117-0430-12.tar.gz 1183744 bytes
看一眼内容:
sudo -u dudao tar -tzf /srv/dudao/data/backup/dudao-*.tar.gz | head
预期:
./
./dudao.db
./env.backup
./MANIFEST
第二步:做成定时任务
用 systemd timer,不用 cron。理由:日志进 journald(和 7.3 一致)、能 Persistent=true 补跑错过的任务、能用 systemctl list-timers 统一查看。
sudo tee /etc/systemd/system/dudao-backup.service >/dev/null <<'EOF'
[Unit]
Description=DuDao daily backup
After=network.target
[Service]
Type=oneshot
User=dudao
Group=dudao
Environment=DUDAO_BACKUP_REMOTE=
ExecStart=/srv/dudao/backend/scripts/backup.sh
EOF
sudo tee /etc/systemd/system/dudao-backup.timer >/dev/null <<'EOF'
[Unit]
Description=Run DuDao backup daily
[Timer]
OnCalendar=*-*-* 03:20:00
Persistent=true
RandomizedDelaySec=300
[Install]
WantedBy=timers.target
EOF
sudo systemctl daemon-reload
sudo systemctl enable --now dudao-backup.timer
systemctl list-timers dudao-backup.timer --no-pager
三个参数的选择理由:
| 参数 | 值 | 理由 |
|---|---|---|
OnCalendar |
03:20 | 访问最少;避开整点(很多任务挤在整点) |
Persistent=true |
— | 机器在 03:20 关机时,开机后补跑一次 |
RandomizedDelaySec |
300 | 加最多 5 分钟随机延迟,避免和其它任务撞在一起 |
Persistent=true 很关键:云主机维护重启经常发生在凌晨,没有它就会连续几天不备份,而你完全不知道。
验证:
sudo systemctl start dudao-backup.service
systemctl status dudao-backup.service --no-pager
sudo journalctl -u dudao-backup -n 20 --no-pager
第三步:装 /healthz
新建 backend/routers/health.py:
from pathlib import Path
from fastapi import APIRouter
from fastapi.responses import JSONResponse
import config
from db import get_conn
router = APIRouter(tags=["health"])
@router.get("/healthz")
def healthz():
checks = {}
try:
with get_conn() as conn:
conn.execute("SELECT 1").fetchone()
checks["db"] = "ok"
except Exception as exc:
checks["db"] = f"fail: {type(exc).__name__}"
try:
probe = Path(config.DB_PATH).parent / ".write-probe"
probe.write_text("x", encoding="utf-8")
probe.unlink()
checks["disk"] = "ok"
except Exception:
checks["disk"] = "readonly"
healthy = all(v == "ok" for v in checks.values())
return JSONResponse(
status_code=200 if healthy else 503,
content={"status": "ok" if healthy else "degraded", "checks": checks},
)
# main.py
from routers import health
app.include_router(health.router)
写探针文件而不是只检查 os.access,是因为权限位和实际可写是两件事:目录 755 属主 root 时,os.access 对 root 会说"可写",但应用以 dudao 跑就写不进去。
验证:
curl -s -w '\n%{http_code}\n' http://127.0.0.1:8000/healthz
{"status":"ok","checks":{"db":"ok","disk":"ok"}}
200
再故意制造一次失败:
sudo chmod 500 /srv/dudao/data
curl -s -w '\n%{http_code}\n' http://127.0.0.1:8000/healthz
sudo chmod 700 /srv/dudao/data
预期返回 503 且 disk 是 readonly。能返回 503 的探针才是探针,永远返回 200 的探针只是装饰。
第四步:真删一次库
这一步必须做,而且要挑一个数据不重要的时候。
# 0. 确认最新备份存在
ls -lh /srv/dudao/data/backup/ | tail -n 3
# 1. 记下当前数据量,用来对比恢复结果
sudo -u dudao sqlite3 /srv/dudao/data/dudao.db \
"SELECT (SELECT COUNT(*) FROM notes), (SELECT COUNT(*) FROM users);"
# 形如 128|4
# 2. 停服务
sudo systemctl stop dudao
# 3. 备份现场(万一恢复失败,还能手工捞)
sudo -u dudao cp -a /srv/dudao/data/dudao.db /srv/dudao/data/dudao.db.before-drill
# 4. 删库
sudo -u dudao rm -f /srv/dudao/data/dudao.db /srv/dudao/data/dudao.db-wal /srv/dudao/data/dudao.db-shm
此时启动服务应该直接失败,/healthz 拿不到 200:
sudo systemctl start dudao
sleep 3
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8000/healthz
预期 000(连不上)或 503。
开始恢复:
# 5. 停服务
sudo systemctl stop dudao
# 6. 解包到临时目录
RESTORE=$(mktemp -d)
sudo -u dudao tar -xzf /srv/dudao/data/backup/dudao-最新那个.tar.gz -C "$RESTORE"
# 7. 放回,注意属主和权限
sudo install -o dudao -g dudao -m 600 "$RESTORE/dudao.db" /srv/dudao/data/dudao.db
# 8. 确认没有残留 WAL
ls -l /srv/dudao/data/
# 9. 启动并验证
sudo systemctl start dudao
sleep 2
curl -s http://127.0.0.1:8000/healthz
sudo -u dudao sqlite3 /srv/dudao/data/dudao.db \
"SELECT (SELECT COUNT(*) FROM notes), (SELECT COUNT(*) FROM users);"
第 8 步必须看到只有 dudao.db、backup/ 和 dudao.db.before-drill,没有 -wal 和 -shm。有的话删掉再启动。
最后清理:
sudo -u dudao rm -f /srv/dudao/data/dudao.db.before-drill
rm -rf "$RESTORE"
第五步:写 deploy.sh 与 rollback.sh
第一次切到版本目录要搬迁一次:把现有 backend/ 移进 releases/ 的第一个版本,把 .venv 和 .env 移到 shared/,再按上面的结构建三条软链。搬完 restart 验一次。
sudo tee /srv/dudao/backend/scripts/deploy.sh >/dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
APP=/srv/dudao
SRC="${1:?用法: deploy.sh <源码目录,需含 backend/ 与 web/>}"
STAMP="$(date +%Y%m%d-%H%M%S)"
REL="$APP/releases/$STAMP"
if [ ! -d "$SRC/backend" ] || [ ! -d "$SRC/web" ]; then
echo "$SRC 下缺少 backend/ 或 web/" >&2
exit 1
fi
mkdir -p "$REL/backend" "$REL/web"
rsync -a --delete --exclude '.venv' --exclude '__pycache__' --exclude '.env' \
"$SRC/backend/" "$REL/backend/"
rsync -a --delete "$SRC/web/" "$REL/web/"
ln -sfn "$APP/shared/venv" "$REL/backend/.venv"
ln -sfn "$APP/shared/.env" "$REL/backend/.env"
ln -sfn "$REL" "$APP/current"
ln -sfn "$REL/backend" "$APP/backend"
ln -sfn "$REL/web" "$APP/web"
# 启动失败时 systemctl 会返回非 0,用 || true 让流程走到健康检查再决定回滚
systemctl restart dudao || true
sleep 3
if ! curl -fsS -o /dev/null http://127.0.0.1:8000/healthz; then
echo "health check failed, rolling back" >&2
exec "$APP/backend/scripts/rollback.sh"
fi
echo "deployed $STAMP"
EOF
sudo tee /srv/dudao/backend/scripts/rollback.sh >/dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
APP=/srv/dudao
PREV="$(ls -1dt "$APP"/releases/*/ 2>/dev/null | sed -n 2p)"
if [ -z "$PREV" ]; then
echo "no previous release" >&2
exit 1
fi
ln -sfn "${PREV%/}" "$APP/current"
ln -sfn "${PREV%/}/backend" "$APP/backend"
ln -sfn "${PREV%/}/web" "$APP/web"
systemctl restart dudao
echo "rolled back to ${PREV%/}"
EOF
sudo chmod 755 /srv/dudao/backend/scripts/deploy.sh /srv/dudao/backend/scripts/rollback.sh
ln -sfn 里的 -n 是关键。对"指向目录的软链"执行 ln -sf 时,如果不加 -n,ln 会认为你要在目标目录里创建链接,结果是 current/releases/xxx 这样的怪东西,而 current 本身没变。这个坑不会报错,只会让你以为"切换没生效"。
发布分三步:上传到临时目录、备份、发布。
# 本机:上传到 /tmp,登录用户就能写,不需要 sudo
ssh dudao 'mkdir -p /tmp/dudao-release'
rsync -a --delete --exclude '.venv' --exclude '__pycache__' --exclude '.env' \
backend/ dudao:/tmp/dudao-release/backend/
rsync -a --delete web/ dudao:/tmp/dudao-release/web/
# 服务器:先备份,再从临时目录发布
ssh dudao 'sudo -u dudao /srv/dudao/backend/scripts/backup.sh && \
sudo /srv/dudao/backend/scripts/deploy.sh /tmp/dudao-release'
为什么不直接传到 /srv/dudao/backend:那里的属主是 dudao,登录用户写不进去。/tmp 中转一次,权限边界最干净。
回滚:
sudo /srv/dudao/backend/scripts/rollback.sh
验证当前版本:
readlink -f /srv/dudao/current
ls -1dt /srv/dudao/releases/*/ | head -n 3
第六步:配外部探活
在另一台机器上加一条 cron(或第三方服务的自定义监控):
*/5 * * * * curl -fsS -m 10 -o /dev/null https://dudao.example.com/healthz || echo "dudao down $(date)" >> ~/dudao-alert.log
把 echo 换成邮件或 IM 机器人。没有通知的监控等于没有监控。
7.8.4 三个坑
坑 1:cp 出来的备份打不开
症状:
sqlite3.OperationalError: database disk image is malformed
或者:
file dudao-20261110.db
dudao-20261110.db: data
成因:WAL 模式下的主库文件不是完整状态,最新事务在 -wal 里;复制过程中发生 checkpoint 时,还会拿到撕裂的页。
修法:
sqlite3 /srv/dudao/data/dudao.db ".backup '/srv/dudao/data/backup/tmp.db'"
sqlite3 /srv/dudao/data/backup/tmp.db "PRAGMA integrity_check;"
输出 ok 再打包。已经用 cp 备份了半年的,那些文件基本都不可信,不要指望它们能恢复,立刻换成 .backup 并做一次演练。
一个补充判断:如果备份文件大小和主库完全一样,且主库当时没有写入,cp 有可能恰好可用。但"有可能"不是备份策略,别赌。
坑 2:备份文件在,恢复时才发现用不了
症状:恢复时出现其中一种:
| 报错 | 原因 |
|---|---|
unable to open database file |
属主/权限不对,dudao 读不了 |
database disk image is malformed |
备份本身就是坏的(坑 1) |
| 数据是几个月前的 | 定时任务早就静默失败了 |
| 表不存在 | 恢复到了错误的库,或版本不匹配 |
成因:只验证了"文件存在",没验证"能恢复"。文件存在是一个极弱的信号——0 字节的文件也存在。
修法:把验证做进备份脚本(本章的 integrity_check + 大小兜底),并且每季度真恢复一次。恢复演练要覆盖到"停服务、删 WAL、改属主、启动、核对行数"每一步,因为出问题的往往不是数据,是这些周边动作。
还有一条:备份文件名必须带时间戳。固定名字(如 dudao-backup.db)会被下一次覆盖,你永远只有一个备份。
坑 3:磁盘满了,备份静默失败
症状:/srv/dudao/data/backup/ 里最新的文件停在两周前,但 systemctl status dudao-backup.timer 显示一切正常,journalctl 里也没有 failed。
成因:两种。
| 成因 | 表现 |
|---|---|
脚本没有 set -e |
sqlite3 失败后继续执行,tar 打了个空包,退出码 0 |
| 旧备份没清理 | find -mtime +7 -delete 没生效,磁盘满,tar 写不进去 |
第二种还会连带把数据库写坏(7.7 讲过 database or disk is full)。
修法:三件事一起做。
# 1. 脚本必须有 set -euo pipefail 和明确的退出码
# 2. 每次成功后打印一行 ok,方便 grep
sudo journalctl -u dudao-backup --since "7 days ago" --no-pager | grep -c '^.*ok '
# 3. 监控"最新备份的年龄",而不是"任务有没有跑"
find /srv/dudao/data/backup -name 'dudao-*.tar.gz' -mtime +1 | head
第三条输出的应该是空。有输出就说明超过 24 小时没有新备份,比看 timer 状态可靠得多——timer 只证明"触发了",不证明"成功了"。
把这条检查塞进 7.8.3 第六步的外部探活里,或者单独加一个每日任务:
[ -z "$(find /srv/dudao/data/backup -name 'dudao-*.tar.gz' -mtime +1)" ] || echo "backup stale"
| 坑 | 关键现象 | 一句话修法 |
|---|---|---|
cp 备份损坏 |
database disk image is malformed |
改用 .backup + integrity_check |
| 备份不可恢复 | 权限错、版本错、数据旧 | 每季度真恢复一次,把验证写进脚本 |
| 静默失败 | 最新备份停在两周前 | set -euo pipefail + 监控备份年龄 |
本章验收
-
backup.sh手工执行输出ok ... bytes,tar 包内有dudao.db、env.backup、MANIFEST -
systemctl list-timers dudao-backup.timer能看到下一次执行时间 -
curl /healthz返回 200;把data/改成只读后返回 503,改回后恢复 200 - 完成一次真实的"删库 → 恢复",恢复后行数与删除前一致,并记录了 RTO
-
deploy.sh产出新的 release 目录,readlink -f /srv/dudao/current指向它 -
rollback.sh能在 10 秒内切回上一个版本,/healthz恢复 200
自测
Q1:为什么恢复数据库之前必须删掉 dudao.db-wal 和 dudao.db-shm?
看答案
WAL 里存着尚未合并进主库的事务。恢复回来的主库是某个时间点的快照,如果旧 WAL 还在,SQLite 启动时会把它当作"这个库的最新修改"重放上去,结果可能是数据倒退、主键冲突,甚至直接损坏。所以恢复的顺序必须是:停服务 → 删 -wal/-shm → 放回主库 → 启动,让 SQLite 从干净状态开始。Q2:备份脚本里为什么既要做 integrity_check,又要检查文件大小?
看答案
两者拦的是不同的失败。integrity_check 拦"文件结构损坏"(比如用 cp 拷了撕裂快照),但它对一个 0 字节的文件也可能返回 ok(空库是合法的);大小检查拦"备份了个空东西"(路径写错、源库不存在)。两个都做,才能覆盖"文件存在但没用"的绝大多数情况。再加上"备份年龄"监控,就覆盖了"根本没跑"这一种。Q3:为什么回滚只切软链不够,还要考虑数据库迁移?
看答案
软链只切换代码,数据库是共享的、不回滚。如果新版本做了破坏性迁移(删列、改名、改类型),旧代码去读就会报错或读到错的数据。所以规则是迁移只做加法:加列(带默认值)、加表、加索引,不删不改名。确实需要做破坏性变更时,要先备份,并接受"回滚 = 连数据一起回到备份点"这个代价。下一步
到这里,https://你的域名 能打开,进程开机自启、崩了自动重启、日志可查、备份能恢复、发布能回滚。卷 7 的目标达成。
但"能上线"和"值得被使用"之间还有一段距离:需求该砍到多小、测试该测什么、性能和安全的最低线在哪。下一卷处理这些。