越南互联网服务器故障应急预案与容灾恢复实践分享

1.

概述：目标与适用场景

目标：在越南网络环境下，快速把受影响业务恢复到可用状态并最小化数据丢失。适用场景包括机房中断、链路受阻、DDoS 攻击、主机故障与数据库损坏。小分段：1) 目标定义；2) RTO/RPO 设定（示例：RTO 2小时，RPO 15分钟）；3) 相关角色（平台、网络、数据库、运维、客服）。

2.

准备工作：清单与权限

列出必备项并提前配置：1) 访问权限（控制台、BGP 对接、DNS 管理、备份仓库）；2) 联系人表（ISP、机房、上游骨干、法律合规）；3) 备用资源（云端跨区域镜像、Anycast 或全球负载、热备数据库）。小分段：A. 准备脚本和密钥；B. 维护 SLA 与联系人清单；C. 定期校验备份可用性。

3.

故障检测与分类

步骤：1) 通过监控（Prometheus/Zabbix）或合约告警接收故障报警；2) 初步判定是网络链路、DNS 解析、应用崩溃还是数据库问题；3) 使用 ping/traceroute、mtr、dig +short、tcpdump 等工具定位。小分段：命令示例：ping 目标；traceroute -n X.X.X.X；dig @8.8.8.8 example.com +short。

4.

应急响应流程（四步法）

四步执行：1) 评估与隔离（隔离故障节点，避免传播）；2) 通知（通知内外部人员并启动应急组）；3) 临时缓解（切流量、启备用）；4) 恢复并验证。小分段：每步都需在工单系统记录时间与操作人，便于事后复盘。

5.

流量切换（DNS 与 BGP）详细操作

若越南本地带宽或机房受影响，优先考虑流量切换：A. DNS 低 TTL 策略：事先将 authoritative DNS TTL 设置为 60s；发生故障时修改 A/AAAA/CNAME 指向备份 IP；B. 使用 GSLB/Cloudflare/NS1 实现监控自动切换；C. BGP 切换：若控制 BGP，准备备用 ASN 与前缀，向上游发送更高优先级的路由。小分段：操作示例：1) 修改 DNS 后立即触发 global cache flush；2) BGP announce via remote peering，并监控流量分布。

6.

负载均衡与反向代理恢复步骤

步骤：1) 检查 Nginx/HAProxy 状态，使用 systemctl status 并查看 error.log；2) 若进程崩溃，先热备切流量到备用 LB，再重启服务：systemctl restart nginx；3) 如果配置文件损坏，回滚到最近通过版本控制的配置并验证语法 nginx -t。小分段：回滚步骤、健康检查配置（HTTP 200、TCP 握手）和并行验证。

7.

数据库容灾恢复实操（MySQL 为例）

步骤：A. 确认复本拓扑（主从、GTID）；B. 若主库损坏，选择提升最近健康的从库：stop slave; RESET SLAVE AS MASTER; CHANGE MASTER TO ...; C. 若数据丢失，从备份恢复：1) 使用 xtrabackup/xbstream 恢复物理备份；2) 应用 binlog 增量到目标时点；3) 校验一致性（checksum、行数）。小分段：提供命令示例与校验要点，且在恢复前先在预发布环境验证。

8.

文件与对象存储恢复

步骤：1) 使用 rsync 或 rclone 将对象从远端备份或云存储拉回，rsync -avz --delete；2) 对大文件采用分片并发恢复，验证 MD5/SHA256；3) 恢复后立即触发 CDN 刷新或缓存失效。小分段：记录时间戳与版本，避免覆盖新数据。

9.

日志、取证与法律合规

步骤：1) 保存所有相关日志（网络、应用、数据库）到独立只读存储；2) 对安全事件保留 chain-of-custody 记录；3) 在越南境内注意合规要求，保留必要日志时长，必要时配合当地供应商与法律顾问。小分段：制定证据保存模板。

10.

演练与 SOP 编写

实践：1) 按季度执行桌面演练并做故障切换演练（DNS/BGP/DB failover）；2) 编写可执行的 SOP（逐条命令、联系人、回滚方法）；3) 演练后更新 SOP 并评分，确保每步可以在 15 分钟内完成关键操作。小分段：演练清单与评分模板示例。

11.

恢复后复盘与持续优化

步骤：1) 事件结束后 48 小时内进行复盘会议，包含根因分析、改进清单与责任人；2) 将改进项纳入下一个发布周期（如增加多区域备份、提升监控粒度）；3) 定期复测备份恢复能力。小分段：产出 pIR（post incident report）模板并归档。

12.

问：在越南常见的网络故障，优先级如何判断与处置？

答：优先判断是否为国际链路（如海缆）或本地 ISP 故障。步骤：1) 同时测试越南境内与境外访问；2) 若仅国际访问受影响，优先切换到本地备份或越南内网节点；3) 若本地 ISP 故障，触发 BGP 或 DNS 切换到其他 ISP，并通知上游和客户。操作上遵循“隔离—切流—恢复—验证”。

13.

问：如何在不影响用户体验下做快速切换？

答：提前准备低 TTL 的 DNS、健康探测自动化与冷/热备资源。切换步骤：1) 将流量先按比例切到备份（逐步灰度）；2) 监控错误率与延迟，确认稳定再完成全部切换；3) 若使用 Anycast 或 GSLB，可利用权重调整实现无缝迁移。

14.

问：如何验证备份有效并避免恢复失败？

答：建立“备份可恢复性验证”流程：1) 每月在隔离环境做一次完整恢复演练；2) 恢复后执行数据一致性校验（行数、checksum、业务关键查询）；3) 将恢复时间计入 SLA，发现问题立即修正并记录在案。

来源：越南互联网服务器故障应急预案与容灾恢复实践分享