目录
- 我们做了什么
- 我们怎么测的
- 发现的问题(16 条,按影响排序)
- 5.5.7 已不再复现的问题
- 请确认:汇总表
§1我们做了什么
场景:撮合引擎的订单入口总线。要求同一 key 严格有序、已确认消息零丢失、任何单点故障下停写尽量短且自动恢复。
生产端是长连接网关(幂等生产者,acks=all),典型为单分区或少量分区。
| 项 | 配置 |
|---|---|
| Region / AZ | ap-northeast-1,apne1-az1 / az2 / az4 各一台 broker |
| 版本 | 控制台 8.4.7 → 8.4.8-aws;数据面 5.5.6 → enterprise-core 5.5.7(在线滚动升级);Terraform provider 0.4.10 |
| broker | 3 × m7g.xlarge,KRaft combined(3 个都是 controller) |
| WAL | FSWAL,FSx for ONTAP MULTI_AZ_2,384 MBps(部分测试 768 MBps),首选子网 az2、备用 az1 |
| 双 FSx 阶段 | file_system_count = 2,两套 FSx 的首选子网都在 az2 |
| 客户端 | 3 × c7g.2xlarge(每 AZ 一台),Kafka 客户端 4.1.1,自研压测工具(开环定速 + 逐条审计) |
测了哪些:
| 类别 | 内容 |
|---|---|
| 性能 | 单分区 / 多分区 1k–200k msg/s 速率阶梯;38 个客户端参数组合;1 h / 2 h / 4 h 浸泡;12 生产者同写、大消息、扇出、事务 |
| 故障 | kill -9(5.5.6 15 次、5.5.7 23 次)、EC2 stop、三个 AZ 的网络分区、AWS FIS 模拟 AZ 级故障、broker ↔ FSx 灰色故障、FSx HA 切换、S3 不可用 |
| 双 FSx | 切断一套 66 s / 300 s、叠加 kill -9、计划内 HA 切换、FSx 首选 AZ 分区、2 h 浸泡、缩回单 FSx |
| 运维 | 在线升级、扩缩 3 ↔ 6、分区迁移、换 FSx 吞吐档、FSx 备份 / 扩 IOPS / 扩 SSD、邻居负载、历史回读 |
§2我们怎么测的
- 订单流:开环定速发送,延迟从计划发送时刻算(避免协调遗漏);每个 key 的序号单调递增,消息体带序号与计划时刻。
- 逐条审计:同进程的审计消费者读回全部消息,用位图逐条核对丢失 / 乱序 / 重复;「报失败但其实已写入」单独计数。
- 停写的定义:最长连续「有发送、零确认」的秒数;「最大确认」指单条消息的最长确认时间,两者分开报。
- 故障注入:进程
kill -9;broker 子网 NACL 断网(只断对外、保留子网内);只断 broker → FSx 的 NFS 端口;broker 角色Deny s3:*; AWS FIS 在一个实验内同时断网 5 min + 停该 AZ 的 broker。每次注入前 130 s 稳态,finally中自动撤销,故障后探测各 topic 是否可写。 - 纪律:一次只改一个变量;关键结论至少测 2 次并写明「n 次中 m 次」;放置漂移、注入时长不符、网络路径异常的结果全部作废重跑。
总体结果:稳态表现很好——5.5.7 单分区 4 h 浸泡 288 M 条,p99 7.87 ms、p99.99 32.65 ms;调参后单分区 200k msg/s、p99 8.66 ms; 在线升级、扩缩容、FSx 备份 / 扩容几乎无感;broker 实例被停后约 1.7 min 自动拉起替换。全部测试中已确认消息丢失为 0。 问题集中在故障与高可用,见第 3 节。
§3发现的问题
问题 1双 FSx 不能消除 FSx 单点
- 现象
file_system_count = 2时,切断任意一套 FSx,全集群仍然停写;切断约 5 min 后撤销,部分分区持续不可写,只能人工重启 broker。 - 证据
| 测试 | 单 FSx | 双 FSx |
|---|---|---|
| 切断一套 FSx ≈ 66 s | 全集群停写 62–70 s,0 失败 | 全集群停写 62–85 s,失败 16,644 |
| 切断一套 ≈ 300 s / 再叠加 kill -9 | — | 零确认 369–524 s / 333–573 s;撤销 10 min 后仍不可写,受控重启才恢复(2 / 2) |
| 单分区切断一套 300 s | — | 零确认 369 s,失败 89.7 万,自愈 |
| 计划内 HA 切换 | 零确认 3–4 s | 零确认合计 16–39 s |
| FSx 首选 AZ 分区 64 s | 120–146 s | 71–74 s(两套首选都在 az2,同时受影响) |
| 2 h 浸泡 p99.99 / max | 55.85 / 238.7 ms | 26.55 / 56.8 ms(这一项更好) |
- 我们的判断双 FSx 是 WAL 的负载分摊,不是故障切换——每台 broker 同时依赖两套 FSx(NFS hard 挂载),一套不可达就阻塞,故障面从 1 套变成 2 套;两套首选节点同 AZ,也没有 AZ 冗余。
- 请确认① 双 FSx 的设计目标是负载分摊还是高可用?② 当前是否不支持「WAL 自动避开不可达的 FSx」?是否有计划?③ 失去一套后不自愈是否为已知问题?④ 两套 FSx 的首选节点能否分到不同 AZ?⑤ 撮合场景要消除 FSx 单点,贵方推荐的部署是什么?
问题 2双 FSx 无法缩回单 FSx(Q30)
- 现象
file_system_count2 → 1 后,az2 的 broker 启动即致命退出、无限重启;控制台任务卡在RefreshNodeForFileSystemTaskStep,≥ 3 h 不结束、无报错、无回滚。 - 证据broker 1 崩溃 1,266 次;改回 2 是 no-op,没有 API 回滚路径;最终只能删除实例重建(40 min,数据丢弃)。扩容 1 → 2(约 9 min)正常。日志:
NullPointerException: Cannot invoke "java.lang.Long.longValue()" because the return value of "java.util.NavigableMap.floorKey(Object)" is null Using the old config NodeMetadata{nodeId=1, … walConfig='0@any://?walID=2,2@nfs:///mnt/nfs/2?iops=1000&iodepth=4'} for recovering - 我们的判断恢复阶段读到旧的 WAL 映射,与新配置不一致。双 FSx 一旦上线就无法安全回退。
- 请确认① FSx 缩容是否受支持?② 若不支持,控制台为何接受该变更?③ 修复计划?
问题 3短暂网络分区后,长连接幂等生产者永久写不进去(Q28)
- 现象FSx 首选 AZ 网络分区约 60–80 s 后,存活的幂等生产者被持续判为序号乱序(
[OUT_OF_ORDER] processing append operation),一直写不进去;同一时刻新建的生产者 0 s 就能写。 - 证据
形态(客户端 delivery.timeout.ms=30000) |
复现 | 结果 |
|---|---|---|
| 5.5.6 多分区 | 2 / 2 | 零确认 ≥ 769 s,到运行结束未恢复 |
| 5.5.7 多分区 | 2 / 4 | 两次 770–771 s 零确认到运行结束 |
| 5.5.7 单分区 | 1 / 2 | 三路全部永久卡死(≥ 770 s),失败 1,141.7 万 |
| 5.5.7 单分区 · 双 FSx | 1 / 1 | 两路 773 s / 782 s 未恢复 |
规避与代价:delivery.timeout.ms=120000 不再永久卡死,但单分区停写 249 s;关幂等 + in-flight 1 不再永久卡死,但仍停写 133–139 s;另外单独测得 in-flight 1 本身让稳态 p99 由 7.7–9.1 ms 升到 11.95–13.75 ms。丢失始终为 0。
- 我们的判断此前沟通中提到 5.5.7 已修复,但 5.5.7 上仍能复现。
- 请确认① 这是否为已知缺陷、确切触发条件是什么?② 服务端为何不返回可让客户端恢复的错误?③ 修复版本?④ 修复前是否有不关幂等、不降吞吐的规避?
问题 4FSx 首选 AZ 出故障 = 全集群停写
- 现象FSx 只有一个 HA pair。首选节点所在 AZ 网络不通时(FSx 本身健康,不触发 HA 切换),三个 AZ 的 broker 都写不了 WAL,只能等故障解除。
- 证据NACL 隔离 az2 子网(名义 60 s)⇒ 5.5.7 全集群停写 120–146 s。AWS FIS AZ 级故障(断网 5 min + 停该 AZ broker): 拿掉 az1 ⇒ 最坏一秒 69.5–72.4 s、0 失败;拿掉 az2(FSx 首选)⇒ 三个 AZ 全部停写 369–376 s,每路失败 29.9–33.3 万笔。
- 我们的判断一个 AZ 故障就是全集群故障,停写 ≈ 故障时长 + 约 70 s;FSx 侧不会因为客户子网不可达而切换。
- 请确认① 这是否为当前架构的已知限制?② 是否有(或计划)失去首选 AZ 时 WAL 自动切到备用节点?③ 推荐的多 AZ 容灾部署?
问题 5无故障时 CPU 背压也会卡住写入(Q29)
- 现象多生产者、小请求负载下,broker CPU ≈ 0.9 触发背压,RequestRate 配额 20,000 被压到约 2,400,Produce 一起被限,周期性停写。
- 证据12 生产者 × 2k msg/s 写 24 分区,3 / 3 复现,最差一路 max 5.4–8.6 s;单分区混合负载 45 min 内 17 段零确认(3–11 s)。
linger.ms=5无效。5.5.6 未出现。日志:DefaultBackPressureManager: The system is in a HIGH state, checkers: {CPU=HIGH} QuotaRegulator: Decrease broker quota RequestRate from 20,000 to 3,981 → … to 2,388 - 我们的判断设计行为的副作用;没有找到可配置的阈值或开关。
- 请确认① 能否让背压豁免 Produce?② 阈值与开关?③ m7g.xlarge 在约 5.3k req/s/broker 时 CPU 0.9 是否符合预期?
问题 6S3 不可用时写入停止(5.5.7 与 5.5.6 行为不同)
- 现象5.5.7 上 S3 不可用约 4 min 后开始停写,S3 恢复后约 1 min 才恢复;broker 日志无错误行。
- 证据S3 不可用 300 s ⇒ 停写 106–136 s(3 / 3);900 s ⇒ 分区连续停写 737 s。5.5.6 同条件 300 s 内写路径不受影响。停写 ≈ S3 中断时长 − 220 s,没有上限。丢失 0。
- 我们的判断5.5.7 的 WAL 上限或回收策略有改动(推测,未验证)。
- 请确认① 5.5.7 在这里改了什么?② 是否预期行为?③ 能否恢复 5.5.6 的行为或给出可调上限?
问题 7broker ↔ FSx 灰色故障不会自动隔离(Q7)
- 现象broker 到 FSx 的 NFS 不通、但心跳正常时,broker 不报错、不 failover,WAL IO 一直挂着;同一生产者的健康分区也被拖停。
- 证据切断 NFS 120 s ⇒ 5.5.7 停写 149 s,失败 227,892。挂载参数
nfs4 … hard, sync, timeo=30, retrans=3。停写 = 故障时长 + 约 30 s。 - 我们的判断hard 挂载下 IO 无限期阻塞,故障持续多久就停多久。
- 请确认① 是否有 WAL IO 超时自杀(watchdog)开关?② 推荐的运维处置?
问题 8kill -9 后恢复需要 15–27 s,调检测参数无效
- 现象单 broker kill -9 后全部自愈,但停写 15–27 s、最大确认 18.4–34.2 s(16 次中 2 次 > 30 s);从进程死亡到发起 failover 约 18 s。
- 证据
broker.session.timeout.ms9 s → 4.5 s 无可测收益(21.5 s vs 22.9 s)。日志[AZ_FAILOVER] Detected AZ-level failure … All 1 nodes require failover. - 我们的判断检测之外约 9 s 的等待原因不明(可能是 WAL 租约 / NFS 锁过期)。
- 请确认① 这 18 s 由哪些步骤构成、能否缩短?② 检测时长在商业版中是否可调?③ 单节点崩溃日志写
AZ-level failure是否只是措辞?
问题 9zone router 放大故障,服务端 router_channel 关不掉(Q6 / Q19)
- 现象客户端开启 zone router 时,转发链上的节点卡住,请求要等满 30 s 超时,leader 健康的分区也一起停。
- 证据关闭客户端 zone router 后,同 AZ 健康分区停写 59.8 s → 0.17 s,稳态跨 AZ 写快 0.8–5.1 ms;但服务端
automq.zonerouter.local.write.mode=router_channel是默认值,客户端关不掉。 - 我们的判断撮合场景下 zone router 的风险大于收益。
- 请确认① 撮合类场景是否建议关闭 zone router?②
router_channel能否关闭(是否有direct模式)?
问题 10自动均衡每 600 s 迁移 leader,并改掉手工放置(Q8)
- 现象每次迁移 0.97–1.87 s 不可写;
--replica-assignment的手工放置几分钟内被改掉。 - 证据经
instance_configs设autobalancer.controller.exclude.topics排除订单 topic 后,40 min 浸泡 p99.99 731.5 → 42.95 ms。该键不在文档的可配键列表中。 - 请确认① 该键是否为受支持的排除方式?② 能否只关闭 leader 迁移?
问题 11FSx HA 切换与换档的停顿
- 现象FSx HA 切换(含 AWS 例行维护)造成全集群短暂停写;经控制台换 FSx 吞吐档需要新建 FSx + 两轮滚动。
- 证据5.5.7 单 FSx HA 切换单段 ≤ 6.5 s(较 5.5.6 的 10.1 s 改善);双 FSx 下零确认合计 16–39 s。换档约 53 min,每路 26–35 秒 > 100 ms、最大 2.7–3.1 s,期间两套 FSx 同时计费。
- 请确认① HA 切换停顿能否进一步缩短?② 是否有更平滑的换档方式?
问题 12实例配置项会被静默覆盖、且不能删除(Q22 / Q25)
- 现象
s3.wal.upload.threshold经instance_configs设 67108864,读回 536870912,不报错;instance_configs不能删除已设键,只能写回默认值。 - 证据同批另外 3 个键生效;删除被拒:
At present, we don't support the removal of instance settings from the 'configs' block … - 请确认① 哪些键会被控制台模板覆盖?② 是否计划支持「恢复默认」?写回的值在升级时是否跟随新默认值?
问题 13尾延迟:孤立尖刺、历史回读与网卡配额(Q24 / Q26 / Q27)
- 现象与证据
- 2 h 浸泡中孤立的 230–242 ms 尖刺,无周期性;5.5.7 p99.99 33.75 → 55.85 ms(较 5.5.6 变差)。
- 30 GB 历史回读期间,热写路径 max 32.7 → 257 ms。
- 重负载后 170–345 ms 尖刺,根因已由我们定位为 broker 网卡带宽配额超限(
bw_in_allowance_exceeded持续增长)。
- 请确认① 孤立尖刺来自哪个后台任务?② 读写隔离的推荐做法?③ 按网卡基线带宽选机型的建议?
问题 14FSx 邻居负载拖慢 WAL(X6)
- 现象与证据同一 FSx 上有其他负载时,3,072 IOPS 下全集群零确认 9 s;6,144 IOPS 下 0 s。
- 请确认推荐的 IOPS 余量与「FSx 独占」要求?
问题 15部署与文档
| # | 现象 | 请确认 / 建议 |
|---|---|---|
| Q14 | EC2 部署下 broker 子网同样需要出网(或 SSM 接口端点),文档只对 EKS 写明 | 文档补充 |
| Q15 | FSx 浮动 IP 路由只写入 FSx 创建时 broker 子网所用的路由表;之后更换路由表,WAL 静默绕行 NAT、不报错 | 控制台能否校验或自动 AddRouteTableIds? |
| Q16 | 「EC2 模式最小权限集」缺 s3:PutBucketPolicy、s3:GetBucketTagging、iam:GetPolicyVersion 等;iam:PassRole 的 Resource 为 * |
更新最小权限集并收紧 PassRole |
| Q17 | Terraform provider 0.4.10:环境变量名与 schema 不一致;FSWAL 校验把未解析变量当缺失;子网未建时 Duplicate List Value;后端要求 SG 逐端口放行 9090 / 22 / 9102 / 9103 |
修复计划? |
| Q11 | 文档写「单分区写 4 MBps」,实测 1–8 MB/s 无节流 | 限额是否已取消? |
问题 16开源版的两个观察(1.7.4,S3 WAL)
- X8:写确认 p50 恒为约 355–373 ms,调参只抬吞吐、不降延迟。我们理解这是 S3 WAL 组提交间隔决定的。
- X9(疑点):
acks=1吞吐是acks=all的约 9 倍(547.3 vs 60.1 MB/s),而 RF=1 时两者理论上应等价。 - 请确认开源版
acks=1是否在 WAL 持久化之前就应答?
§45.5.7 已不再复现的问题
这些问题在 5.5.6 上出现、在 5.5.7 的样本中不再出现。我们没有拿到修复说明,请提供修复说明以便关闭:
| 问题 | 5.5.6 | 5.5.7 |
|---|---|---|
Q20 kill -9 后自恢复启动失败(IllegalReferenceCountException … S3Storage.startup) |
15 次中 3 次 | 23 次中 0 次 |
Q21 kill -9 后 router channel 卡死(The state(3) isn't in state(STARTED)),32–44 min 需人工重启 |
15 次中 3 次 | 23 次中 0 次 |
| Q3 kill -9 az2 全集群 75–106 s(自动拉起与 failover 竞态) | 1 次 | 23.5 s |
§5请确认:汇总表
请在「贵方回复」一栏勾选并补充:□ 当前现状、目前没有办法解决 · □ 有规避:___ · □ 计划修复:版本 ___ · □ 我们的测试 / 用法有误:___
| # | 问题 | 影响(实测) | 贵方回复 |
|---|---|---|---|
| 1 | 双 FSx 不能消除 FSx 单点;失去一套后不自愈 | 切断一套仍全集群停写 62–85 s;300 s 后需人工重启(2 / 2) | □ 现状 □ 规避 □ 修复 □ 用法 |
| 2 | 双 FSx 无法缩回单 FSx(Q30) | broker 崩溃循环 1,266 次,只能重建实例 | □ 现状 □ 规避 □ 修复 □ 用法 |
| 3 | 分区后长连接幂等生产者永久写不进去(Q28) | 5.5.7 多分区 2 / 4、单分区 1 / 2 永久卡死 | □ 现状 □ 规避 □ 修复 □ 用法 |
| 4 | FSx 首选 AZ 故障 = 全集群停写 | FIS:三个 AZ 停写 369–376 s | □ 现状 □ 规避 □ 修复 □ 用法 |
| 5 | CPU 背压卡住写入(Q29) | 无故障停写 5.4–8.6 s,3 / 3 | □ 现状 □ 规避 □ 修复 □ 用法 |
| 6 | S3 不可用即停写 | 300 s ⇒ 106–136 s,3 / 3 | □ 现状 □ 规避 □ 修复 □ 用法 |
| 7 | 灰色故障不隔离(Q7) | 停写 = 故障时长 + 约 30 s | □ 现状 □ 规避 □ 修复 □ 用法 |
| 8 | kill -9 恢复 15–27 s,参数调不动 | 最大确认最高 34.2 s | □ 现状 □ 规避 □ 修复 □ 用法 |
| 9 | zone router 放大故障;router_channel 关不掉 | 健康分区停 ≈ 60 s(开启时) | □ 现状 □ 规避 □ 修复 □ 用法 |
| 10 | 自动均衡迁移 leader、改掉手工放置(Q8) | 每次 0.97–1.87 s 不可写 | □ 现状 □ 规避 □ 修复 □ 用法 |
| 11 | FSx HA 切换与换档停顿 | 单段 ≤ 6.5 s;换档约 53 min | □ 现状 □ 规避 □ 修复 □ 用法 |
| 12 | 配置项被静默覆盖、不能删除(Q22 / Q25) | 不报错,须逐项读回 | □ 现状 □ 规避 □ 修复 □ 用法 |
| 13 | 尾延迟:孤立尖刺、回读、网卡配额 | max 230–345 ms 级 | □ 现状 □ 规避 □ 修复 □ 用法 |
| 14 | FSx 邻居负载拖慢 WAL | 3,072 IOPS 下停写 9 s | □ 现状 □ 规避 □ 修复 □ 用法 |
| 15 | 部署与文档(Q14–Q17、Q11) | 部署受阻 / 静默绕行 NAT | □ 现状 □ 规避 □ 修复 □ 用法 |
| 16 | 开源版 acks=1 应答时机(X9) |
疑点,未验证 | □ 现状 □ 规避 □ 修复 □ 用法 |
| — | Q20 / Q21 / Q3(5.5.7 不再复现) | — | 请提供修复说明 |
我们可以提供:压测工具与故障注入脚本、每个问题的运行清单与时间线、相关时段的 broker / 控制台日志摘录(经内部审批后);新版本发布后可按同一方法复测并回传结果。
本页由 Markdown 原文生成,正文无删改。