死信队列做延迟重试,别把 X-death 当魔法
上周帮一个订单服务排查线上问题。系统有个定时任务负责补偿超时未支付的订单,理论上每隔五分钟扫一次库,然后把待补偿的订单发一条消息到 MQ,消费者拿到后执行状态回滚和库存释放。某次发布新版本后,监控显示补偿成功率从 99.2% 掉到了 87%,失败集中在同一批订单号上,错误日志里能看到 Deliver…
推荐前请先确认这个网站有 RSS / Atom 订阅地址,审核通过后它才会出现在列表里。
近 12 个月每月新增,最早一篇 2026-11
上周帮一个订单服务排查线上问题。系统有个定时任务负责补偿超时未支付的订单,理论上每隔五分钟扫一次库,然后把待补偿的订单发一条消息到 MQ,消费者拿到后执行状态回滚和库存释放。某次发布新版本后,监控显示补偿成功率从 99.2% 掉到了 87%,失败集中在同一批订单号上,错误日志里能看到 Deliver…
上个月帮一个做在线图片处理的团队做技术选型,前端同学想用 WebAssembly 加速滤镜算法。需求听起来很合理——Canvas 的 putImageData 在复杂滤镜下帧率掉到 10fps,用 Rust 编译成 Wasm 理论上能跑回 60fps。三个月后他们找到了我,说线上用户反馈卡顿比预期更…
上个月帮一个实时消息项目做架构调整时,发现了一个让人头疼的问题:线上客户端频繁出现"假死"状态——WebSocket 连接看起来还活着,但消息已经收不到了。排查一圈下来,根因出在心跳设计上:服务器以为客户端还在线,实际上中间的网络链路早就断了,只是 TCP 层面还没检测到。这种"半死不活"的连接占着…
监控群里半夜弹出一堆告警,值班的人盯着屏幕上的红点发愁——不是因为数据没有,而是找不到该看哪张图。我们团队曾经也有这个问题:Prometheus 里指标攒了几千条,Grafana 上搭了十几个大盘,但每次出问题还是要问"这个服务的 QPS 大概多少""内存是不是又涨起来了"。真正的问题在于,大盘画得…
上个月帮一个游戏项目做性能优化,核心逻辑用 C++ 写的,通过 Emscripten 编译成 WASM。功能跑起来了,但线上出了个问题——某个函数计算结果不对。同事第一时间想到的是 Chrome DevTools 里的 Call Stack 面板,想看看栈帧里变量值是不是有问题。点进去,一片茫然:只…
今天想格式化一个 Ventoy 启动盘,结果卸载的时候直接给我弹了个 target is busy,记录一下排查过程,其实就是文件管理器占用了挂载点,顺手还发现 gnome 的 automount 会把分区偷偷挂回来……
上个月帮一个业务团队排查线上问题。Kubernetes 集群里的几个核心服务每天会被杀掉一两次,重启后正常运行几个小时到半天,然后再次 OOM。监控显示这些进程在使用量远没达到 containerd 上报的上限时就突然消失了——没有 Java 堆转储,没有慢日志,没有任何预兆。业务侧第一个反应是"内…
TiDB 迁移后出现死锁问题,排查发现死锁发生原因与预期不符。
在FastAPI服务中,一个依赖库的同步代码导致异步handler卡死,从而拖慢了ASGI服务,使P99延迟从几十毫秒涨到几秒,CPU使用率异常偏高。
上周解决了一个订单状态流转问题,消费者在处理RocketMQ消息时,若重试导致消息顺序错乱,需确保重试后不破坏队列顺序。
这个网站于 2026-10-30 23:52 收录,最近一篇文章发布于 2026-11-13 13:30
网站广场
·
RSS 聚合
证明这个网站是你的:把一个验证文件放到网站根目录,我们读到里面的验证串就通过。
… 能直接打开