美团存储架构PHP -> mgw（美团基础架构组对 lvs 的封装）-> atlas（数据库中间件） -> DB 事故描述mgw 机器 2月1日 11:30 突然宕机，导致 PHP 端大量读超时（10 秒），加锁的语句没有解锁，导致其他语句无法获取锁造成死锁 然而，由于 rabbitmq 1.6.1 心跳设置的是 2 秒，两次（4 秒）检测不到心跳就会将消息重新发送给另一个 worker，所以在 PHP 读超时前，相同消息被 rabbitmq 转发到了另一个 worker，造成了雪崩效应 大量重复 SQL 被提交 DB 执行，select for update 语句造成死锁，因此要求 DBA kill 掉死锁连接，结果 DBA kill 掉了所有连接，造成订单丢失，mysql insert  操作即使没有显式开启事务，执行