一次高峰期系统问题复盘

今年国庆的放假日期是9月29号,因此 15 号就是抢票的高峰期,而且今年是自20年以后,出行人数最多的一个节假日,12306直接瘫痪了十几分钟,导致系统的一些问题被暴露出来。

Redis不是万能的

在高峰期间,我们的单独的 Redis 集群QPS是 16W/s,期间依靠不断的扩容读节点才勉强扛住了这一波流量,Redis 读服务器的 CPU 一段时间几乎全部被打满。

在代码中看到很多逻辑都是将一些无用的字段也放在了 Redis 中,这样不仅会增加 Redis 的内存,而且在高峰期,极有可能由于一些大 key 导致 Redis 读写变慢,从而拖垮整个服务。

如果对于一些变动不是很频繁的 Key,尝试做本地缓存是一个不错的选择。一些大 Key 做好拆分,实在无法避免的,最好是进行压缩存入 Redis。

阅读更多