19时25分05秒以后,只剩下极少量因ip地理库误差被标记为“西安”的请求,还在零星跳动。
陈可皱起眉,“啥情况,看着不像机房故障啊。”
赵宝明把咖啡放到一边。
如果只是字节某个边缘节点发生故障,流量应该按照调度策略迁移到邻近节点。dns调度、anycast路由以及运营商侧的流量工程都会让业务出现时延升高、回源比例上升或者局部丢包,却很难让一个千万级别人口城市的终端请求同时消失。
更何况消失的不只有视频业务。
后台统一可观测平台已经开始连续报警。
陕西西安区域活跃设备数异常。
西安区域边缘缓存节点可用性异。
一条接一条。
几十秒后,报警被自动聚合,严重等级开始上调。
坐在另一排的网络工程师宋文泽突然叫了一声。
“赵哥,过来看这个。”
赵宝明走过去。
宋文泽屏幕上打开的是网络侧数据。
移动、电信、联通。西安区域全部出现异常。
宋文泽把bgp监控页面调出来。
“陕西相关公网前缀大部分还在路由表里,没有发生大面积撤销。上游as也正常。也就是说,从互联网的路由控制平面看,这些地址很多仍然‘存在’。”
陈可站在两人后面,接了一句,“可没人用了。”
办公室安静了下来。
19时26分11秒,周启明拿起内部电话。
“值班经理呢?”