全球范围的大outage，带来了比正常流量高70%的retry 风暴。
终于可以收发邮件了。但是看status 还有一些服务还没恢复。View quoted post on X
Rainier
Verified account This account is verified. Learn more@mtrainier2020
Cogito, ergo sum
994 Following 145K Followers 14K Posts
Latest posts 5
终于可以收发邮件了。但是看status 还有一些服务还没恢复。
最新的status update 就是说，View quoted post on X
就是说我们也不知道发生了什么，
我们试过了一些操作，但是失败了。
我们再试试其他看看能不能解决问题。
我不知道office 365team 经历了什么，
真不会是裁员裁到大动脉了吧。
而且这个很奇怪啊。一般如果是发布造成的，rollback就好了。
如果是traffic造成的，直接black hole一些traffic，然后在fail over，也会解决大部分问题。
如果是安全问题导致的，应该有很明显的pattern啊。
一般来讲都是先recover service 然后再分析root cause，但是显然这次既不能recover service 又不能找到root cause.
这次有点奇怪啊。
最新的status update 就是说，
就是说我们也不知道发生了什么，
我们试过了一些操作，但是失败了。
我们再试试其他看看能不能解决问题。
我不知道office 365team 经历了什么，
真不会是裁员裁到大动脉了吧。
而且这个很奇怪啊。一般如果是发布造成的，rollback就好了。
如果是traffic造成的，直接black hole一些traffic，然后在fail over，也会解决大部分问题。
如果是安全问题导致的，应该有很明显的pattern啊。
一般来讲都是先recover service 然后再分析root cause，但是显然这次既不能recover service 又不能找到root cause.
这次有点奇怪啊。
就是说我们也不知道发生了什么，
我们试过了一些操作，但是失败了。
我们再试试其他看看能不能解决问题。
我不知道office 365team 经历了什么，
真不会是裁员裁到大动脉了吧。
而且这个很奇怪啊。一般如果是发布造成的，rollback就好了。
如果是traffic造成的，直接black hole一些traffic，然后在fail over，也会解决大部分问题。
如果是安全问题导致的，应该有很明显的pattern啊。
一般来讲都是先recover service 然后再分析root cause，但是显然这次既不能recover service 又不能找到root cause.
这次有点奇怪啊。
12个小时了，还没有定位到root cause.View quoted post on X
12个小时了，还没有定位到root cause.
As part of our investigation into the sustained traffic management imbalances, we’re reviewing traffic flows and affected infrastructure to identify opportunities to optimize routing. This includes verifying the reasons for service failures so we can develop specific actions to improve stability. More info under EX1550543 and MO1550821 in the Microsoft 365 admin center, as well as status.cloud.microsoft if the admin center is not available to you.View quoted post on X
看来现在他们还没有搞清root cause。哎。
Microsoft confirms its latest Outlook/Microsoft 365 fixes are not working as expected, more than 11 hours into the outage.View quoted post on X
Servers that were restarted keep becoming unresponsive once traffic returns, creating sustained capacity shortages. Microsoft is now hunting for alternate ways to add capacity while traffic remains unbalanced across regions.
No estimated recovery time. Tracked as EX1550543 / MO1550821. Peak user reports topped 130,000 earlier Thursday.
