Sự cố khiến nhân viên, các doanh nghiệp và nhiều chính phủ không thể truy cập Outlook trong gần 24 giờ.

Theo The Verge, mọi chuyện bắt đầu ở Thụy Sĩ khi các máy chủ Exchange vận hành Outlook bắt đầu ngừng hoạt động. Sự cố nhanh chóng lan sang Mexico, và sau đó là các quốc gia khác trên thế giới. Chỉ trong vài giờ, hơn 80% máy chủ Exchange đã không phản hồi.
Các nguồn tin cho biết Microsoft đã đánh giá sự cố này ở mức "sev0". Đây là mức cao nhất trong hệ thống theo dõi sự cố nội bộ của công ty. Hàng trăm kỹ sư cố gắng tìm hiểu điều gì đã xảy ra và làm thế nào để khôi phục dịch vụ.
Việc các máy chủ gặp sự cố trong một số trường hợp nhất định không phải là điều bất thường. Tuy nhiên, Microsoft có nhiều máy chủ dự phòng để điều hướng hoạt động, từ đó giữ cho hệ thống luôn trực tuyến. Trong trường hợp này, hệ thống dự phòng đã làm đúng nhiệm vụ của chúng, nhưng lại vô tình khiến sự cố lan rộng.
Trong những giờ đầu, các kỹ sư đã phân tích báo cáo sự cố, nhật ký theo dõi để cố gắng tìm kiếm manh mối. Một số máy chủ đã chuyển sang chế độ bảo trì và không phản hồi do CPU quá tải.
Các kỹ sư đã cố gắng đưa máy chủ hoạt động trở lại, nhưng chúng gần như ngay lập tức bị quá tải bởi lượng truy cập đang chờ đợi để kết nối.
Ban đầu, các kỹ sư nghi ngờ sự cố có liên quan đến một cuộc tấn công mạng. Tuy nhiên, các báo cáo sự cố và nhật ký đã nhanh chóng loại trừ khả năng bị tấn công. Sau khi nỗ lực phục hồi thất bại, các kỹ sư của Microsoft bắt đầu xem xét kỹ hơn và phát hiện ra một lỗi bất thường nằm trên các máy chủ từ tháng 7.

"Một lỗi ẩn đã khiến các máy chủ bị quá tải và không phản hồi trong một số điều kiện nhất định", Charles Lamanna, người đứng đầu nhóm Copilot, Agents và Platform (CAP) của Microsoft, viết trong một bài đăng trên X.
Microsoft đã mất gần 24 giờ để đưa các máy chủ Exchange hoạt động ổn định trở lại. Đáng nói, những can thiệp chồng chéo từ các nhóm kỹ sư khác nhau đã khiến quá trình phối hợp trở nên phức tạp. Có thời điểm, các kỹ sư đã tham gia vào một cuộc gọi trực tuyến với quy mô lên đến 1.000 người.
"Quá trình khôi phục mất nhiều thời gian hơn bình thường. Khi các máy chủ hoạt động trở lại, chúng ngay lập tức bị quá tải bởi lượng lớn truy cập đang chờ đợi và lại rơi vào trạng thái không phản hồi.
Điều này lặp đi lặp lại liên tục. Các quy trình khôi phục tự động thông thường của chúng tôi không được thiết kế để khôi phục dịch vụ từ trạng thái không phản hồi trên diện rộng như thế này", Lamanna viết.