Hotmail系统故障:都是自动化脚本惹的祸

系统 自动化
上周Hotmail出现故障,微软Hotmail团队Mike Schackwitz对这次故障进行了解释。此次故障是由于Hotmail服务器健康度监控中的一段自动化测试脚本,这段脚本原本应该批量创建模拟帐号并批量删除,结果却将一部分真实用户的帐号删除了。

 

上周微软曾承认Windows Live Hotmail出现故障,导致用户邮箱被完全清空并且声称该问题已经解决。日前,微软详细解释了Hotmail故障的始末,并100%恢复了丢失数据。微软Hotmail团队Mike Schackwitz解释说:“Hotmail服务器健康度监控中有一种方式是通过自动化测试进行的。我们创建一些不同配置的帐号,然后使用自动化测试进行记录这些帐号,让它们模拟正常用户活动和行为,系统会在遇到错误时告警。我们通过脚本批量创建和删除这些测试帐号,而删除测试帐号的方式是从一组将用户和新邮件指向正确邮箱地址的目录服务器中删除它的记录。

在12月30日,我们的一个脚本代码意外地将部分真实用户的帐号与测试帐号一并从目录服务器上删除了。但那些受影响用户的邮件和文件夹实际上是没有 被删除的,只是他们指向正确邮箱的位置的记录被删除了。当这些用户登录后,系统(因找不到邮箱位置)自动为他们创建了新的邮箱,而新的存储服务器是不包括 他们之前的邮件和文件夹的。这也就是为什么这些帐号收到了‘欢迎使用 Hotmail’的初始邮件。”

随后的1月1日,不断有用户向微软报告这个问题,微软因此开始重视该问题,并且与当晚查清了故障根源。“我们***步是恢复这些用户在目录服务器上的 记录项(1月2日早晨),然后又合并了故障发生之初至1月1日早晨之间的新邮件与旧的邮件。这个过程需要多次执行才能获得所有的帐号和对应的邮件,对于一 些用户来说,直到5日才完全恢复。我们在1 月2日完成了16035个帐号的合并,并在5日完成了剩下1320名用户的合并。”

Hotmail迎来再次大规模升级

编辑提醒:这件事情再次说明了,运维工程师们对线上环境的脚本一定要慎之又慎!

【编辑推荐】

  1. 使用Perl脚本彻底实现系统管理自动化
  2. 在Linux下灵活使用expect脚本的小窍门
  3. Linux脚本分享:自动关机与计算任务管理
责任编辑:yangsai 来源: 驱动之家
相关推荐

2014-07-18 14:10:07

WIFI华为

2009-01-07 09:22:00

2020-08-17 17:47:30

内存技术测试

2010-09-14 11:29:43

谷歌

2009-08-01 15:47:04

网线故障

2010-01-12 09:25:17

Windows 7死机系统特效

2009-07-18 16:43:09

光纤链路故障接线端面脏污

2009-04-27 13:46:30

网络管理拷贝故障

2020-12-02 06:30:52

Nginx前缀FastDFS

2023-09-18 07:21:18

装机误区主机

2010-11-08 13:57:46

谷歌云计算

2021-09-30 22:37:01

手机内存技术

2019-06-03 14:23:59

AWS宕机光纤

2010-12-21 09:50:57

Ping交换机端口端口故障

2011-08-29 18:25:19

Ubuntu

2020-12-29 09:25:33

5G手机宽带

2018-09-29 08:36:55

宕机停机局域网

2013-07-22 09:43:29

2015-02-28 14:09:48

2015-10-27 14:38:40

点赞
收藏

51CTO技术栈公众号