上周，我们帮助用户恢复了一则复杂的数据灾难，完美的挽救了数据，在恢复的过程中，我们有8位工程师24小时不间断工作，夜以继日，终于帮助用户拯救了数据。

我想说说情况是如何变得更糟的。鉴于保护用户信息，以下的描述请以警示意义理解。

1. 首先用户进行存储扩容，需要在ASM中新加磁盘；

2. 当磁盘加入后，在数据均衡完成之前，用户发现问题，强制把盘移除；

3. 然后发现ASM磁盘组不正常，又强制把磁盘组重建；

4. 加载磁盘组之后，发现数据不见了；

5. 意识到出问题了，数据仅有去年的备份；

我们注意到，在整个过程中，工程师并未意识到数据库没有及时的备份，并且也未曾清晰的意识到这些操作可能损毁数据，当通宵达旦的事故酿成之后，一切都不可收拾。

要避免这样的问题，非常简单，我以前提到：备份重于一切。一定要在重要的操作之前备份，这样就可以避免将自己置于危险的境地。

当然，恢复也是极其艰难的，我们通过工具（云和恩墨的ODU软件，也有其他类似软件可以做到）扫描抽取出数据文件，但是注意，这是一个EBS的数据库，IMP导入需要重构复杂的对象和权限信息，仍然非常复杂。如果只有一个人，我不敢想象其工作量。还好我们拥有一个团队，最终才完成了这项任务。

团队永远是你最稳健的支撑！

本文出自数据和云公众号，