数据恢复：被注入的软件及 ORA-600 16703 灾难的恢复

帮助一个客户恢复数据库，遇到了如下这个问题。让我们再一次惊醒于数据安全，如果不做好防范，问题总是会来得猝不及防。

客户在尝试启动数据库时，是这样一个 ORA-600 错误映入眼帘，反复重试无法消除问题，历史备份，同样存在问题，客户毫无防范的，陷入一场数据库灾难：

SQL*Plus: Release 11.2.0.4.0 Production on Fri Jul 20 22:12:34 2018
Copyright (c) 1982, 2013, Oracle. All rights reserved.
Connected to an idle instance.

SQL> startup mount;
ORACLE instance started.
Database mounted.

SQL> alter database open;
alter database open
*
ERROR at line 1:
ORA-01092: ORACLE instance terminated. Disconnection forced
ORA-00704: bootstrap process failure
ORA-00704: bootstrap process failure
ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [],
[], [], [], [], [], []
Process ID: 1236
Session ID: 1 Serial number: 5

按照我的思路，第一步是启用 10046 跟踪一下问题的出现位置，

从跟踪文件中，可以找到如下信息，最后执行的是 obj$ 的对象访问，绑定变量传入值是 20 ，

注意，最后出错前的递归查询，其 BINS # 605191324 事实上对应的就是 bootstrap$ 的 初始化过程：

PARSING IN CURSOR #605191324 len=188 dep=1 uid=0 oct=1 lid=0 tim=77597981 hv=4006182593 ad='23987650' sqlid='32r4f1brckzq1'
create table bootstrap$ (
END OF STMT
PARSE #605191324:c=0,e=372,p=0,cr=0,cu=0,mis=1,r=0,dep=1,og=4,plh=0,tim=77597979
EXEC #605191324:c=0,e=78,p=0,cr=0,cu=0,mis=0,r=0,dep=1,og=4,plh=0,tim=77598086
CLOSE #605191324:c=0,e=4,dep=1,type=0,tim=77598125

在这个递归过程中，取得所有引导数据库启动所需SQL，然后再顺序加载内容，完成内存初始

最后出现错误之处是 20 号对象，在数据库中是 ICOL$ 对象：

SQL> select object_name from dba_objects where object_id=20;

OBJECT_NAME
--------------------------------------------------------------
ICOL$

在 bootstrap$ 中，可以找到这条记录，在初始化这个对象的过程中，数据库在 TAB$ 中找不到这条记录，就出现了 16703 的错误：

CREATE TABLE ICOL$("OBJ#" NUMBER NOT NULL,"BO#" NUMBER NOT NULL,"COL#" NUMBER NOT NULL,"POS#" NUMBER NOT NULL,"SEGCOL#" NUMBER NOT NULL,"SEGCOLLENGTH" NUMBER NOT NULL,"OFFSET" NUMBER NOT NULL,"INTCOL#" NUMBER NOT NULL,"SPARE1" NUMBER,"SPARE2" NUMBER,"SPARE3" NUMBER,"SPARE4" VARCHAR2(1000),"SPARE5" VARCHAR2(1000),"SPARE6" DATE) STORAGE ( OBJNO 20 TABNO 4) CLUSTER C_OBJ#(BO#)

在进程的转储文件中，也可以看懂对于 TAB$ 的递归访问，绑定变量是 20

再来看看 ORA-600 错误，几个参数含义如下：1403 指记录未发现；20 指对象号：

ORA-00600: internal error code, arguments: [16703], [1403], [20], [], [], [],
[], [], [], [], [], []

$ oerr ora 1403
01403, 00000, "no data found"
// *Cause: No data was found from the objects.
// *Action: There was no data from the objects which may be due to end of fetch.

所以，现在问题很清楚了，是因为 20 号对象递归时找不到，这是被恶意删除了。

这就是此前曾经被披露的，数据库安装介质被注入的问题，惜分飞曾经记录过这个问题。