В  этой   публикации  предлагаю   рассмотреть   принципы  работы   экспорта  табличных  пространств  в немного  нестандартном  контексте,  а  именно,  как  с  его  помощью  можно   организовать   выгрузку  таблиц   напрямую   из   любого файла  данных,  не  обязательно   сохраненного      при  выполнении  процедуры  экспорта  TTS.

Если   разобраться  со  структурой  файла экспорта  метаданных  и  научиться   формировать  его   вручную , то  несложно   создать механизм,  аналогичный   легендарной  утилите DUL,  с  тем   преимуществом,  что

- он  не  устареет,  пока  Оракл  поддерживает  возможность  TTS;

- Оракл  сам  позаботится  о   корректности  и   целостности   извлекаемых данных и о  их  загрузки  в  произвольную  базу.

Рассмотрим  структуру  файла   экспорта  метаданных для  произвольного  табличного  пространства  для  версии  10.2.  Выглядит она  в   текстовом  редакторе  приблизительно   таким  образом:

                                                                              #C#A°#+04:00BYTEUNUSED2

                     INTERPRETED

                                DISABLE:ALL

EXECTRP sys.dbms_plugts.beginImport ('10.2.0.3.0',171,'2000',10,'Linux IA (32-bit)',52738,75151,1,0,0,0);

EXECTRP sys.dbms_plugts.checkCompType('LMST','9.2.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('PDMLITLS','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('LOB_RET','9.2.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('NWIMGFMT','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('FASTDROP','8.1.6.0.0');

EXECTRP sys.dbms_plugts.checkCompType('LOCMGDTS','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('UNDOTBSP','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('TEMPTAB','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('PGTMGDTS','9.0.1.3.0');

EXECTRP sys.dbms_plugts.checkCompType('DATETIME','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('QUETABLE','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('OPERATOR','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('SEVTRIG','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('RLENG','9.2.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('APPCTX','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('JAVA','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('INDXTYP','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('ASSOC','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('KCMPRIND','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('KCMPRIOT','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('PGTMGDLB','9.2.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('INDONIOT','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('ANYTABLE','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('XMLSBSTR','9.2.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('MLCTABLE','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('EDTRIG','8.1.6.0.0');

EXECTRP sys.dbms_plugts.checkCompType('DOMIND','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('FDOMIND','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('FUNCIND','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('FGACCESS','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('NFSTABLE','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('APPFGA','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('RSRCMGR','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('DROPCOL','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('ONLINDCR','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('TYPEVL','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('SYNUDC','9.2.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('OPQTYPE','8.1.6.0.0');

EXECTRP sys.dbms_plugts.checkCompType('PARTM82','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('PARTIOT','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('WRDIR','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('NEWPARTM','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('PARTOBJ','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('CPTLEN','9.2.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('LGINDKEY','9.0.0.0.0');

EXECTRP sys.dbms_plugts.checkCompType('PLUGTS','8.1.0.0.0');

EXECTRP sys.dbms_plugts.checkUser('TEST_TTS');

EXECTRP sys.dbms_plugts.beginImpTablespace('TEST',9,'SYS',1,0,4096,1,117224104225,1,2147483645,16,256,16,0,1,0,16,3018568149,

1,33,117224104076,NULL,0,0,NULL,NULL);

EXECTRP sys.dbms_plugts.checkDatafile(NULL,3018568149,6,12800,9,6,0,0,117224104084,117224104225,117145532440,

25165826,NULL,NULL,NULL);

EXECTRP sys.dbms_plugts.commitPluggable;

CONNECT TEST_TTS

TABLE "MAIN"

CREATE TABLE "MAIN" ("OWNER" VARCHAR2(30) NOT NULL ENABLE, "OBJECT_NAME" VARCHAR2

(30) NOT NULL ENABLE, "SUBOBJECT_NAME" VARCHAR2(30), "OBJECT_ID" NUMBER NOT NULL

ENABLE, "DATA_OBJECT_ID" NUMBER, "OBJECT_TYPE" VARCHAR2(19), "CREATED" DATE NOT

NULL ENABLE, "LAST_DDL_TIME" DATE NOT NULL ENABLE, "TIMESTAMP" VARCHAR2(19), "STATUS" VARCHAR2(7), "TEMPORARY" VARCHAR2(1), "GENERATED" VARCHAR2(1), "SECONDARY"

VARCHAR2(1))  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(SEG_FILE 6

SEG_BLOCK 19 OBJNO_REUSE 52729 INITIAL 65536 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL

DEFAULT) TABLESPACE "TEST" LOGGING NOCOMPRESS

FIXTABLEPDML "TEST_TTS"."MAIN" 536870912

FIXTABLEHAKAN "TEST_TTS"."MAIN" 148

ENDTABLE

CONNECT SYS

EXECTRP sys.dbms_plugts.endImport;

EXIT

EXIT

Фактически,   структура  состоит  из  трех  частей  -  бинарный  заголовок ,  вызовов    процедур   из  пакета  sys.dbms_plugts  для  установки  и  проверки  параметров  импортируемого  табличного  пространства  и  описания   самих  данных,  содержащихся   в  файлах  данных   этого табличного пространства.

Структура  заголовка  в  нашем  случае   интереса  не  представляет,  поскольку  она  идентична   для    всех    файлов  экспорта  метаданных  и  может  быть  фактически  скопирована  с  любого  из  таких  файлов,  сформированного  для  конкретной    версии  софта.  А   вот  параметры   процедур,  вызываемых  для  проверки   возможности  импорта,  рассмотрим   подробнее,  по  крайней  мере  те, которые  нам  необходимо    будет    использовать  для  импорта  данных  нашего  файла. Все    параметры  имеют    названия,  соответствующие  их  смыслу  и достаточно  подробное  описание  в  самом  пакете.

sys.dbms_plugts.beginImport ('10.2.0.3.0',171,'2000',10,'Linux IA (32-bit)',52738,75151,1,0,0,0);

PROCEDURE beginImport (clone_oracle_version   IN varchar2,

                         charsetID              IN binary_integer,

                         ncharsetID             IN varchar2,

                         srcplatformID          IN binary_integer,

                         srcplatformName        IN varchar2,

                         highest_data_objnum    IN number,

                         highest_lob_sequence   IN number,

                         n_ts                   IN number,

                         has_clobs              IN number DEFAULT 1,

                         has_nchars             IN number DEFAULT 1,

                         char_semantics_on      IN number DEFAULT 1);

  -- Pass information about the pluggable set to the PL/SQL package.

  -- Among them is the release version of the Oracle executable that

  -- created the pluggable set, which is used for checking compatibility.

  -- This procedure call appears in the export file.

  --

  -- Parameters:

  --   clone_oracle_version IN the release version of the Oracle

  --                           executable that created the pluggable set

  --   charsetID            IN character set ID

  --   ncharsetID           IN nchar set ID, in varchar2 format

  --                           (May be NULL if generated by 8.1.5)

  --   platformID           IN platform ID

  --   platformName         IN platform name

  --   highest_data_objnum  IN highest data object # in pluggable set

  --   highest_lob_sequence IN highest LOB sequence # in pluggable set

  --   n_ts                 IN number of tablespace to be plugged in.

  --   has_clobs            IN whether tablespaces have CLOB data

  --   has_nchars           IN whether tablespaces have nchar data

  --   char_smeantics_on    IN whether tablespaces have char semantic data

Тут  все  достаточно  понятно и  заранее  известно,  за  исключением,  возможно,   кодировок. В  самом   худшем  случае,  их  можно  подобрать  анализируя  напрямую   блок  данных. Параметры   highest_data_objnum     и   highest_lob_sequence    нам   по-большому  счету  не  интересны,   поскольку   по  крайней  мере  в  десятой  версии,  для  целей  извлечения   данных  файла  без   попыток  потом   эксплуатировать  базу   с  импортированным    табличным  пространством,     вполне подходят  произвольные  их  значения.  Ну  или  если    очень  хочется,  в  принципе  их  можно  вытащить  из   блоков - заголовок  сегмента  и  определить  максимальные значения.

Дальше, процедуры checkCompType   можно   вообще  не вызывать, они не   критичны.

Ну  а  основные  данные  для  успешного  импорта  содержат  параметры  процедур beginImpTablespace    и   checkDatafile

PROCEDURE beginImpTablespace (tsname          IN varchar2,

                                tsID            IN number,

                                owner           IN varchar2,

                                n_files         IN binary_integer,

                                contents        IN binary_integer,

                                blkSize         IN binary_integer,

                                inc_num         IN binary_integer,

                                clean_SCN       IN number,

                                dflminext       IN number,

                                dflmaxext       IN number,

                                dflinit         IN number,

                                dflincr         IN number,

                                dflminlen       IN number,

                                dflextpct       IN binary_integer,

                                dflogging       IN binary_integer,

                                affstrength     IN number,

                                bitmapped       IN number,

                                dbID            IN number,

                                directallowed   IN number,

                                flags           IN binary_integer,

                                creation_SCN    IN number,

                                groupname       IN varchar2,

                                spare1          IN number,

                                spare2          IN number,

                                spare3          IN varchar2,

                                spare4          IN date,

                                seg_fno         IN number

                                                DEFAULT 0,

                                seg_bno         IN number

                                                DEFAULT 0,

                                seg_blks        IN number

                                                DEFAULT 0);

  -- Pass to dbms_plugts package the information needed to create the

  -- tablespace in target database.  This procedure also checks to

  -- make sure the tablespace name does not conflict with any existing

  -- tablespaces already in the database. And the user name match with the

  -- USERS list in the import comamnd line. It also make sure the blcok size

  -- is the same as that in the target database. Begin importing meta data

  -- for the tablespace. This procedure call appears in the export file.

  --

  -- The parameter list includes all columns for ts$, except those that

  -- will for sure be discarded (online$, undofile#, undoblock#,

  -- ownerinstance, backupowner).  The spares are included so that the

  -- interface does not have to be changed even when we use these

  -- spares in the future.

  --

  -- There are three extra parameters added for transporting migrated

  -- tablespaces. seg_fno, seg_bno and seg_blks represent the dictionary

  -- information held in SEG$ for any tablespace which was migrated from

  -- dictionary managed to locally managed. The file#, block# gives the

  -- location of bitmap space header for the migrated tablespace and the

  -- blocks parameter represnts the size of the space header in blocks.

  --

  -- Parameters:

  --    tsname          IN tablespace name

  --    tsID            IN tablespace ID in original database

  --    owner           IN owner of tablespace

  --    n_files         IN number of datafiles in the tablespace

  --    contents        IN contents column of ts$ (TEMPORARY/PERMANENT)

  --    blkSize         IN size of block in bytes

  --    inc_num         IN incarnation number of extent

  --    clean_SCN       IN tablespace clean SCN,

  --    dflminext       IN default minimum number of extents

  --    dflmaxext       IN default maximum number of extents

  --    dflinit         IN default initial extent size

  --    dflincr         IN default initial extent size

  --    dflminlen       IN default minimum extent size

  --    dflextpct       IN default percent extent size increase

  --    dflogging       IN default logging attribute

  --    affstrength     IN Affinity strength

  --    bitmapped       IN If bitmapped

  --    dbID            IN database ID

  --    directallowed   IN allowed

  --    flags           IN flags

  --    creation_SCN    IN tablespace creation SCN

  --    groupname       IN Group name

  --    spare1          IN spare1 in ts$

  --    spare2          IN spare2 in ts$

  --    spare3          IN spare3 in ts$

  --    spare4          IN spare4 in ts$

  --    seg_fno         IN file# for space_hdr in seg$

  --    seg_bno         IN block# for space_hdr in seg$

  --    seg_blks        IN blocks, size of space_hdr in seg$

Tsname, tsID, blkSize, inc_num, creation_SCN, dbID определяем  из  заголовка  файла  данных,  эти  структуры  описаны  тут. В  качестве  clean_SCN  берем checkpoint SCN.  Owner может  быть  любым, существующем  в  базе-приемнике.

PROCEDURE checkDatafile (name           IN varchar2,

                           databaseID     IN number,

                           absolute_fno   IN binary_integer,

                           curFileBlks    IN number,

                           tablespace_ID  IN number,

                           relative_fno   IN binary_integer,

                           maxextend      IN number,

                           inc            IN number,

                           creation_SCN   IN number,

                           checkpoint_SCN IN number,

                           reset_SCN      IN number,

                           spare1         IN number,

                           spare2         IN number,

                           spare3         IN varchar2,

                           spare4         IN date);

  -- Call statically linked C routines to associate datafile with

  -- tablespace, validate file headers. This procedure appears in the

  -- export file.  The parameter list includes all columns in file$,

  -- except those that will for sure be discarded (status$, ownerinstance).

  --

  -- Parameters:

  --   name              IN file name (excluding path)

  --   databaseID        IN database ID

  --   absolute_fno      IN absolute file number

  --   curFileBlks       IN size of file in blocks

  --   tablespace_ID     IN tablespace ID in original database,

  --   relative_fno      IN relative file number,

  --   maxextend         IN maximum file size

  --   inc               IN increment amount

  --   creation_SCN      IN file creation SCN

  --   checkpoint_SCN    IN file checkpoint SCN

  --   reset_SCN         IN file reset SCN

  --   spare1            IN spare1 in file$

  --   spare2            IN spare2 in file$

  --   spare3            IN spare3 in file$

  --   spare4            IN spare4 in file$

И  опять  таки   вся  недостающая информация  присутствует  в   заголовке  файла  данных.

Дальше,  содержательная  часть  файла  экспорта  содержит  информацию  о  находящихся  в  файле  объектах,  такую  как:

- название;

- тип  и  размерность  полей;

- object id;

- файл  и  блок  заголовка  сегмента.

Если мы  приблизительно  знаем,  какие  данные    содержатся  в  файле  (например, структуру  и возможное   содержимое таблиц),  то  задача   будет  сведена  к  следующему  -    вывести  карту  блоков  файла, определить  из  нее  заголовки сегментов  и  проанализировать   один-два  блока   с  данными  этого  сегмента,  что  б  выяснить,  какой  таблице  они  принадлежат.  В  идеале , например,  если у нас  где-то  завалялась  старая  копия   базы  данных в которой  уже  были  созданы  необходимые  нам  таблицы  и  с  тех  пор не  меняли  свою  структуру,  не  мувились  и  не  транкейтились. В  таком  случае  вся  необходимая  информация  у  нас   легко  может  быть получена  путем  экспорта  соответствующего табличного пространства   со  старой  базы. Если  же такой  возможности  нет,  то  самый  простой  путь  -  воспользоваться   файлом   block_analyzer.xls .  Как   это  делается,  подробно  описано  в  примере.  Если коротко   - выводим   карту  блоков, по  этой  карте  определяем  заголовки  сегментов,   их  object_id,  берем  произвольный  блок  каждого  сегмента  и  анализируем  его  содержимое  -  подбираем  типы  полей   и  их  кодировку (с  размерностью  можно не мучиться  -  взять  по  максимуму). Конечно,  если  файл  имеет  размеры  в  несколько гигабайт,  содержит  сотни  таблиц,  имеет   лоб-сегенты,  сегменты  переполнения  ИОТ  и  т.п,   то задача  может  оказаться  далеко не тривиальной  и  потребовать  серьезных затрат  сил  и времени,  но  все  это    разумеется  будет  зависеть  от    ценности   информации  в   файле  данных.

Сформированный   таким  образом  файл  экспорта  метаданных  присоединяем  к  имеющемуся  файлу  данных  (одному  или нескольким)  и  используем  для  их  загрузки  в  промежуточную   базу  с  целью   извлечения данных.

Еще  один  момент,  который   следует   учитывать,  это  то,  что  файл  данных   может  быть не  согласованным,  т.е.   оставшимся  от  базы,    упавшей  по   shutdown  abort.  Разумеется  в  этом  случае   о  консистентности   выгруженных  данных  речи  быть  не  может,  ну  а  сам   файл  данных  требует  корректировки  нескольких  структур   заголовка  -  флаг, статус,   контрольная  сумма   и  возможно SCN контрольной  точки.  Более  подробно  об  этом   упомянуто  в  примере ниже.

Ну  а   теперь  собственно      сам  пример.

Для  простоты  будем  считать,  что  известны   версии  софта    базы  данных  потерянного  файла и  ее   кодировка,  т.е   в   терминах     процедуры  dbms_plugts.beginImport

clone_oracle_version      - 10.2.0.3.0

charsetID                         - 171  (CL8MSWIN1251)

ncharsetID                       - 2000 (AL32UTF8)

srcplatformID                  - 10

srcplatformName             - Linux IA (32-bit)

Кроме  того   считаем известным,  что  в  табличное  пространство  ограничено  одним  файлом  данных  и  в  нем  лежит   единственная  простая  таблица,  данные которой  нам   необходимо  получить.  Например:

SQL> create user test_tts  identified  by  test;

User created.

SQL> grant dba  to  test_tts;

Grant succeeded.

SQL> create  tablespace test  datafile  '/opt/oracle/oradata/mts/test01.dbf' size 100M;

Tablespace created.

SQL> create table test_tts.main  tablespace test  as  select  *  from  dba_objects;

Table created.

SQL> alter  system  checkpoint;

System altered.

SQL> shutdown abort;

ORACLE instance shut down.

Итак,  после  shutdown abort   имеем  один  единственный  файл  данных '/opt/oracle/oradata/mts/test01.dbf'   в  котором    находится  таблица  неизвестной  структуры  с  необходимыми  нам  данными.

Готовим   базу-приемник,  куда  будем  загружать  данные  этого  файла.

Пользователь.

SQL>  create  user tts_owner  identified  by  test;

User created.

SQL> grant  dba  to  tts_owner;

Grant succeeded.

Теперь  из  этой базы  создаем  файл  экспорта  метаданных  для  произвольного  табличного  пространства,  например  users

SQL> alter  tablespace  users  read  only;

Tablespace altered.

exp \'sys  as sysdba\'  transport_tablespace=y  tablespaces=(users) file=users  log=users  constraints=n tts_full_check=n

Connected to: Oracle Database 10g Enterprise Edition Release 10.2.0.3.0 - Production

With the Partitioning, OLAP and Data Mining options

Export done in US7ASCII character set and AL16UTF16 NCHAR character set

server uses CL8MSWIN1251 character set (possible charset conversion)

Note: table data (rows) will not be exported

Note: constraints on tables will not be exported

About to export transportable tablespace metadata...

For tablespace users ...

. exporting cluster definitions

. exporting table definitions

. . exporting table                           WWW

. exporting triggers

. end transportable tablespace metadata export

Export terminated successfully without warnings.

Проанализируем    и  подкорректируем   содержимое  файла users.dmp

>>

Oracle Transportable Tablespaces  (TTS)