Metadata Excel形式 - インポート

ブリッジの仕様

ベンダー	Meta Integration Technology, Inc.
ツール名	メタデータExcel形式
ツールバージョン	Excel 2003〜2010
ツールのWebサイト	http://metaintegration.com/Products/MIMB/
サポートされている方法論	[メタデータ管理] マルチモデル、 ETL (ソースとターゲットのデータストア、変換来歴、式解析) via Excel 2007 (XLSX) ファイル
データプロファイリング
増分収集
マルチモデル収集
モデル選択のためのリモートリポジトリーの参照

仕様
ツール: Excel 2007 (XLSX)ファイル経由のMeta Integration Technology, Inc. / メタデータExcel形式バージョンExcel 2003〜2010
http://metaintegration.com/Products/MIMB/をご覧ください。
メタデータ: [メタデータ管理] マルチモデル、 ETL (ソースとターゲットのデータストア、変換来歴、式解析)
コンポーネント: Microsoft Excelバージョン11.2.0

免責事項
このインポートブリッジでは、インターネットに接続して次のサードパーティライブラリーをダウンロードする必要があります。
- オープンソースのサードパーティライブラリーのダウンロードはhttps://repo.maven.apache.org/maven2/などへ
- その他のサードパーティソフトウェア(データベース特定のJDBCドライバーなど)は該当するサイトへ

ダウンロードされたサードパーティライブラリーは、$HOME/data/download/MIMB/に格納されています。
HTTPSが失敗した場合、インポートブリッジはHTTPを試します。
- インターネットへのアクセスにプロキシを使用している場合は、JREでそのプロキシを設定する必要があります(Miscellaneousパラメーターで -j オプションをご覧ください。)。
- インポートブリッジではインターネットにフルにアクセスできない場合は、インターネットアクセスがある別のサーバーから$HOME/data/download/MIMB/ディレクトリーをコピーします。$HOME/bin/MIMB.sh (または.bat) -dというコマンドを使えば、すべてのブリッジで使用される全サードパーティライブラリーを一度にダウンロードできます。

このインポートブリッジを実行すると、ライセンス規約の責任、およびダウンロードしたサードパーティソフトウェアライブラリーによって生じる潜在的なセキュリティの脆弱性を受け入れることになります。

概要
このインポートブリッジは、既存のインポートブリッジを利用できない技術やツールからメタデータ(レガシーのデータストアやETLツール、未サポート言語による手書きのETLジョブなど)をインポートすることを目的としています。

スプレッドシート編集ツールなどの生産性ツールは、業界全体を通じて物理データ、論理データ、ビジネスメタデータをキャプチャー、ドキュメント化、公開するために共通して使用されています。Microsoft Office Excelなどのツールはほぼ常に利用可能なので、選択肢としては特に一般的です。ビジネスユーザーが理解し使い慣れており、他のOfficeアプリケーションともシンプルなコピー＆ペーストの互換性があるほか、スペルの修正などの便利な機能が備わっています。そのような利点を活用できるよう、Microsoft Excelのインポートとエクスポートの機能が提供されています。

このインポートブリッジによってインポートされる項目は、複数のタブ(シート)を使用してさまざまなメタモデルアスペクトを表現する標準メタデータExcel形式に基づく、Microsoft Office Excelスプレッドシートで表現された物理データストア、論理データモデル、またはデータマッピングを表すメタデータです。
- データモデリングタブ: モデル、パッケージ、リレーションシップ、ドメイン、制約、列挙。
- データマッピングのタブ: マッピング、結合、フィルター、ルックアップ、ルール。

このインポートブリッジはメタデータを次の項目としてインポートします:
- データマッピング/データ統合モデル(マッピングが含まれている場合)
- 論理/物理データモデル(パッケージが含まれている場合)
- Oracleなどの物理データストア (それ以外の場合)

メタデータExcel形式のアドインにより、Excelリボン内に新しい[メタデータ]メニューが作成されます。これは、標準形式でデザインされたスプレッドシートのナビゲーションと管理に役立ちます。次のファンクションが含まれています:
- 新しいワークシートを[標準]形式で挿入
- 表示されるカラムを管理するファンクションを表示および非表示
- ワークシートでエントリーを注釈、フォーマット、検証

標準のメタデータExcel形式については、前にインポートされたデータベース、データモデル、データ統合ジョブからエクスポートされた例から学ぶことがベストです。
ただし、メタデータExcel形式はラウンドトリップのエクスポート、編集、インポートを行う目的ではデザインされておらず、したがってこれらの操作をサポートしていません。つまり、このインポートブリッジはメタデータをオンボーディングテクノロジーとしてインポートし、そのマッチングインポートブリッジはメタデータをレポーティング(複雑なDI/ETLジョブの要約来歴など)としてエクスポートします。

非推奨となったサポート終了機能に関する警告
既に説明したように、この「メタデータ Excel形式 」インポートブリッジは、独立した次の2つのユースケースにおいて、サポートされていないツール(ネイティブインポートブリッジは利用不可)をエミュレートするようにデザインされています:
1- データストア(データベース、ビジネスアプリケーションなど)をエミュレートするデータモデリング
2- データ統合(DI、ETL、ELT、CDC)をエミュレートするデータマッピング

この古い「メタデータ Excel形式」インポートブリッジをデータマッピングエミュレーション(上記のユースケース2)で使用することは2022年に非推奨となっており、2024年にはサポート終了(EOL)となります。
古いメタデータExcel形式(非推奨)と比較した場合、新しいデータマッピングスクリプト形式は次のような利点が数多く含まれています:
- データマッピングスクリプト形式はデータマッピングに対して完全なラウンドトリップ(エクスポート/インポート)をサポートしていますが、これは古いメタデータExcel形式では不可能です。後者の場合、エクスポートはレポーティング用、インポートはブートストラッピング用です。
- 分類子/テーブルマップや機能/カラムマップに基づいている非常に冗長なメタデータExcel形式のファイルに比べ、データマッピングスクリプト形式のファイルは一般的にとてもコンパクトです。
データマッピングスクリプト形式は、SQLベースのDI/ETL/ELT/CDCツールから生成しやすくなっています。
- データマッピングスクリプト形式はバルクマッピングとクエリーマッピングの両方をサポートしていますが、メタデータExcel形式はバルクマッピングの処理で大きな制限があります。
- データマッピングスクリプト形式は、メタデータExcel形式でサポートされているものよりも多くソースおよびターゲットのデータストア技術(RDBMS、NoSQL、ファイルシステム)をサポートしています。

要件
The file must comply to the standard メタデータ Excel Format which is:
- based on an Excel template called Standard-Blank.xlsx
- supported/enforced by an Excel 'Add-In' called Standard-Addin.xlam
both located in ${MODEL_BRIDGE_HOME}\conf\MIRModelBridgeTemplate\MIRMicrosoftExcel

Follow Microsoft Excel documentation about installing add-ins in Excel.

よくある質問
Q: ビジネス名とビジネスディスクリプションがインポートされないのはなぜですか?
A: メタデータのExcel形式ファイルにデータマッピングまたはデータモデリングパッケージが含まれていない場合、メタデータは物理データストア(Oracleデータベースなど)としてインポートされます。メタモデルにはこれに対応するビジネス名およびビジネスディスクリプションが含まれていません(したがってこれらを無視します)。

RDBMSの場合、SQLコメント(DDL内のあらゆるテーブルやカラムをドキュメント化するよう使用できるコメント)がすべてコメントとしてインポートされます(これ自体はユーザーコメントやフィードバックの他のコンセプトとは関係ありません)。

データマッピングの場合は接続定義があるだけで、実際のデータストアの定義はありません。それによって、インポートされた値を受け取るのは接続定義だけとなり、データストアそのものは引き続きドキュメント化されません。

Q: インポートブリッジは「暗黙的な結合」をどのように扱いますか?
A: 2つ以上のテーブルの結合を必要とする変換が定義されている場合は、Joinsタイプのワークシートで結合を指定する必要があります。[結合]タイプのワークシートにエントリーがない場合、またはそのタイプのワークシートがない場合、インポートブリッジは対応する必要な結合仕様を生成しようとします。多くの場合、インポートブリッジは正しい結合を作成するのに十分な情報を持っていません。その代わり、エクスポートツールで修正しなければならない結合案を生成します。

他方、[結合]タイプのワークシート上にエントリー(結合仕様)がある場合、インポートブリッジはすべての結合が完全に指定されていると想定します。

Q: [テーブルがありません]、[スキーマがありません]、[モデルがありません]のようなエラーが表示されるのはなぜですか?
A: これらのエラーやその他のエラーは、「アドインの検証」操作を使用することで回避できます。これはほとんどのエラーをキャッチし、カーソルを最初のエラーセルに位置付けます。セルは赤くなり、特定のエラーメッセージがセルのコメントとして追加されます。

Q: 2007よりも古いバージョンのExcelでXLSXファイルを作成するにはどうすればよいですか?
A: Microsoftダウンロードセンターから[Microsoft Office Compatibility Pack for Word, Excel, and PowerPoint ファイル Formats]をインストールします。Office XPと2003をサポートしています。

Q: ログにある[メモリ不足]エラーメッセージを解決するにはどうすればよいですか?
A: インポートブリッジは、デフォルトで512MBのメモリを割り当てます。大規模なモデルの場合はこの量を増やすことができます。また、2GB以上必要な場合は64ビットのJava仮想マシンに切り替えることもできます。64ビットのJVMでは、$MetaIntegration/conf/conf.propertiesという設定ファイルを適切な-Xmxパラメーターでアップデートします。例:
M_JAVA_HOME=..\jre
M_JAVA_OPTIONS=-Xmx2G

制限事項
現在判明している一般的な制限事項は、https://metaintegration.com/Products/MIMB/Help/#!Documents/mimbknownlimitations.htmlをご覧ください。

ドキュメント化(特にビジネス名とビジネス説明のドキュメント化)の場合、Excelメタデータ形式はお勧めできません。それに代わって、ユーザーガイドに記載されているようにCSV形式でエクスポート、編集、再インポートする必要があります。この場合、接続の定義ではなく、実際のデータストアをドキュメント化することになります。

1. すべてのメタデータソーススプレッドシートは標準形式で定義する必要があります。これが直接サポートされている唯一の形式であるためです。既存のスプレッドシートが大量のレガシー移行アクティビティに対応できるよう、インポートブリッジが期待する形式はハードコーディングされたものではなく、各スプレッドシートのセルがニュートラルリポジトリーのメタモデルにどのように関連するかを指定する「空白の」スプレッドシートによって定義されます。この柔軟性は、コンサルティングサービスを通じて提供されるカスタマイズされた特定のインポートブリッジとしてのみ利用できます。
2. インポート(スプレッドシートからの読み取り)とエクスポート(スプレッドシートへの書き込み)の両方の機能が提供されていますが、これらの機能はラウンドトリップのリエンジニアリングをサポートするようには設計されていません。たとえば、マッピング要件をデザイン用のDI/ETLツールにフォワードエンジニアリングすることはできますが、DI/ETLツールからExcelにエクスポートして戻す目的は、内部の複数の複雑な変換のすべてと無関係にマッピング来歴サマリーを提供することであり、デザインをリエンジニアリングして再インポートすることではありません。
3. データデザインとアーキテクチャーツールのモデルはExcel内でのラウンドトリップのタイプ編集をサポートし、スペルチェック、カラムと行ベースのコピー＆ペースト、およびスプレッドシート環境に固有のその他の便利な機能を利用できます。この場合は、スプレッドシートにエクスポートし、受け取る側のツールに提供されている比較とマージの機能を活用して編集を行い、元のデザインツールに再インポートします。
4. 新しいソースまたはターゲットのデータストアは既存のスプレッドシートにエクスポートできます。ただし、現時点ではマージ機能やアップデート機能は提供されていません。Also, when importing an Excel spreadsheet into a DI/ETL tool, the receiving tool is responsible for integrating/merging the models and mappings within its existing バージョンs.
5. Specific assumptions and limitations are provided for each pre-defined format in the appropriate ${MODEL_BRIDGE_HOME}\conf\MIRModelBridgeTemplate\MIRMicrosoftExcel\*-Blank.xlsx file
6. Using a spreadsheet to manage metadata may have limitations in some cases. スプレッドシートの行として表される情報には実際の制限はありません。たとえば、モデルごとのエンティティ/テーブルの数、またはエンティティ/テーブルごとの属性/カラムの数は制限されていません。ただしユーザビリティの観点から、カラムとして表現される情報にはいくつかの制約があります。たとえば、モデル内のパッケージのネスト化、特定の属性/カラムを含める ことができるPK/FK/AKキーの数などです。さらに重要なのは、エンティティ/テーブル、属性/カラム、またはデータ型に割り当てられるカスタムUDPの数です。
7. フラットファイルタイプは区切り付きまたは固定幅フラットファイルをサポートします。固定幅ファイルは、位置属性を使ってその各フィールド/カラムに[行先頭からの絶対文字数]を設定します。区切り付きファイルは、位置属性を使ってフィールド/カラムの順序を図示します。
8. コメント対説明に関して:
物理データモデルにはテーブルに[コメント]があります。これは最終的にDDL内のSQLコメントとして生成されます。
論理データモデルには、エンティティ上に[説明]があります。モデルが論理/物理の両方である場合、その論理エンティティは物理テーブルに関連付けられていることがありますが、物理限定のデータモデルにはデザインによって説明とコメントを持たせることができません。
したがって、エンティティ/テーブル/レコード/ビュー/ファイルに論理/物理のデザインレベルがある時は、(物理)コメントおよび、それとは別に(論理)説明の両方が表示される場合があります。
ただし、エンティティ/テーブル/レコード/ビュー/ファイルに物理限定のデザインレベルがある時は、(物理)コメントから取られた説明が1つだけ含まれていたり、存在している場合は(論理)説明が含まれていたりすることがあります(その場合、物理コメントは無視されます)。

サポート
トラブルシューティングパッケージを次の項目と共に提供してください:
- デバッグログ(UIまたはconf/conf.propertiesでMIR_LOG_LEVEL=6を使って設定可能)
- 利用できる場合はメタデータバックアップ(技術的理由によりこの共通オプションが実装されていないブリッジがあるものの、Miscellaneousパラメーターで-backupオプションを使って設定可能)

ブリッジパラメーター

ブリッジのマッピング