# Metadata Excel形式 - インポート
Availability-note[AWS](https://help.talend.com/r/en-US/Cloud/labels-on-talend-help-center/availability-aws)
AWS 専用機能は us.cloud.talend.com、eu.cloud.talend.com、ap.cloud.talend.com で利用できます。
## ブリッジの要件
このブリッジ:
* ドライバーを<TDC\_HOME>/data/download/MIMB/にダウンロードするためには、https://repo.maven.apache.org/maven2/ やその他のツールサイトへのインターネットアクセスが必要です。
* そのSDKにアクセスするためにはツールのインストールが必要です。
## ブリッジの仕様
| **ベンダー** | **Meta Integration Technology, Inc.** |
| --- | --- |
| **ツール名** | **メタデータExcel形式** |
| **ツールバージョン** | **Excel 2003〜2010** |
| **ツールのWebサイト** | [Model Bridge (MIMB) Guide](https://help.qlik.com/talend/ja-JP/talend-data-catalog/8.1/Subsystems/ModelBridgeGuide/Content/Model-Bridge-MIMB-Guide.htm) |
| **サポートされている方法論** | [メタデータ管理] マルチモデル、 ETL (ソースとターゲットのデータストア、変換来歴、式解析) via Excel 2007 (XLSX) ファイル |
| **データプロファイリング** |  |
| **増分収集** |  |
| **マルチモデル収集** |  |
| **モデル選択のためのリモートリポジトリーの参照** |  |
**仕様**
**ツール:** Excel 2007 (XLSX)ファイル経由のMeta Integration Technology, Inc. / メタデータExcel形式バージョンExcel 2003〜2010
[MIMB Known Limitations](https://help.qlik.com/talend/ja-JP/talend-data-catalog/8.1/Subsystems/ModelBridgeGuide/Content/MIMB-Known-Limitations.htm)をご覧ください。
ドキュメント化(特にビジネス名とビジネス説明のドキュメント化)の場合、Excelメタデータ形式はお勧めできません。それに代わって、ユーザーガイドに記載されているようにCSV形式でエクスポート、編集、再インポートする必要があります。この場合、接続の定義ではなく、実際のデータストアをドキュメント化することになります。
1. すべてのメタデータソーススプレッドシートは標準形式で定義する必要があります。これが直接サポートされている唯一の形式であるためです。既存のスプレッドシートが大量のレガシー移行アクティビティに対応できるよう、インポートブリッジが期待する形式はハードコーディングされたものではなく、各スプレッドシートのセルがニュートラルリポジトリーのメタモデルにどのように関連するかを指定する「空白の」スプレッドシートによって定義されます。この柔軟性は、コンサルティングサービスを通じて提供されるカスタマイズされた特定のインポートブリッジとしてのみ利用できます。
2. インポート(スプレッドシートからの読み取り)とエクスポート(スプレッドシートへの書き込み)の両方の機能が提供されていますが、これらの機能はラウンドトリップのリエンジニアリングをサポートするようには設計されていません。たとえば、マッピング要件をデザイン用のDI/ETLツールにフォワードエンジニアリングすることはできますが、DI/ETLツールからExcelにエクスポートして戻す目的は、内部の複数の複雑な変換のすべてと無関係にマッピング来歴サマリーを提供することであり、デザインをリエンジニアリングして再インポートすることではありません。
3. データデザインとアーキテクチャーツールのモデルはExcel内でのラウンドトリップのタイプ編集をサポートし、スペルチェック、カラムと行ベースのコピー＆ペースト、およびスプレッドシート環境に固有のその他の便利な機能を利用できます。この場合は、スプレッドシートにエクスポートし、受け取る側のツールに提供されている比較とマージの機能を活用して編集を行い、元のデザインツールに再インポートします。
4. 新しいソースまたはターゲットのデータストアは既存のスプレッドシートにエクスポートできます。ただし、現時点ではマージ機能やアップデート機能は提供されていません。また、ExcelのスプレッドシートをDI/ETLツールにインポートする時には、受け取る側のツールがモデルを統合/マージし、既存のバージョン内でマッピングします。
5. 特定の前提条件と制限事項が、事前定義済みの各形式で適切な${MODEL\_BRIDGE\_HOME}\conf\MIRModelBridgeTemplate\MIRMicrosoftExcel\\*-Blank.xlsxファイル内に提供されています。
6. スプレッドシートをメタデータの管理に使う方法には、場合により制限があります。スプレッドシートの行として表される情報には実際の制限はありません。たとえば、モデルごとのエンティティ/テーブルの数、またはエンティティ/テーブルごとの属性/カラムの数は制限されていません。ただしユーザビリティの観点から、カラムとして表現される情報にはいくつかの制約があります。たとえば、モデル内のパッケージのネスト化、特定の属性/カラムを含める ことができるPK/FK/AKキーの数などです。さらに重要なのは、エンティティ/テーブル、属性/カラム、またはデータ型に割り当てられるカスタムUDPの数です。
7. フラットファイルタイプは区切り付きまたは固定幅フラットファイルをサポートします。固定幅ファイルは、位置属性を使ってその各フィールド/カラムに[行先頭からの絶対文字数]を設定します。区切り付きファイルは、位置属性を使ってフィールド/カラムの順序を図示します。
8. コメント対説明に関して:
物理データモデルにはテーブルに[コメント]があります。これは最終的にDDL内のSQLコメントとして生成されます。
論理データモデルには、エンティティ上に[説明]があります。モデルが論理/物理の両方である場合、その論理エンティティは物理テーブルに関連付けられていることがありますが、物理限定のデータモデルにはデザインによって説明とコメントを持たせることができません。
したがって、エンティティ/テーブル/レコード/ビュー/ファイルに論理/物理のデザインレベルがある時は、(物理)コメントおよび、それとは別に(論理)説明の両方が表示される場合があります。
ただし、エンティティ/テーブル/レコード/ビュー/ファイルに物理限定のデザインレベルがある時は、(物理)コメントから取られた説明が1つだけ含まれていたり、存在している場合は(論理)説明が含まれていたりすることがあります(その場合、物理コメントは無視されます)。
**サポート**
トラブルシューティングパッケージを次の項目と共に提供してください:
- デバッグログ(UIまたはconf/conf.propertiesでMIR\_LOG\_LEVEL=6を使って設定可能)
- 利用できる場合はメタデータバックアップ(技術的理由によりこの共通オプションが実装されていないブリッジがあるものの、Miscellaneousパラメーターで-backupオプションを使って設定可能)
## ブリッジパラメーター
| **パラメーター名** | **説明** | **タイプ** | **値** | **デフォルト** | **スコープ** |
| --- | --- | --- | --- | --- | --- |
| **ファイル** | このインポートブリッジは、XLSX形式のExcelスプレッドシートを読み取り、そのテキスト情報からモデルを作成します。[ファイル]パラメーターには、この最初のスプレッドシートの名前が含まれています。一般的には、[メタデータインポートスプレッドシート]という名前です。
このメタデータインポートスプレッドシートは空白のスプレッドシートとマッチするためにフォーマット化が必須です。
これらのメタデータインポートスプレッドシートのサンプルは次の場所にあります:
${MODEL\_BRIDGE\_HOME}/conf/MIRModelBridgeTemplate/MIRMicrosoftExcel/Blankファイルs/
これらのファイルをガイドとして使用し、これらの例にマッチする自身のモデル情報を持つメタデータインポートスプレッドシートを簡単に作成することができます。 | ファイル | \*.xlsx | | 必須 |
| **Miscellaneous** | **はじめに**
ダッシュで始まるMiscellaneousオプションを指定し、必要であればその後にパラメーターを追加できます。例:
- connection.cast MyDatabase1="MICROSOFT SQL SERVER"
該当する場合は複数回使用できるオプションもあります。例:
- connection.rename NewConnection1=OldConnection1 -connection.rename NewConnection2=OldConnection2;
オプションのリストは長い文字列になるため、${MODEL\_BRIDGE\_HOME}\data\MIMB\parametersにあり拡張子が.txtであるファイルからロードすることもできます。その場合、オプションはすべて、このパラメーターの唯一の値としてそのファイル内で定義されることが必要です。例:
ETL/Miscellaneous.txt
**JAVA環境のオプション**
**-java.memory <Javaメモリの最大サイズ> (以前の-m)**
64ビットJREではデフォルトで1G、またはconf/conf.properties内の設定に従います。例:
-java.memory 8G
-java.memory 8000M
**-java.parameters <Javaランタイム環境コマンドラインオプション> (以前の-j)**
-java.parameters -Dname=value -Xms1G
のように、-java.parametersの後ろのテキストはすべてそのままJREに渡されるため、このオプションはMiscellaneousパラメーター内の最後に来る必要があります。インターネットへのアクセスにプロキシを使用している場合は、必要なサードパーティのソフトウェアライブラリーをダウンロードできるよう、次のオプションを設定する必要があります(このオプションはhttps://repo.maven.apache.org/maven2/にアクセスするため、そして例外的にいくつかの他のツールサイトにアクセスするために不可欠です)。
注: プロキシは、(会社の)外部トラフィックをHTTPSで暗号化しながら、HTTPでプロキシにアクセスできる内部トラフィックを信頼しているものがほとんどです。この場合、HTTPSリクエストはHTTPでプロキシに到達し、プロキシはそれをHTTPSで暗号化します。
-java.parameters -java.parameters -Dhttp.proxyHost=127.0.0.1 -Dhttp.proxyPort=3128 -Dhttp.proxyUser=user -Dhttp.proxyPassword=pass
**モデルインポートのオプション**
**-model.name <モデル名>**
モデル名をオーバーライドをオーバーライドします。例:
-model.name "My Model Name"
**-prescript <スクリプト名>**
このオプションによって、ブリッジの実行前にスクリプトを実行できるようになります。
スクリプトはbinディレクトリー(またはconf/conf.propertiesのM\_SCRIPT\_PATHで指定)にあり、拡張子が.batか.shであることが必要です。
スクリプトのパスに親ディレクトリーの記号( .. )を含めることはできません。
スクリプトは、成功した場合は終了コードである0を、失敗した場合は別の値を返します。
例:
-prescript "script.bat arg1 arg2"
**-postscript <スクリプト名>**
このオプションによって、ブリッジが正しく実行された後にスクリプトを実行できるようになります。
スクリプトはbinディレクトリー(またはconf/conf.propertiesのM\_SCRIPT\_PATHで指定)にあり、拡張子が.batか.shであることが必要です。
スクリプトのパスに親ディレクトリーの記号( .. )を含めることはできません。
スクリプトは、成功した場合は終了コードである0を、失敗した場合は別の値を返します。
例:
-postscript "script.bat arg1 arg2"
**-cache.clear**
インポート前にキャッシュをクリアするため、増分収集せずにフルインポートを実行します。
モデルが変更されず、-cache.clearパラメーターが使われていない場合(増分収集)、新しいバージョンは作成されません。
モデルが変更されず、-cache.clearパラメーターが設定されている場合(増分ではなくフルソースインポート)、新しいバージョンが作成されます。
**-backup <directory>**
さらなるトラブルシューティングのため、入力メタデータを保存できるようにします。指定された<directory>は空であることが必要です。
**-restore <ディレクトリー>**
復元するバックアップ<ディレクトリー>を指定します。
**データ接続オプション**
使用するソースとターゲットのデータストアを参照するよう、通常はETL/DIツールとBIツールのインポートブリッジによってデータ接続が生成されます。これらのデータ接続はメタデータ管理ツールによって実際のデータストア(データベースやファイルシステムなど)への接続(メタデータスティッチング)に使われ、完全なエンドツーエンドのデータフローの来歴とインパクト分析が行われます。各データ接続の名前はインポートモデルごとに一意です。DI/BIデザインツールで使われているデータ接続名を可能な限り使用します。そうでない場合は、データベース/スキーマ名、ファイルシステムのパス、Uniform Resource Identifier (URI)など、短くても意味のある接続名が生成されます。次のオプションを使えば、接続を操作できます。これらのオプションによって、レガシーオプションである-c、-cd、-csが置き換えられます。
**-connection.cast ConnectionName=ConnectionType**
SQL解析のためにジェネリックデータベース接続(ODBCやJDBCなど)を正確なデータベースタイプ(ORACLEなど)にキャストします。例:
-connection.cast "My Database"="MICROSOFT SQL SERVER"
サポートされているデータストア接続タイプのリストは次のとおりです。
ACCESS
APACHE CASSANDRA
DB2/UDB
DENODO
GOOGLE BIGQUERY
HIVE
MYSQL
NETEZZA
ORACLE
POSTGRESQL
PRESTO
REDSHIFT
SALESFORCE
SAP HANA
SNOWFLAKE
MICROSOFT SQL AZURE
MICROSOFT SQL SERVER
SYBASE SQL SERVER
SYBASE AS ENTERPRISE
TERADATA
VECTORWISE
HP VERTICA
**-connection.rename OldConnection=NewConnection**
既存の接続を新しい名前に変更します。例:
-connection.rename OldConnectionName=NewConnectionName
既存の複数のデータベース接続の名前を変更し、新しい1つのデータベース接続に統合できます。例:
-connection.rename MySchema1=MyDatabase -connection.rename MySchema2=MyDatabase
**-connection.split oldConnection.Schema1=newConnection**
データベース接続を1つまたは複数のデータベース接続に分割します。
1つのデータベース接続をスキーマごとの1つの接続に分割できます。例:
-connection.split MyDatabase
すべてのデータベース接続をスキーマごとの1つの接続に分割できます。例:
-connection.split \*
データベースにスキーマ名を追加することで、データベース接続を明示的に分割し、新しいデータベース接続を作成できます。例:
-connection.split MyDatabase.schema1=MySchema1
**-connection.map SourcePath=DestinationPath**
ソースパスをデスティネーションパスにマッピングします。これは、異なるパスが同じオブジェクト(ディレクトリーまたはファイル)をポイントしている場合にファイルシステム接続にとって便利です。
Hadoopでは、あるプロセスがHDFSの完全パスで指定されたCSVファイルに書き込む一方、別のプロセスが、デフォルトのファイル名と拡張子を持つ相対パスで指定されている同じファイルによって実装されたHiveテーブル(外部)から読み取ります。例:
-connection.map /user1/folder=hdfs://host:8020/users/user1/folder/file.csv
Linuxでは、/users/johnや/users/paulといった複数のシンボリックリンクによって、/dataのような特定のディレクトリー(またはファイル)が参照されます。例:
-connection.map /data=/users/John -connection.map /data=/users/paul
Windowsでは、M:やN:といった複数のネットワークドライブによって、C:\dataのような特定のディレクトリーが参照されます。例:
-connection.map C:\data=M:\ -connection.map C:\data=N:\
**-connection.casesensitive ConnectionName...**
検出されたデータストアのタイプがこの設定(Microsoft SQL ServerやMySqlなど)をサポートしている場合は、指定された接続内のオブジェクト識別子に対し、大文字と小文字を区別しないデフォルトのマッチングルールがオーバーライドされます。例:
-connection.casesensitive "My Database"
**-connection.caseinsensitive ConnectionName...**
検出されたデータストアのタイプがこの設定(Microsoft SQL ServerやMySqlなど)をサポートしている場合は、指定された接続内のオブジェクト識別子に対し、大文字と小文字を区別するデフォルトのマッチングルールがオーバーライドされます。例:
-connection.caseinsensitive "My Database"
**-connection.level AggregationLevel**
外部接続の集計レベルを指定します。例: -connection.level catalog
サポートされている値のリスト:
server
catalog
schema (デフォルト)
**ETLのオプション**
これらのオプションは、以下の目的ですべてのETL/DIツールとスクリプティングインポートブリッジで利用できます:
- SQL解析をすべて処理する
- デザインモデルとランタイム変数からランタイムモデルをビルドする
- ランタイムサマリー来歴を計算する
**-etl.summary.add.ultimate (以前は-ppus)**
最終的なランタイム来歴サマリーを追加します(非常に大きなモデルが生成される可能性があります)。
**-etl.summary.only.ultimate (以前の-ppsp)**
最終的なランタイム来歴サマリーのみ生成します(非常に大きなモデルが生成される可能性があります)。
**-etl.connections.add.internal.design (以前の-pppd)**
内部ETLデザインデータコネクター(ETL変換に必要)を追加します。
**-etl.connections.remove.input (以前の-ri)**
生成されるモデルのサイズ縮小のため、入力(ソース)データ接続をすべて削除します。
**-etl.transformations.enable.xml**
このオプションによって、DI/ETLインポートブリッジ(Informatica PowerCenter、Informatica Developer、Microsoft SSIS、IBM DataStage、Talend Data Integration など)でのXML変換の解析とサポートが有効になります。
Informaticaの場合、そのようなXML変換は次のPowerCenterの機能に相当します。
https://docs.informatica.com/data-integration/powercenter/10-5/xml-guide/midstream-xml-transformations.html
https://docs.informatica.com/data-integration/powercenter/10-5/xml-guide/xml-source-qualifier-transformation.html
ただし、このオプションはインポートの速度を著しく低下させる可能性がありますのでご注意ください。 | STRING | | | |
## ブリッジのマッピング
| **Meta Integration Repository (MIR)
メタモデル
(OMG CWM標準に基づく)** | **メタデータExcel形式
メタモデル
MicrosoftExcel** | **マッピングのコメント** |
| --- | --- | --- |
| | | |
| **属性** | **属性、SourceAttributes、TargetAttributesのいずれか** | |
| [Comment] (コメント) | 属性のコメント | |
| 説明 | 属性の説明 | |
| InitialValue | 属性の初期値 | |
| 名前 | 属性名 | |
| オプション | オプション属性 | 必須属性 |
| PhysicalName | 属性物理名 | |
| 位置 | 属性の位置 | |
| **クラス** | **クラス、SourceClasses、TargetClassesのいずれか** | |
| [Comment] (コメント) | クラスのコメント | |
| 説明 | クラスの説明 | |
| 名前 | Class Name | |
| PhysicalName | クラスの物理名 | |
| **ClassifierMap** | | **機能マップに基づいて計算** |
| **DataAttribute** | | **機能マップに基づいて計算** |
| **DataSet** | | **変換に基づいて計算** |
| **DatabaseSchema** | **スキーマ、SourceSchemas、TargetSchemasのいずれか** | **[システムタイプ]に基づいて作成** |
| [Comment] (コメント) | スキーマのコメント | |
| 説明 | スキーマの説明 | |
| 名前 | スキーマ名 | |
| PhysicalName | スキーマの物理名 | |
| **DerivedType** | | **[データ型の派生元]を使って作成するか、テンプレートデータを使って計算** |
| [Comment] (コメント) | データ型のコメント | |
| 説明 | データ型の説明 | |
| InitialValue | データ型の初期値 | |
| [Length] (長さ) | データ型の長さ | |
| LowerBound | データ型の最小値 | |
| 名前 | データ型の名前 | |
| PhysicalName | データ型の物理名 | |
| スケール | データ型のスケール | |
| UpperBound | データ型の最大値 | |
| UserDefined | | データ型の使用状況に基づいて計算 |
| **DesignPackage** | **DataPackages、SourceDataPackages、TargetDataPackagesのいずれか** | |
| [Comment] (コメント) | パッケージのコメント | |
| 説明 | パッケージの説明 | |
| 名前 | パッケージの名前 | |
| PhysicalName | パッケージの物理名 | |
| **FeatureMap** | **FeatureMaps** | **ソースとターゲットの属性参照に基づいて計算されます。** |
| 説明 | 機能マップの説明 | |
| 名前 | 機能マップの名前 | |
| オペレーション | 機能マップの操作 | |
| **ファイルDirectory** | **スキーマ、SourceSchemas、TargetSchemasのいずれか** | **[システムタイプ]に基づいて作成** |
| [Comment] (コメント) | スキーマのコメント | |
| 説明 | スキーマの説明 | |
| 名前 | スキーマ名 | |
| PhysicalName | スキーマの物理名 | |
| **PropertyType** | | **テンプレートで定義** |
| データ型 | | テンプレートで定義 |
| InitialValue | | テンプレートで定義 |
| 名前 | | テンプレートで定義 |
| 名前 | | テンプレートで定義 |
| 値 | | テンプレートで定義 |
| **StoreModel** | **モデル** | |
| [Author] (作成者) | モデルの作成時刻 | |
| [Comment] (コメント) | モデルのコメント | |
| CreationTime | モデルの作成時刻 | |
| 説明 | モデルの説明 | |
| ModificationTime | モデルの作成時刻 | |
| 変更者 | モデルの作成時刻 | |
| 名前 | モデル名 | |
| PhysicalName | モデルの物理名 | |
| SystemType | システムタイプ | |
| SystemTypeOld | システムタイプ | |
| **TypeValue** | **DataType、SourceDataType、TargetDataTypeのいずれか** | |
| 説明 | データ型 列挙型値 説明 | |
| 名前 | データ型 列挙型値 | |