# Databricks Delta Lake Hadoop Hiveデータベース(JDBC経由のHCatalogとメタストア) - インポート

Availability-note[AWS](https://help.talend.com/r/en-US/Cloud/labels-on-talend-help-center/availability-aws)

AWS 専用機能は us.cloud.talend.com、eu.cloud.talend.com、ap.cloud.talend.com で利用できます。

## ブリッジの要件

このブリッジ:

* ドライバーを<TDC\_HOME>/data/download/MIMB/にダウンロードするためには、https://repo.maven.apache.org/maven2/ やその他のツールサイトへのインターネットアクセスが必要です。

## ブリッジの仕様

| **ベンダー** | **Databricks** |
| --- | --- |
| **ツール名** | **Delta Lake Hadoop Hive Database** |
| **ツールバージョン** | **Hive 2.x～3.x - Azure Databricks 8.x～9.x** |
| **ツールのWebサイト** | https://databricks.com/product/delta-lake-on-databricks (英語のみ) |
| **サポートされている方法論** | [リレーショナルデータベース] マルチモデル、JDBC API経由のデータストア(物理データモデル) |
| **データプロファイリング** | ![](https://help.qlik.com/talend/ja-JP/talend-data-catalog/8.0/Content/Resources/images/tick.png) |
| **増分収集** | ![](https://help.qlik.com/talend/ja-JP/talend-data-catalog/8.0/Content/Resources/images/tick.png) |
| **マルチモデル収集** | ![](https://help.qlik.com/talend/ja-JP/talend-data-catalog/8.0/Content/Resources/images/tick.png) |
| **モデル選択のためのリモートリポジトリーの参照** | ![](https://help.qlik.com/talend/ja-JP/talend-data-catalog/8.0/Content/Resources/images/tick.png) |

**仕様**  
**ツール:** JDBC API経由のDatabricks / Delta Lake Hadoop HiveデータベースバージョンHive 2.x〜3.x - Azure Databricks 8.x〜9.x  
https://databricks.com/product/delta-lake-on-databricksをご覧ください。  
**メタデータ:** [リレーショナルデータベース] マルチモデル、データストア(物理データモデル)  
**コンポーネント:** ApacheHiveImport.Databricksバージョン11.2.0  
  
**免責事項**  
このインポートブリッジでは、インターネットに接続して次のサードパーティライブラリーをダウンロードする必要があります。  
- オープンソースのサードパーティライブラリーのダウンロードはhttps://repo.maven.apache.org/maven2/などへ  
- その他のサードパーティソフトウェア(データベース特定のJDBCドライバーなど)は該当するサイトへ  
  
ダウンロードされたサードパーティライブラリーは、$HOME/data/download/MIMB/に格納されています。  
HTTPSが失敗した場合、インポートブリッジはHTTPを試します。  
- インターネットへのアクセスにプロキシを使用している場合は、JREでそのプロキシを設定する必要があります(Miscellaneousパラメーターで -j オプションをご覧ください)。  
- インポートブリッジではインターネットにフルにアクセスできない場合は、インターネットアクセスがある別のサーバーから$HOME/data/download/MIMB/ディレクトリーをコピーします。$HOME/bin/MIMB.sh (または.bat) -dというコマンドを使えば、すべてのブリッジで使用される全サードパーティライブラリーを一度にダウンロードできます。  
  
このインポートブリッジを実行すると、ライセンス規約の責任、およびダウンロードしたサードパーティソフトウェアライブラリーによって生じる潜在的なセキュリティの脆弱性を受け入れることになります。  
  
**概要**  
**JDBCを使ってMAPR HIVEをインポート**  
このブリッジはDatabricksのHiveサーバーへのJDBC接続を確立し、物理メタデータを抽出できるようにします。非常に大きなHiveデータベースの場合、このブリッジはHive Metastoreサーバー(Metastoreで始まるすべてのパラメーター名をご確認ください)へのJDBC接続を確立し、物理メタデータの抽出を加速することもできます。  
  
**要件**  
1つまたは複数のテーブルにカスタムSerDeがある場合は、Hiveクラスパスの一部となっていることが必要です。そのようなテーブルをHIVE\_HOME/libディレクトリーに追加すれば、自動的に選択されるようになります。  
  
Databricks Metastoreを正しくインポートできるよう、ブリッジはMetastoreデータベースとの接続に適切なドライバーを必要とします。SQL Server JDBCドライバーを選択してください。  
  
**権限**  
**- Databricks Cloud認証:**  
Azure、Amazon Web Services、Google Cloud PlatformでDatabricksに接続する場合は、サーバーホスト名とHTTPパスクラスター接続の詳細を取得し、次の構文に従ってURLパラメーターに指定します。  
jdbc:databricks://<Server Hostname>:443;HttpPath=<Http Path>[;property=value[;property=value]]  
  
Azure Databricksパーソナルアクセストークンに手動で接続するための接続情報を取得する方法: https://learn.microsoft.com/en-us/azure/databricks/integrations/jdbc-odbc-bi#--retrieve-the-connection-details  
  
**- パーソナルアクセストークン(PAT)認証:**  
任意のクラウドでDatabricksに接続するためには、PasswordパラメーターにDatabricksパーソナルアクセストークン(PAT)を、URLパラメーターにAuthMech=3;UID=tokenといいう接続詳細を指定します。例:  
URL=jdbc:databricks://<Server Hostname>:443;HttpPath=<Http Path>;AuthMech=3;UID=token  
Password=<Databricksパーソナルアクセストークン>  
  
Azure Databricksパーソナルアクセストークンに手動で接続するための接続情報を取得する方法: https://learn.microsoft.com/en-us/azure/databricks/dev-tools/auth#--azure-databricks-personal-access-tokens  
  
**- Azure Active Directoryトークン認証:**  
Azure Active Directoryを使ってDatabricksとの認証を自動および手動で行うよう、ブリッジに指示します。  
URLパラメーターにAuthMech=11と指定し、JDBCドライバー2.6.15以降を使用する必要があります。例: 例:  
URL=jdbc:databricks://<サーバーホスト名>:443;HttpPath=<Http Path>;AuthMech=11  
  
自動方式  
Data Catalogインスタンスからブリッジを実行し、認証でAzure Cloud Identityを指定するためにそのブリッジを使用する場合は、自動方式を利用できます。このIDには、Azure Databricksに接続してメタデータを読み取れる適切な権限が必要です。https://learn.microsoft.com/en-us/azure/databricks/integrations/jdbc-odbc-bi#requirementsをご覧ください。  
Data CatalogはAzure Cloud Identityを使用し、\_\_$Secret\_Azure\_AccessToken\_Databricksという非表示のブリッジパラメーターを使ってブリッジに渡す一時アクセストークンを生成します。  
自動方式を使用する場合は、Passwordパラメーターを空のままにしておきます。例:  
Password=  
  
手動方式  
Azure Active Directoryを使ってAzure Databricksを認証する場合は、PasswordパラメーターにAzure Active Directoryトークンを指定します。例:  
Password=<Azure Active Directoryトークン>  
  
手動で行う場合は、Azure Active Directoryのアクセストークンを生成する必要があります。方法: https://learn.microsoft.com/en-us/azure/databricks/dev-tools/api/latest/aad/app-aad-token#get-token.  
Azure Active Directoryアクセストークンのデフォルトの有効期限は1時間です。トークンの更新方法は、JDBCドライバーのインストールガイド(https://learn.microsoft.com/en-us/azure/databricks/integrations/jdbc-odbc-bi#jdbc-driver-guideでConfiguring Authentication > Using OAuth 2.0)をご覧ください。  
  
外部メタストアがMariaDBデータベースの場合:  
このブリッジがメタデータをクエリーする元のメタストアデータベースについて、ユーザーにSELECT権限が付与されている必要があります:  
grant SELECT on <database\_name>.\* to <user\_name>;  
flush privileges;  
  
**よくある質問**  
**Q: セキュアなHadoop Hiveサーバー(Kerberosなど)に対するWindows JDBCクライアント接続をテスト/デバッグするにはどうすればよいですか?**  
A: セキュアなHadoop Hiveサーバー(Kerberosなど)への接続を確立するには、適切なHadoopディストリビューションベンダーに固有のURL (パラメーターURL)、およびこのブリッジのセキュリティ関連パラメーター(Kerberos設定ファイル、Keytabファイル、ユーザープロキシ、Miscellaneous)を使用する必要があります。これらのパラメーターの各ツールチップの手順に従ってください。  
セキュリティで保護された(Kerberosなどの) Hadoop Hiveサーバーへの接続をテスト/デバッグするため、ユーザーインターフェイスに常に送信されるわけではないすべてのHadoopサーバーやKerberosメッセージにアクセスできることが必要です。そのため、${MODEL\_BRIDGE\_HOME}} binhive\_test.batで提供されるユーティリティを使用できます。そのバッチファイルを編集して同様のパラメーターを与え、そのスクリプトを実行してHadoop HiveサーバーとKerberosメッセージを分析します。  
  
**制限事項**  
現在判明している一般的な制限事項は、http://metaintegration.com/Products/MIMB/MIMBKnownLimitations.htmlか、バンドルされているDocumentation/ReadMe/MIMBKnownLimitations.htmlをご覧ください。  
Hiveが特定のテーブル用のカスタムシリアライザーを検出できない場合は、例外がスローされ、ブリッジはそのテーブルのメタデータの読み取りをスキップします。  
  
**サポート**  
トラブルシューティングパッケージを次の項目と共に提供してください:  
- デバッグログ(UIまたはconf/conf.propertiesでMIR\_LOG\_LEVEL=6を使って設定可能)  
- 利用できる場合はメタデータバックアップ(技術的理由によりこの共通オプションが実装されていないブリッジがあるものの、Miscellaneousパラメーターで-backupオプションを使って設定可能)

## ブリッジパラメーター

| **パラメーター名** | **説明** | **タイプ** | **値** | **デフォルト** | **範囲** |
| --- | --- | --- | --- | --- | --- |
| **Javaライブラリーディレクトリー** | HiveServer2へのアクセスに必要なJARファイルが含まれているディレクトリー:<br>- Hadoopディストリビューションに固有のJDBCドライバーJARファイル<br>- HadoopクライアントJARファイルKerberosセキュアモードの使用時) 通常は/usr/lib/hadoop/clientで利用可能)<br>- Java Cryptography Extension JARファイル(強力な暗号化の使用時。通常はOracle JavaのWebサイトで利用可能)<br>- HadoopがインストールされていないWindowsでの実行時に重要でない例外を回避できるwinutils.exeを伴う'bin'ディレクトリー<br><br>HiveServer2 JDBC Clients接続のためのジェネリックなApache Hiveドキュメンテーション: https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-RunningtheJDBCSampleCode | DIRECTORY |  |  |  |
| **[URL]** | Hiveサーバーが実行中であるJDBC URLを入力します。例:<br><br>jdbc:hive://COMPUTER\_NAME\_OR\_IP:10000<br>または<br>jdbc:hive2://COMPUTER\_NAME\_OR\_IP:10000 | STRING |  | jdbc:hive2://hostname:portNumber/ |  |
| **ユーザー** | 接続が確立されている側のHiveユーザー名です。<br><br>このインポートブリッジのメインドキュメンテーションで「権限」のセクションをご覧ください。 | STRING |  |  |  |
| **パスワード** | 接続が確立されている側のHiveユーザーのパスワードです。 | パスワード |  |  |  |
| **SerDe jarsリスト** | このオプションは、ブリッジがHiveシステム上でリモートで実行するために使用するSerDe jarに対する完全修飾パス名のセミコロンで区切られたリストを指定するために使用できます。 | STRING |  |  |  |
| **Kerberos設定ファイル** | クライアント側でKerberos設定を上書きします。例:<br>/etc/krb5/krb5.conf | STRING |  |  |  |
| **keytabファイル** | Hive認証にKerberosが使用されている場合、このオプションはKerberos keytabファイルへの完全修飾パス名を指定するために使用できます。例:<br>/etc/security/keytabs/hive.service.keytab | STRING |  |  |  |
| **User proxy** | Hive認証にKerberosが使用されている場合、このオプションはプロキシユーザーまたはグループ名を指定するために使用できます。 | STRING |  |  |  |
| **Metastore JDBCドライバーのロケーション** | 有効なJARフォルダーの場所を指定します。すべてのJARがこのフォルダーからCLASSPATHに追加されます。 | DIRECTORY |  |  |  |
| **Metastore JDBCドライバークラス\*** | hive-site.xmlからjavax.jdo.option.ConnectionDriverNameという値をここにコピーして貼り付けてください。<br>通常、このファイルは/etc/alternatives/hive-confにあります<br>Hadoop/Hiveの設定によっては別の場所で見つかることもあります。例:<br>com.mysql.jdbc.Driver | STRING |  |  |  |
| **Metastore JDBC URL\*** | hive-site.xmlからjavax.jdo.option.ConnectionURLという値を見つけ、<br>データベースサーバー(MySQL、PostgreSQLなど) URLへの接続を定義します<br><br>(例: jdbc:mysql://127.0.0.1)<br><br>このファイルは通常、/etc/alternatives/hive-confに存在しますが、<br>Hadoop/Hiveの設定によっては別の場所に存在することもあります。<br><br>URLでデータベース名を指定することをお勧めします。 | STRING |  |  |  |
| **Metastoreデータベース名** | このオプションは後方互換性のためにのみ使用されます。<br>'Metastore JDBC URL\*'にHive Metastoreのデータベース名を入力してください。 | STRING |  |  |  |
| **Metastoreユーザー** | 接続が確立されている側のHive Metastoreデータベースのユーザー名です。<br><br>ユーザー権限<br>このブリッジは、[メタストア]データベースへのアクセス権(読み取り専用)を持つユーザーが必要です。<br><br>MySQLの例:<br>GRANT SELECT ON metastore.\* TO 'user'@'%'; | STRING |  |  |  |
| **Metastoreパスワード** | 接続が確立されている側のHive Metastoreデータベースユーザーのパスワードです。 | パスワード |  |  |  |
| **複数のスレッド** | メタデータを非同期で収集するためのワーカースレッドの数。<br><br>- インポートブリッジに値を計算させる場合はパラメーターを空欄のままにしておきます。JVMアーキテクチャーと利用可能なCPUコアの数に応じて、1から6の間の数値を入れます。<br><br>- 実際のスレッド数を指定する場合は、1以上の数値を入力します。<br>指定した値が無効な場合は警告が表示され、1が使用されます。<br>メタデータを非同期で収集する時にメモリ不足になった場合は、数値を小さくして試してください。<br>マシンで利用できるメモリが多い(たとえば10GB以上)場合は、多くのドキュメントを一度に収集する時により大きな数値で試してみることができます。<br>ただし、設定した数値が大きすぎると、リソースの競合によりパフォーマンスの低下を招く場合があります。 | 数値 |  |  |  |
| **スキーマ** | インポートするHiveスキーマのリストを指定します。<br>リストが空の場合は、利用できるスキーマがすべてインポートされます。<br>リストには、セミコロンで区切られた1つまたは複数のスキーマ名(例: schema1; schema2)を含めることができます。<br><br>%というワイルドカード記号かNOTというキーワードを使って、スキーマ名のパターンを指定できます。<br><br>パターンは包含と除外をサポートします。<br>包含構文の一例として"A%; %B; %C%; D"がありますが、これは次のいずれかに該当するスキーマ名を取得しようとします。<br>- Aで始まる<br>- Bで終わる<br>- Cを含む<br>- Dに等しい<br><br>パターンを除外する場合はNOTというプレフィックスを付けます。除外構文の一例として"A%; NOT %def"<br>がありますが、これはAで始まりdefで終わらない名前を持つスキーマをインポートするものです。<br><br>オプションのリストは長い文字列になることがあるため、ファイルからロードすることも可能です。そのファイルは${MODEL\_BRIDGE\_HOME}\data\MIMB\parametersに配置し、拡張子を.txtとしてください。その場合、スキーマはすべて、このパラメーターの唯一の値としてそのファイル内で定義される必要があります。例:<br>HIVE/ListOfSchema.txt | REPOSITORY\_SUBSET |  |  |  |
| **Table** | インポートするHiveテーブルのリストを指定します。<br>リストが空の場合は、利用できるテーブルがすべてインポートされます。<br>リストには、セミコロンで区切られた1つまたは複数のテーブル名(例: sample\_07; sample\_08)を含めることができます。<br><br>%というワイルドカード記号かNOTというキーワードを使って、テーブル名のパターンを指定できます。<br><br>パターンは包含と除外をサポートします。<br>包含構文の一例として"A%; %B; %C%; D"がありますが、これは次のいずれかに該当するテーブル名を取得しようとします。<br>- Aで始まる<br>- Bで終わる<br>- Cを含む<br>- Dに等しい<br><br>パターンを除外する場合はNOTというプレフィックスを付けます。除外構文の一例として"A%; NOT %def"がありますが、これは<br>Aで始まりdefで終わらない名前を持つテーブルをインポートします。 | STRING |  |  |  |
| **Miscellaneous** | **はじめに**<br>ダッシュで始まるMiscellaneousオプションを指定し、必要であればその後にパラメーターを追加できます。例:<br>- connection.cast MyDatabase1="MICROSOFT SQL SERVER"<br>該当する場合は複数回使用できるオプションもあります。例:<br>- connection.rename NewConnection1=OldConnection1 -connection.rename NewConnection2=OldConnection2;<br>オプションのリストは長い文字列になるため、${MODEL\_BRIDGE\_HOME}\data\MIMB\parametersにあり拡張子が.txtであるファイルからロードすることもできます。その場合、オプションはすべて、このパラメーターの唯一の値としてそのファイル内で定義されることが必要です。例:<br>ETL/Miscellaneous.txt<br><br>**JAVA環境のオプション**<br>**-java.memory &lt;Javaメモリの最大サイズ&gt; (以前の-m)**<br>64ビットJREではデフォルトで1G、またはconf/conf.properties内の設定に従います。例:<br>-java.memory 8G<br>-java.memory 8000M<br><br>**-java.parameters &lt;Javaランタイム環境コマンドラインオプション&gt; (以前の-j)**<br><br>-java.parameters -Dname=value -Xms1G<br>のように、-java.parametersの後ろのテキストはすべてそのままJREに渡されるため、このオプションはMiscellaneousパラメーター内の最後に来る必要があります。インターネットへのアクセスにプロキシを使用している場合は、必要なサードパーティのソフトウェアライブラリーをダウンロードできるよう、次のオプションを設定する必要があります(このオプションはhttps://repo.maven.apache.org/maven2/にアクセスするため、そして例外的にいくつかの他のツールサイトにアクセスするために不可欠です)。<br>注: プロキシは、(会社の)外部トラフィックをHTTPSで暗号化しながら、HTTPでプロキシにアクセスできる内部トラフィックを信頼しているものがほとんどです。この場合、HTTPSリクエストはHTTPでプロキシに到達し、プロキシはそれをHTTPSで暗号化します。<br>-java.parameters -java.parameters -Dhttp.proxyHost=127.0.0.1 -Dhttp.proxyPort=3128 -Dhttp.proxyUser=user -Dhttp.proxyPassword=pass<br><br>**モデルインポートのオプション**<br>**-model.name &lt;モデル名&gt;**<br>モデル名をオーバーライドをオーバーライドします。例:<br>-model.name "My Model Name"<br><br>**-prescript &lt;スクリプト名&gt;**<br>このオプションによって、ブリッジの実行前にスクリプトを実行できるようになります。<br>スクリプトはbinディレクトリー(またはconf/conf.propertiesのM\_SCRIPT\_PATHで指定)にあり、拡張子が.batか.shであることが必要です。<br>スクリプトのパスに親ディレクトリーの記号( .. )を含めることはできません。<br>スクリプトは、成功した場合は終了コードである0を、失敗した場合は別の値を返します。<br>例:<br>-prescript "script.bat arg1 arg2"<br><br>**-postscript &lt;スクリプト名&gt;**<br>このオプションによって、ブリッジが正しく実行された後にスクリプトを実行できるようになります。<br>スクリプトはbinディレクトリー(またはconf/conf.propertiesのM\_SCRIPT\_PATHで指定)にあり、拡張子が.batか.shであることが必要です。<br>スクリプトのパスに親ディレクトリーの記号( .. )を含めることはできません。<br>スクリプトは、成功した場合は終了コードである0を、失敗した場合は別の値を返します。<br>例:<br>-postscript "script.bat arg1 arg2"<br><br>**-cache.clear**<br>インポート前にキャッシュをクリアするため、増分収集せずにフルインポートを実行します。<br><br>モデルが変更されず、-cache.clearパラメーターが使われていない場合(増分収集)、新しいバージョンは作成されません。<br>モデルが変更されず、-cache.clearパラメーターが設定されている場合(増分ではなくフルソースインポート)、新しいバージョンが作成されます。<br><br>**-backup &lt;directory&gt;**<br>このオプションによってブリッジ入力メタデータを保存すれば、将来のトラブルシューティングで活用できます。指定された&lt;directory&gt;は空であることが必要です。<br><br>このオプションの主な用途は、データストアインポートブリッジ(特にJDBCベースのデータベースインポートブリッジ)です。<br><br>なお、このオプションは次のようなブリッジでは動作しません。<br>- ファイルベースのインポートブリッジ(入力ファイルで代用可能なため)<br>- DI/BIリポジトリーインポートブリッジ(ツールのリポジトリーネイティブバックアップで代用可能なため)<br>- APIベース(COMベースなど)による一部のインポートブリッジ(技術的な理由のため)<br><br>**データ接続オプション**<br>使用するソースとターゲットのデータストアを参照するよう、通常はETL/DIツールとBIツールのインポートブリッジによってデータ接続が生成されます。これらのデータ接続はメタデータ管理ツールによって実際のデータストア(データベースやファイルシステムなど)への接続(メタデータスティッチング)に使われ、完全なエンドツーエンドのデータフローの来歴とインパクト分析が行われます。各データ接続の名前はインポートモデルごとに一意です。DI/BIデザインツールで使われているデータ接続名を可能な限り使用します。そうでない場合は、データベース/スキーマ名、ファイルシステムのパス、Uniform Resource Identifier (URI)など、短くても意味のある接続名が生成されます。次のオプションを使えば、接続を操作できます。これらのオプションによって、レガシーオプションである-c、-cd、-csが置き換えられます。<br><br>**-connection.cast ConnectionName=ConnectionType**<br>SQL解析のためにジェネリックデータベース接続(ODBCやJDBCなど)を正確なデータベースタイプ(ORACLEなど)にキャストします。例:<br>-connection.cast "My Database"="MICROSOFT SQL SERVER"<br>サポートされているデータストア接続タイプのリストは次のとおりです。<br>ACCESS<br>APACHE CASSANDRA<br>DB2/UDB<br>DENODO<br>GOOGLE BIGQUERY<br>HIVE<br>MYSQL<br>NETEZZA<br>ORACLE<br>POSTGRESQL<br>PRESTO<br>REDSHIFT<br>SALESFORCE<br>SAP HANA<br>SNOWFLAKE<br>MICROSOFT SQL AZURE<br>MICROSOFT SQL SERVER<br>SYBASE SQL SERVER<br>SYBASE AS ENTERPRISE<br>TERADATA<br>VECTORWISE<br>HP VERTICA<br><br>**-connection.rename OldConnection=NewConnection**<br>既存の接続を新しい名前に変更します。例:<br>-connection.rename OldConnectionName=NewConnectionName<br>既存の複数のデータベース接続の名前を変更し、新しい1つのデータベース接続に統合できます。例:<br>-connection.rename MySchema1=MyDatabase -connection.rename MySchema2=MyDatabase<br><br>**-connection.split oldConnection.Schema1=newConnection**<br>データベース接続を1つまたは複数のデータベース接続に分割します。<br>1つのデータベース接続をスキーマごとの1つの接続に分割できます。例:<br>-connection.split MyDatabase<br>すべてのデータベース接続をスキーマごとの1つの接続に分割できます。例:<br>-connection.split \*<br>データベースにスキーマ名を追加することで、データベース接続を明示的に分割し、新しいデータベース接続を作成できます。例:<br>-connection.split MyDatabase.schema1=MySchema1<br><br>**-connection.map SourcePath=DestinationPath**<br>ソースパスをデスティネーションパスにマッピングします。これは、異なるパスが同じオブジェクト(ディレクトリーまたはファイル)をポイントしている場合にファイルシステム接続にとって便利です。<br>Hadoopでは、あるプロセスがHDFSの完全パスで指定されたCSVファイルに書き込む一方、別のプロセスが、デフォルトのファイル名と拡張子を持つ相対パスで指定されている同じファイルによって実装されたHiveテーブル(外部)から読み取ります。例:<br>-connection.map /user1/folder=hdfs://host:8020/users/user1/folder/file.csv<br>Linuxでは、/users/johnや/users/paulといった複数のシンボリックリンクによって、/dataのような特定のディレクトリー(またはファイル)が参照されます。例:<br>-connection.map /data=/users/John -connection.map /data=/users/paul<br>Windowsでは、M:やN:といった複数のネットワークドライブによって、C:\dataのような特定のディレクトリーが参照されます。例:<br>-connection.map C:\data=M:\ -connection.map C:\data=N:\<br><br>**-connection.casesensitive ConnectionName**<br>検出されたデータストアのタイプがこの設定(Microsoft SQL ServerやMySqlなど)をサポートしている場合は、指定された接続内のオブジェクト識別子に対し、大文字と小文字を区別しないデフォルトのマッチングルールがオーバーライドされます。例:<br>-connection.casesensitive "My Database"<br><br>**-connection.level AggregationLevel**<br>外部接続の集計レベルを指定します。例: -connection.level catalog<br>サポートされている値のリスト:<br>server<br>catalog<br>schema (デフォルト)<br><br>**HIVEのオプション**<br>**-i**<br>インデックスをインポートします。<br><br>**-d**<br>Kerberos Debuggingモードを有効にすることで、Kerberos V5プロトコルのブリッジ実行をフォローできます。<br>このブリッジは、sun.security.krb5.debugというシステムプロパティをtrueに設定します。<br>Kerberos設定に問題が発生した場合は、-dオプションを有効にし、実行ログをサポートに送信してください。<br><br>**-location.skip**<br>外部ファイルへのテーブル接続を無効にします。<br><br>**-location.pattern &lt;Hiveロケーションベースのパーティションディレクトリーパス&gt;**<br>ブリッジは標準的なパーティション位置のパーティションを自動的に検出しようとします。<br>この操作は、ロケーションにHiveテーブル名とパーティション名が含まれている場合に行われます。<br>このパラメーターで指定することで、一部またはすべてのパーティションの検出プロセスを延長できます。<br>Hiveパーティションロケーションのパターンを指定します。<br>複数のパスをコンマ( , )またはセミコロン( ; )で区切ります。<br>次の例によって、(従業員に他のフォルダーがある場合も)従業員データセットが作成されます。<br>-location.pattern hdfs://localhost:9000/user/hive/warehouse/employee<br><br>**-partition.import**<br>テーブルがマージされたロケーションにテーブルパーティションロケーションをすべてインポートします。<br><br>**-partition.allsamples**<br>テーブルパーティションロケーションのサンプルをすべて[PartitionLocationsWithSamples]プロパティにインポートします<br><br>**-tblproperties.skip**<br>テーブルの構造的メタデータとは関係がないテーブルのプロパティ(データが変わると変化するCreationTime、SerDe Library、numRowsなど)は、インポート(スキップ)しないでください。<br>変化するそのようなテーブルプロパティ(操作メタデータなど)をスキップすることで、変更が超過検出されなくなり、増分収集がより効率的になります。<br><br>**-model.split (以前の-multiModel)**<br>大型データベースモデルをマルチモデル(例: モデルごとに1つのスキーマ)に分割します。<br>警告: これはこのインポートブリッジを呼び出すアプリケーションによって管理されるシステムオプションであり、ユーザーが設定するものではありません。 | STRING |  |  |  |

## ブリッジのマッピング

| **Meta Integration Repository (MIR)<br>メタモデル<br>(OMG CWM標準に基づく)** | **[Databricks Delta Lake Hadoop Hiveデータベース(JDBC経由のHCatalogとメタストア)]<br>メタモデル<br>Apache Hive (データベース)** | **マッピングのコメント** |
| --- | --- | --- |
|  |  |  |
| **属性** | **カラム、パーティションカラム** | **テーブル上のパーティションの一部であるカラム。** |
| コメント | コメント |  |
| 説明 | 説明 |  |
| ExtraConstraint | 制約 |  |
| InitialValue | 初期値 |  |
| 名前 | 名前 |  |
| NativeId | ネイティブID |  |
| オプション | Null可能 |  |
| 位置 | 位置 |  |
| **クラス** | **テーブル** |  |
| コメント | コメント |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| NativeId | ネイティブID |  |
| **ClassDiagram** | **図** |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| **ConnectionPackage** | **HDFSフォルダー** |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| **DatabaseSchema** | **データベース** |  |
| コメント | コメント |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| NativeId | ネイティブID |  |
| **DesignPackage** | **サブジェクトエリア** |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| **FlatTextファイル** | **外部ファイル** |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| **インデックス** | **インデックス、クラクター化済み** | **クラスタまたはバケット化されたカラム** |
| コメント | コメント |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| NativeId | ネイティブID |  |
| **結合** | **論理リレーションシップ** |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| **SQLViewAttribute** | **カラムを表示** |  |
| コメント | コメント |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| NativeId | ネイティブID |  |
| 位置 | 位置 |  |
| **SQLViewEntity** | **表示** |  |
| コメント | コメント |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| NativeId | ネイティブID |  |
| ViewStatement | ステートメントを表示 |  |
| **StoreConnection** | **外部テーブル接続** |  |
| 説明 | 説明 |  |
| 名前 | 名前 |  |
| **StoreModel** | **Hiveモデル** |  |
| 作成者 | 作成者 |  |
| コメント | コメント |  |
| CreationTime | 作成日時 |  |
| 説明 | 説明 |  |
| ModificationTime | 変更日時 |  |
| 変更者 | 変更者 |  |
| 名前 | 名前 |  |
| NativeId | ネイティブID |  |
| StoreType | 保管タイプ |  |
| SystemMajorバージョン | システムのメジャーバージョン |  |
| SystemMinorバージョン | システムのマイナーバージョン |  |
| SystemReleaseバージョン | システムのリリースバージョン |  |
| SystemType | システムタイプ |  |
| SystemTypeOld | システムタイプ(旧) |  |