Databricks Delta Lake Hadoop Hiveデータベース(JDBC経由のHCatalogとメタストア) - インポート

ブリッジの仕様

ベンダー	Databricks
ツール名	Delta Lake Hadoop Hive Database
ツールバージョン	Hive 2.x～3.x - Azure Databricks 8.x～9.x
ツールのWebサイト	https://databricks.com/product/delta-lake-on-databricks
サポートされている方法論	[リレーショナルデータベース] マルチモデル、JDBC API経由のデータストア(物理データモデル)
データプロファイリング
増分収集
マルチモデル収集
モデル選択のためのリモートリポジトリーの参照

仕様
ツール: JDBC API経由のDatabricks / Delta Lake Hadoop HiveデータベースバージョンHive 2.x〜3.x - Azure Databricks 8.x〜9.x
https://databricks.com/product/delta-lake-on-databricksをご覧ください。
メタデータ: [リレーショナルデータベース] マルチモデル、データストア(物理データモデル)
コンポーネント: ApacheHiveImport.Databricksバージョン11.2.0

免責事項
このインポートブリッジでは、インターネットに接続して次のサードパーティライブラリーをダウンロードする必要があります。
- オープンソースのサードパーティライブラリーのダウンロードはhttps://repo.maven.apache.org/maven2/などへ
- その他のサードパーティソフトウェア(データベース特定のJDBCドライバーなど)は該当するサイトへ

ダウンロードされたサードパーティライブラリーは、$HOME/data/download/MIMB/に格納されています。
HTTPSが失敗した場合、インポートブリッジはHTTPを試します。
- インターネットへのアクセスにプロキシを使用している場合は、JREでそのプロキシを設定する必要があります(Miscellaneousパラメーターで -j オプションをご覧ください。)。
- インポートブリッジではインターネットにフルにアクセスできない場合は、インターネットアクセスがある別のサーバーから$HOME/data/download/MIMB/ディレクトリーをコピーします。$HOME/bin/MIMB.sh (または.bat) -dというコマンドを使えば、すべてのブリッジで使用される全サードパーティライブラリーを一度にダウンロードできます。

このインポートブリッジを実行すると、ライセンス規約の責任、およびダウンロードしたサードパーティソフトウェアライブラリーによって生じる潜在的なセキュリティの脆弱性を受け入れることになります。

概要
JDBCを使ってMAPR HIVEをインポート
このブリッジはDatabricksのHiveサーバーへのJDBC接続を確立し、物理メタデータを抽出できるようにします。非常に大きなHiveデータベースの場合、このブリッジはHive Metastoreサーバー(Metastoreで始まるすべてのパラメーター名をご確認ください)へのJDBC接続を確立し、物理メタデータの抽出を加速することもできます。

要件
1つまたは複数のテーブルにカスタムSerDeがある場合は、Hiveクラスパスの一部となっていることが必要です。そのようなテーブルをHIVE_HOME/libディレクトリーに追加すれば、自動的に選択されるようになります。

Databricks Metastoreを正しくインポートできるよう、ブリッジはMetastoreデータベースとの接続に適切なドライバーを必要とします。SQL Server JDBCドライバーを選択してください。

権限
- Databricks Cloud認証:
Azure、Amazon Web Services、Google Cloud PlatformでDatabricksに接続する場合は、サーバーホスト名とHTTPパスクラスター接続の詳細を取得し、次の構文に従ってURLパラメーターに指定します。
jdbc:databricks://<Server Hostname>:443;HttpPath=<Http Path>[;property=value[;property=value]]

Azure Databricksパーソナルアクセストークンに手動で接続するための接続情報を取得する方法: https://learn.microsoft.com/en-us/azure/databricks/integrations/jdbc-odbc-bi#--retrieve-the-connection-details

- パーソナルアクセストークン(PAT)認証:
任意のクラウドでDatabricksに接続するためには、PasswordパラメーターにDatabricksパーソナルアクセストークン(PAT)を、URLパラメーターにAuthMech=3;UID=tokenといいう接続詳細を指定します。例:
URL=jdbc:databricks://<Server Hostname>:443;HttpPath=<Http Path>;AuthMech=3;UID=token
Password=<Databricksパーソナルアクセストークン>

Azure Databricksパーソナルアクセストークンに手動で接続するための接続情報を取得する方法: https://learn.microsoft.com/en-us/azure/databricks/dev-tools/auth#--azure-databricks-personal-access-tokens

- Azure Active Directoryトークン認証:
Azure Active Directoryを使ってDatabricksとの認証を自動および手動で行うよう、ブリッジに指示します。
URLパラメーターにAuthMech=11と指定し、JDBCドライバー2.6.15以降を使用する必要があります。例: 例:
URL=jdbc:databricks://<サーバーホスト名>:443;HttpPath=<Http Path>;AuthMech=11

自動方式
Data Catalogインスタンスからブリッジを実行し、認証でAzure Cloud Identityを指定するためにそのブリッジを使用する場合は、自動方式を利用できます。このIDには、Azure Databricksに接続してメタデータを読み取れる適切な権限が必要です。https://learn.microsoft.com/en-us/azure/databricks/integrations/jdbc-odbc-bi#requirementsをご覧ください。
Data CatalogはAzure Cloud Identityを使用し、__$Secret_Azure_AccessToken_Databricksという非表示のブリッジパラメーターを使ってブリッジに渡す一時アクセストークンを生成します。
自動方式を使用する場合は、Passwordパラメーターを空のままにしておきます。例:
Password=

手動方式
Azure Active Directoryを使ってAzure Databricksを認証する場合は、PasswordパラメーターにAzure Active Directoryトークンを指定します。例:
Password=<Azure Active Directoryトークン>

手動で行う場合は、Azure Active Directoryのアクセストークンを生成する必要があります。方法: https://learn.microsoft.com/en-us/azure/databricks/dev-tools/api/latest/aad/app-aad-token#get-token.
Azure Active Directoryアクセストークンのデフォルトの有効期限は1時間です。トークンの更新方法は、JDBCドライバーのインストールガイド(https://learn.microsoft.com/en-us/azure/databricks/integrations/jdbc-odbc-bi#jdbc-driver-guideでConfiguring Authentication > Using OAuth 2.0)をご覧ください。

外部メタストアがMariaDBデータベースの場合:
このブリッジがメタデータをクエリーする元のメタストアデータベースについて、ユーザーにSELECT権限が付与されている必要があります:
grant SELECT on <database_name>.* to <user_name>;
flush privileges;

よくある質問
Q: セキュアなHadoop Hiveサーバー(Kerberosなど)に対するWindows JDBCクライアント接続をテスト/デバッグするにはどうすればよいですか?
A: セキュアなHadoop Hiveサーバー(Kerberosなど)への接続を確立するには、適切なHadoopディストリビューションベンダーに固有のURL (パラメーターURL)、およびこのブリッジのセキュリティ関連パラメーター(Kerberos設定ファイル、Keytabファイル、ユーザープロキシ、Miscellaneous)を使用する必要があります。これらのパラメーターの各ツールチップの手順に従ってください。
セキュリティで保護された(Kerberosなどの) Hadoop Hiveサーバーへの接続をテスト/デバッグするため、ユーザーインターフェイスに常に送信されるわけではないすべてのHadoopサーバーやKerberosメッセージにアクセスできることが必要です。そのため、${MODEL_BRIDGE_HOME}} binhive_test.batで提供されるユーティリティを使用できます。そのバッチファイルを編集して同様のパラメーターを与え、そのスクリプトを実行してHadoop HiveサーバーとKerberosメッセージを分析します。

制限事項
現在判明している一般的な制限事項は、https://metaintegration.com/Products/MIMB/Help/#!Documents/mimbknownlimitations.htmlをご覧ください。
Hiveが特定のテーブル用のカスタムシリアライザーを検出できない場合は、例外がスローされ、ブリッジはそのテーブルのメタデータの読み取りをスキップします。

サポート
トラブルシューティングパッケージを次の項目と共に提供してください:
- デバッグログ(UIまたはconf/conf.propertiesでMIR_LOG_LEVEL=6を使って設定可能)
- 利用できる場合はメタデータバックアップ(技術的理由によりこの共通オプションが実装されていないブリッジがあるものの、Miscellaneousパラメーターで-backupオプションを使って設定可能)

ブリッジパラメーター

ブリッジのマッピング