自分のエンジンからHadoopクラスター上のファイルにアクセス

始める前に

ボリュームが正しくマウントされないという問題を回避できるよう、必ず最新バージョンのdocker-composeを使用してください。
システム管理者に連絡し、Hadoop設定ファイル(core-site.xml、hdfs-site.xmlなど)の完全なリストセットを取得してください。
これらのHadoop設定ファイルを自分のローカルマシンのフォルダーに保存し、そのパスをコピーしてください。

手順

Remote Engine Gen2インストールディレクトリーにある次のフォルダーに移動します:
default - AWS米国、AWS欧州、AWSアジアパシフィック、Azureリージョンでエンジンを使用している場合
eap - Early Adopter Program (早期導入者プログラム)の一部としてエンジンを使用している場合
ファイルを新規作成し、
docker-compose.override.ymlという名前を付けます。

このファイルを編集して次の項目を追加します。

version: '3.6'

services: 

  livy: 
    environment: 
      HADOOP_CONF_DIR: file:/opt/my-hadoop-cluster-config
    volumes: 
      - YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER:/opt/my-hadoop-cluster-config
   
  component-server: 
    environment: 
      HADOOP_CONF_DIR: file:/opt/my-hadoop-cluster-config
    volumes: 
      - YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER:/opt/my-hadoop-cluster-config

YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDERには、Hadoop設定ファイルが保存されているローカルフォルダーへのパスが入ります。

ファイルを保存して変更内容を反映させます。
Remote Engine Gen2を再起動します。
Talend Cloud Pipeline Designerに接続します。
[Connections] (接続)ページに移動し、エンジンとローカルのユーザー名を使って新しいHDFS接続を追加します。
この新しい接続を使って新しいHDFSデータセットを追加し、自分のファイルへのパス(たとえばhdfs://namenode:8020/user/talend/files)が使われるようにします。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください