HDFSからのデータの取得

手順

tHDFSGetをダブルクリックし、[Basic settings] (基本設定)ビューでコンポーネントを定義します。
たとえば、[Hadoop version] (Hadoopのバージョン)リストからApache 0.20.2を選択します。
NameNode URIの[Username] (ユーザー名)フィールドと[Group] (グループ)フィールドに、HDFSへの接続パラメーターを入力します。 WebHDFSを使用している場合、ロケーションはwebhdfs://masternode:portnumberとなります。WebHDFS with SSLはまだサポートされていません。
[HDFS directory] (HDFSディレクトリー)フィールドに、ロードしたファイルを格納するHDFS内の場所を入力します。この例では/testFileです。
[Local directory] (ローカルディレクトリー)フィールドの横にある[...]ボタンをクリックして、HDFSから抽出されたファイルを格納するフォルダーを参照します。このシナリオでは、ディレクトリーはC:/hadoopfiles/getFile/です。
[Overwrite file] (ファイルの上書き)フィールドをクリックしてドロップダウンリストを表示します。
メニューから[always] (常時)を選択します。
[Files] (ファイル)エリアで[+]ボタンをクリックして、抽出するファイルを定義するための行を追加します。
[File mask] (ファイルマスク)カラムに*.txtと入力して、引用符に囲まれたnewLineを置き換えます。[New name] (新しい名前)カラムはそのままにしておきます。これで、HDFS内の指定のディレクトリーからすべての.txtファイルを、名前を変更せずに抽出できます。この例では、ファイルはin.txtです。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください