[None] (なし): 操作は行われません。
[Drop and create keyspace] (キースペースの削除と作成): キースペースを削除してから、再作成します。
[Create keyspace] (キースペースの作成): キースペースが存在しないため、作成します。
[Create keyspace if not exists] (キースペースが存在しない場合に作成): キースペースが存在しない場合は作成します。
[Drop keyspace if exists and create] (キースペースが存在する場合に削除して作成): キースペースが既に存在する場合は、削除されて再作成されます。
[None] (なし): 操作は行われません。
[Create column family if not exists] (カラムファミリーが存在しない場合に作成): カラムファミリーが存在しない場合に作成します。
[Drop column family if exists and create] (カラムファミリーが存在する場合に削除と作成): カラムファミリーが既に存在している場合は削除され、再作成されます。
[Truncate column family] (カラムファミリーの切り捨て): カラムファミリーのすべてのデータが完全に削除されます。
[Upsert] (アップサート): カラムまたは既存のカラムが存在しない場合は、カラムを挿入します。
このアクションでは、スキーマで定義される列の名前に小文字を使用する必要がありますが、スキーマの[DB column] (DBカラム)カラムに配置した名前は、文字ケースも含めて、ターゲットテーブル内の対応するカラムと同じにする必要があります。
[Insert] (挿入): カラムが存在しない場合は、カラムを挿入します。このアクションは、既存のものもアップデートします。
[Update] (アップデート): 既存のカラムをアップデートするか、存在しないカラムを追加します。このアクションでは[Counter] (カウンター)Cassandraデータ型がサポートされていません。
[Delete] (削除): 入力フローに対応するカラムを削除します。
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
[View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。
[Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。
[Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。
変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。
このコンポーネントのスキーマは、オブジェクトタイプとリストタイプに対応していません。
[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。
再使用するスキーマに整数またはファンクションのデフォルト値が指定されている場合は、これらのデフォルト値を引用符で囲まないようにご注意ください。引用符で囲まれている場合は手動で削除します。
詳細は、テーブルスキーマを取得をご覧ください。
たとえば、書き込みにおけるCassandraの一貫性レベルを定義する必要がある場合は、[Property name] (プロパティ名)カラムで[output_consistency_level]プロパティを選択し、[Value] (値)カラムに数値レベルの値を入力します。
0: ANY、
1: ONE、
2: TWO、
3: THREE、
4: QUORUM、
5: ALL、
6: LOCAL_QUORUM、
7: EACH_QUORUM、
8: SERIAL、
9: LOCAL_SERIAL、
10: LOCAL_ONE
[Batch size] (バッチサイズ): 処理する各バッチの行数を入力します。
[Partition] (パーティション): 同じパーティションキーを共有する行をグルーピングします。
[Replica] (レプリカ): 同じレプリカに書き込まれる行をグルーピングします
[None] (なし): ランダムに行をグルーピングします。このオプションは、単一ノードのCassandraに適しています。
[Cache batch group] (キャッシュバッチグループ): このチェックボックスをオンにすると、グルーピングする前に行がメモリにロードされます。この方法では、行の順序でグルーピングが影響を受けることはありません。
このチェックボックスをオフにしたままにすると、同じ条件を満たす連続した行のみがグルーピングされます。
[Async execute] (非同期実行): このチェックボックスをオンにすると、tCassandraOutputでバッチが並行して送信されます。選択を解除したままにすると、tCassandraOutputでは、バッチの結果を待機してから、別のバッチをCassandraに送信します。
[Maximum number of batches executed in parallel] (並行して実行できるバッチの最大数): [Async execute] (非同期実行)を選択したら、Cassandraに並行して送信するバッチの数を入力します。
この数値を負の数または0にすべきではなく、大きすぎる値も使用しないことをお勧めします。
[Append] (後ろに追加): アップデートするカラムの末尾に受信レコードを追加します。処理できるCassandraのデータ型は、Counter、List、Set、Mapになります。
[Prepend] (前に追加): アップデートするカラムの先頭に受信レコードを追加します。処理できる唯一のCassandraのデータ型はListになります。
[Remove] (削除): 受信フローに同じレコードが存在する場合、ターゲットテーブルからレコードを削除します。処理できるCassandraのデータ型は、Counter、List、SetおよびMapになります。
[Assign based on position/key] (位置/キーに基づく割り当て): アップデートするカラムの特定の位置にレコードを追加します。処理できるCassandraのデータ型は、ListおよびMapになります。
この操作をオンにすると、[Map key/list position] (キー/リスト位置のマッピング)カラムが編集可能になります。このカラムから参照に使用するカラムを選択し、アップデートする位置を検索する必要があります。
Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。
HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。
オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。
[Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。
ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。