Propriétés du tMap pour Apache Spark Streaming

Ces propriétés sont utilisées pour configurer le tMap s'exécutant dans le framework de Jobs Spark Streaming.

Le composant tMap Spark Streaming appartient à la famille Processus en cours.

Ce composant est disponible dans Talend Real Time Big Data Platform et dans Talend Data Fabric.

Basic settings

Map editor	Il vous permet de définir les propriétés de routage et de transformation du tMap. Lorsque vous cliquez sur le bouton Property Settings en haut de la zone d'entrée, la boîte de dialogue Property Settings s'ouvre. Vous pouvez y configurer les paramètres suivants : Si vous ne souhaitez pas gérer les erreurs d'exécution, cochez la case Die on error (cochée par défaut). Cette option arrête le Job en cas d'erreur. Afin de maximiser les performances des transformations de données dans un Job gérant plusieurs flux d'entrée ou de référence (lookup) contenant de larges volumes de données, vous pouvez cocher la case Lookup in parallel. Temp data directory path : saisissez le chemin d'accès à l'emplacement dans lequel vous souhaitez stocker les données temporaires générées pour le chargement du lookup. Pour plus d'informations concernant ce dossier, consultez le Guide d'utilisation du Studio Talend. Max buffer size (nb of rows) : saisissez la taille de la mémoire physique, en nombre de lignes, que vous souhaitez allouer aux données traitées.
Mapping links display as	Auto : par défaut, les liens sont en forme de courbes. Curves : les liens du mapping sont en forme de courbes. Lines : les liens du mapping sont en forme de lignes droites. Cette dernière option améliore légèrement les performances.
Preview	L'aperçu est un instantané des données du Mapper. Il n'est visible que lorsque les propriétés du Mapper sont renseignées. La synchronisation de l'aperçu ne prend effet qu'après la sauvegarde des modifications.
Use replicated join	Cochez cette case pour effectuer une jointure répliquée entre les flux d'entrée. En répliquant chaque table Lookup dans la mémoire, ce type de jointure ne requiert pas d'étape supplémentaire de shuffle-and-sort, ce qui accélère le processus. Vous devez vous assurer que la mémoire contient assez d'espace pour contenir toutes les tables Lookup.

Utilisation

Règle d'utilisation	Le tMap fonctionne généralement avec un composant Lookup Input, comme le tMongoDBLookupInput, pour construire et consommer un flux de référence (lookup). Dans cette situation, vous devez utiliser l'option Reload at each row ou Reload at each row (cache) pour lire les données du flux de référence. Cette approche vous assure qu'aucun enregistrement redondant n'est stocké en mémoire avant d'être envoyé au tMap. Pour un cas d'usage dans lequel le tMap est utilisé avec un composant d'entrée de boucle, consultez Lire et écrire des données dans MongoDB à l'aide d'un Job Spark Streaming. Notez que les options Reload at each row et Reload at each row (cache) dans un Job Streaming sont supportées uniquement par les composants Lookup Input.
Connexion à Spark	Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers : Yarn mode (Yarn Client ou Yarn Cluster) : Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration. Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration. Lorsque vous utilisez Qubole, ajoutez tS3Configuration à votre Job pour écrire vos données métier dans le système S3 avec Qubole. Sans tS3Configuration, ces données métier sont écrites dans le système Qubole HDFS et détruites une fois que vous arrêtez votre cluster. Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration (en anglais). Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch (en anglais). Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem). Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Règle d'utilisation

Le tMap fonctionne généralement avec un composant Lookup Input, comme le tMongoDBLookupInput, pour construire et consommer un flux de référence (lookup). Dans cette situation, vous devez utiliser l'option Reload at each row ou Reload at each row (cache) pour lire les données du flux de référence. Cette approche vous assure qu'aucun enregistrement redondant n'est stocké en mémoire avant d'être envoyé au tMap. Pour un cas d'usage dans lequel le tMap est utilisé avec un composant d'entrée de boucle, consultez Lire et écrire des données dans MongoDB à l'aide d'un Job Spark Streaming. Notez que les options Reload at each row et Reload at each row (cache) dans un Job Streaming sont supportées uniquement par les composants Lookup Input.

Connexion à Spark

Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :

Yarn mode (Yarn Client ou Yarn Cluster) :
- Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration.
- Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration.
- Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration.
- Lorsque vous utilisez Qubole, ajoutez tS3Configuration à votre Job pour écrire vos données métier dans le système S3 avec Qubole. Sans tS3Configuration, ces données métier sont écrites dans le système Qubole HDFS et détruites une fois que vous arrêtez votre cluster.
- Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration (en anglais).
Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch (en anglais).

Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem).

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici