Accéder au contenu principal Passer au contenu complémentaire

Configurer les logs persistants dans le Moteur distant Gen2 installé en local ou dans votre Cloud privé virtuel

Par défaut, les logs de toutes vos exécutions persistent dans Apache Livy, mais vous avez la possibilité de les désactiver ou réactiver manuellement pour éviter une trop grande consommation de mémoire par les logs.

Cette configuration s'applique uniquement aux utilisateurs et utilisatrices ayant installé Moteur distant Gen2 on-premises ou sur leur Cloud privé virtuel (AWS ou Azure).

Procédure

  1. Accédez au répertoire d'installation du Moteur distant Gen2.
  2. Ouvrez le fichier suivant pour le modifier :

    <engine_directory>/default/.env si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.

    <engine_directory>/eap/.env si vous utilisez le moteur au sein du programme Early Adopter Program.

  3. Modifiez la ligne suivante pour désactiver ou activer les logs :
    • Pour désactiver les logs : 
      LIVY_JOB_LOG_PERSISTENCE_ENABLE=false
    • Pour activer les logs : 
      LIVY_JOB_LOG_PERSISTENCE_ENABLE=true
  4. Sauvegardez le fichier.
  5. Dans le fichier docker-compose.yml, configurez le volume Livy à utiliser. Ce fichier se trouve dans le dossier default ou eap, selon le centre de données que vous utilisez.

    Exemple

    Ajoutez la section suivante afin de spécifier le volume :
    livy:
    image: ${LIVY_IMG}
    networks:
      default:
        aliases:
          - livy
    environment:
      ...
    volumes:
       - <HOST_FOLDER_PATH>:/tmp/livy-jobs-logs:rw
    Modifiez ensuite la valeur de <HOST_FOLDER_PATH> en /tmp/livy-jobs-logs, par exemple.

    Cette configuration crée le dossier de l'hôte des logs avec les autorisations en lecture et écrite et le monte dans le conteneur Docker Livy.

  6. Redémarrez Moteur distant Gen2 pour que vos modifications soient prises en compte.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici