Accéder au contenu principal Passer au contenu complémentaire

Activer et configurer la rotation des logs sur le moteur

Les logs liés aux pipelines exécutés sur le Moteur distant Gen2 sont rédigés dans le conteneur Livy /tmp/livy/jobs où la rotation des logs est désactivée par défaut.

Le tableau suivant présente les paramètres de rotation de log
Paramètres Valeurs Description
LIVY_JOB_LOG_PURGE_ENABLE true ou false false (valeur par défaut) : la rotation des logs est désactivée.

true : active la rotation des logs
LIVY_JOB_LOG_RETAIN_DAYS Entier, la valeur par défaut est 30 Lorsque la rotation des logs est activée, les logs antérieurs à XX (en jours) sont supprimés.
LIVY_JOB_LOG_RETAIN_DISK Entier, la valeur par défaut est 1048576 Lorsque la rotation des logs est activée et que l'espace de disque total utilisé par les logs est supérieur à XX (en octets), tous les logs existants sont supprimés.

Procédure

  1. Accédez au répertoire d'installation du Moteur distant Gen2.
  2. Modifiez le fichier suivant utilisé pour démarrer le moteur :
    default/docker-compose.yml si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.

    eap/docker-compose.yml si vous utilisez le moteur au sein du programme Early Adopter Program.

  3. Trouvez le service appelé livy et ajoutez les paramètres et valeurs appropriés.

    Exemple

    Pour activer la rotation des logs et supprimer les logs antérieur à 3 mois avec un déclenchement du nettoyage des logs à 10 Go :
    livy:
	...
	environment:
		...
		LIVY_JOB_LOG_PURGE_ENABLE: "true"
		LIVY_JOB_LOG_RETAIN_DAYS: 90
		LIVY_JOB_LOG_RETAIN_DISK: 10485760
  4. Redémarrez Livy en exécutant cette commande : 
    docker-compose up -d livy

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici