Stratégies clés d'optimisation des coûts :
Définir des politiques de conservation : Par défaut, les journaux n'expirent jamais. Changez la conservation à 1 jour, 1 semaine ou 30 jours pour éviter des frais de stockage à long terme pour les anciens journaux.
Filtrer les niveaux de journal : En production, changez les niveaux de journalisation de DEBUG à WARN ou ERROR pour éliminer les journaux à volume élevé et à faible valeur.
Utiliser la classe de journal d'accès peu fréquent : Utilisez la classe de journal d'accès peu fréquent pour les groupes de journaux qui sont rarement consultés, ce qui offre un prix d'ingestion inférieur de 50 % par rapport à Standard.
Utiliser des filtres d'abonnement : Envoyez des données de journaux à volume élevé à Kinesis Data Firehose ou S3 pour un stockage moins cher au lieu de les stocker directement dans CloudWatch Logs.
Mettre en œuvre des filtres de métriques : Au lieu des journaux, extraire des métriques spécifiques des journaux et les utiliser pour des alarmes afin d'éviter une ingestion à grande échelle.
Auditer les journaux fournis : Optimisez ou désactivez les journaux de flux VPC, les journaux Lambda ou les journaux Route 53 s'ils ne sont pas nécessaires pour la conformité en matière de sécurité.
Les sous-titres sont disponibles en anglais, français et espagnol. Cliquez ici pour obtenir la masterclass complète.
La classe de journal IA a un prix d'ingestion par Go inférieur de 50 % comparé à la classe de journal standard. Cet article de blog explique comment vous pouvez utiliser la nouvelle classe de journal IA pour de nouveaux groupes de journaux.
Il est important de noter qu'une fois qu'un groupe de journaux est créé, vous ne pouvez pas changer sa classe existante de Standard à IA ou vice-versa. Par conséquent, assurez-vous d'utiliser uniquement la classe de journal IA pour une charge de travail qui ne nécessite pas les fonctionnalités avancées fournies par la classe de journal standard. Exemples de cas d'utilisation les mieux adaptés à l'accès peu fréquent :
Charges de travail qui ne nécessitent pas les fonctionnalités avancées de la classe de journal standard telles que le format de métrique intégré (EMF), Live Tail, la détection d'anomalies dans les journaux et l'analyse de motifs.
Journaux de débogage ou journaux de serveur web, car ils sont assez verbeux et nécessitent rarement l'une des fonctionnalités avancées.
Dispositifs Internet des objets (IoT) qui envoient des journaux détaillés qui ne sont généralement consultés que pour une analyse judiciaire après coup.
Comment identifier ?
À partir de notre Rapport d'optimisations des coûts , vérifiez la section CloudWatch_Storage_Classes.
- Dans la console AWS, allez au service CloudWatch, puis sélectionnez la section Groupes de journaux. Cliquez sur l'icône des paramètres et ajoutez la colonne Octets stockés. Filtrez les groupes de journaux par Octets stockés pour identifier les groupes de journaux à coût élevé.
Comment corriger ?
Pour configurer la période de conservation :
Assurez-vous que les journaux ne sont plus nécessaires.
Sélectionnez les groupes de journaux que vous souhaitez modifier.
Cliquez Actions > Modifier les paramètres de conservation.
Choisissez le nouveau délai de conservation et cliquez sur Enregistrer.
Pour utiliser la classe de journaux d'accès peu fréquent (IA) :
Créer un nouveau groupe de journaux : Dans la console CloudWatch, sélectionnez Groupes de journaux -> Créer un groupe de journaux.
Définir la classe : Sous Classe de journaux, sélectionnez Accès peu fréquent.
Migrer les données : Exporter les anciens journaux vers S3 et supprimer le groupe de journaux standard d'origine.
Mettre à jour la configuration : Mettez à jour vos services AWS (par exemple, EKS, Lambda) pour utiliser le nouveau nom de groupe de journaux.
Pour réduire la quantité de journaux avec l'analyse de motifs des journaux CloudWatch :
Utilisez leDétection d'anomalies et analyse de motifs des journaux CloudWatch pour identifier des événements inhabituels et découvrir des tendances et des motifs dans vos journaux. Par exemple
Journaux inutiles – Journaux d'erreur qui ne disent que « Erreur » sans contexte ni informations exploitables. Dans une telle situation, vous pouvez mettre à jour vos journaux pour capturer le bon niveau de détail afin de vous donner des informations sur votre charge de travail.
Journaux inutiles – Dans la figure ci-dessous, vous pouvez voir que les motifs 1 et 2 reflètent le même ensemble de données. Le premier est une instruction d'impression et le second est une instruction enregistrée. Supprimer de tels journaux qui n'apportent aucune valeur ajoutée peut vous aider à économiser sur les coûts de journalisation.
Instructions de débogage – Dans la figure ci-dessous, le modèle trois montre une déclaration de débogage. Les déclarations de débogage dans une application en état stable pourraient produire plus de journaux que nécessaire. Vérifiez avec vos développeurs si les déclarations de débogage dans les journaux de production ajoutent de la valeur à leurs enquêtes en temps réel. Sinon, si elles sont utilisées pour une analyse a posteriori, l'IA pourrait être un excellent choix.
Si la ressource est provisionnée automatiquement via IaC (comme CloudFormation ou Terraform), mettez à jour le code correspondant pour refléter les changements.