« Tuto supervision avec GoAcces pour Bullseye » : différence entre les versions

-----

Goaccess est un analyseur de fichiers journal spécialisé dans les services réseaux et particulièrement adapté à l'analyse du trafic http. Les statistiques sont accessibles en mode console via un terminal ou en mode navigateur web via une page html. Le logiciel supporte la plupart des format log existant. Il est possible de le lancer en mode démon afin d'obtenir des statistiques du trafic de son site web en temps réel. Goaccess nécessite peu de dépendances, prends peu de place sur le disque et peu de ressources système, il est donc adapté à une petite machine.  

Dans ce tuto nous allons nous appliquer à configurer Goaccess pour afficher les statistiques de connexions sur  un site hébergé avec Apache 2. Dans un premier temps nous allons essayer le mode console, dans un second temps le mode web en instantané et enfin le mode démon pour que goaccess analyse le trafic en temps réel.

   

Il est possible de l'adapter à une autre distro Linux, cependant l’intérêt de ce tuto est qu'il est spécifiquement écrit pour Débian 11 Bullseyes.  

*Goaccess fonctionne avec AMD64, x86, ARM, etc.

*Pour consulter en ligne le fichier html de statistique il faut copier ce dernier dans un dossier configuré pour être mis en ligne, par convention /var/www/

<code >sudo apt install goaccess</code>

La configuration de Goaccess par défaut se fait dans le fichier /etc/goaccess/goaccess.conf. Lorsqu'on lance la commande simple "goaccess", le programme va chercher les paramètres dont il a besoin dans goaccess.conf. Toutefois, les paramètres passés dans la ligne de commande sont prioritaires sur les paramètres enregistrés dans le fichier goaccess.conf (mis à part le chemin du fichier journal à analyser)

Avant paramétrages, la commande

<code >goaccess</code>

Il faut alors spécifier le format du log à analyser dans la console. Par défaut ce fichier est au format « combined log format with virtual host » (VCOMBINED).  Le programme affiche alors les statistiques numériques d'Apache. Le fichier journal analysé doit contenir de l'activité ; s'il est vide (0 Ko)  alors aucune donnée ne remontera et le tableau restera vide aussi. On sort du tableau avec la touche Q.

La commande goaccess va cette fois nous servir à générer une page web qu'on pourra ensuite consulter avec un navigateur. Faute de paramétrages dans goaccess.conf il nous faut toujours préciser quel fichier journal analyser. Il faut en plus ajouter deux paramètres :

*le commutateur « -o », pour « output », suivis du chemin complet du fichier html à générer

Le fichier webreport.html devrait maintenant être consultable via le navigateur.

Ce mode permet de lancer un démon goaccess en arrière plan qui analyse les connexions en temps réel (real time). Nous allons garder la ligne de commande précédente et lui ajouter deux paramètres qui en fait fonctionnent ensemble:

*l'option « --real-time-html »

<code>sudo kill -9 <PID></code>

Il faut respecter 3 étapes.

Il s'agit d'un script conçu spécialement pour effectuer des tâches au démarrage de la machine telles que lancer un démon.

La première ligne contient cette commande :

Les lignes suivantes contiennent l'en-tête LSB qu'il faut paramétrer :

</code>

Explication de chaque ligne :

*Provides : goaccessd.sh : nom du script, obligatoire

*Required-Start :  Ici il faut nommer les dépendances du script, obligatoire. Cela peut être une valeur comme $local_fs (système de fichier local), $syslog (journalisation), $network (réseau), $name (la machine est nommée), $remote_fs (système de fichier distant), ...Nous choisirons $local_fs.

<code >sudo kill -9 <PID> </code>

<code>

</code>

*Description : fournit une description du service

*After : ce paramètre désigne une ou plusieurs cibles (target) qui, dans le processus de démarrage, correspondent à un ou plusieurs moments de la séquence ; ce champs accepte au moins un élément obligatoire «  getty.target » correspond au moment où le système affiche le prompt.   

.  

*Type : Systemd distingue plusieurs type de services (simple, forking, oneshot, dbus et notify) qui ne se lancent pas de la même façon; nous pouvons garder la paramètre "simple".  

*ExecStart :Commandes qui sont exécutées lorsque l'on démarre le service.

*TimeoutStartSec: Délais (en ms) respecté avant de démarrer le service.

*WantedBy: Argument obligatoire qui désigne une cible de la séquence de démarrage. "multi-user.target" correspond  à un runlevel de 2,3 ou 4.

Pour plus d'explication on peut se référer au manuel : https://manpages.debian.org/stretch/systemd/systemd.service.5.en.html .  

Maintenant que le service est prêt nous allons l'activer par cette commande :

<code>

</code>

Systemd nous donne diverses informations sur le service lancé. Notons que le champs « Main PID » indique le PID du processus père du démon. Le PID du démon est indiqué deux fois, dans la section « CGroup » et à la fin de la dernière ligne d'information « Daemonized GoAccess <PID> ».

Pour l'instant nous avons travaillé sur le fichier journal other_vhosts_access.log qui reporte l'activité actuelle et récente. Le mode temps réel était adapté à cela. Par le jeu de la rotation des logs (logrotate) Apache consigne des données plus anciennes et exploitables dans le fichier other_vhosts_access_log.1. La rotation des fichiers journaux d'apache est paramétrée dans le fichier /etc/logrotate.d/apache2. La  ligne « daily » nous confirme que la rotation des logs est quotidienne. Le fichier other_vhosts_access.log.1 concerne donc les connexions de la veille. Nous allons paramétrer goaccess pour reporter chaque jour les statistiques de ce fichier journal.

Editons le fichier goaccess2.sh

il s'agit comme précédemment d'un script shell, la première ligne est donc l'en-tête :

et que la commande se passe bien, alors le fichier yesterdaywebreport.html affiche les statistiques de la veille.

le cron s'occupe des tâches régulières, qu'elles soient quotidiennes, hebdomadaires ou mensuelles. Les  scripts à exécuter quotidiennement doivent être présents dans le dossier /etc/cron.daily/. On copie donc notre script vers ce dossier avec la commande :

Une page html nommée yesterdaywebreport.html sera générée tout les matins vers 6h25 reprenant les statistiques de la veille contenues dans other_hosts_access.log.1.  

Nous avons pour l'instant fait fonctionné goaccess sans toucher à son fichier de configuration qui est /etc/goaccess/goaccess.conf. Celui-ci permet de paramétrer goaccess plus finement. Les paramètres enregistrés dans le fichier de configuration prennent effet mais les paramètres contradictoires passés dans la ligne de commande sont prioritaires. Une exception toutefois : lorsqu'on définit le champs « log file » dans la section « file options » celui ci prend le pas sur la ligne de commande. Définir ce champs peut être utile si on n'analyse qu'un seul fichier journal, ce qui n'est pas notre cas ; cela  permet de se dispenser de préciser le fichier en entré dans la ligne de commande.  

Si on se sert de goaccess en mode console, une option intéressante peut être d'activer les formats de log dont on peut avoir besoin dans le fichier conf. Ce paramétrage sert à ne pas avoir besoin de spécifier le format de log dans la ligne de commande à l'aide de la directive « log-format », goaccess essaie alors les formats activés dans son fichier de configuration.  

<code>

</code>

Une fois que ceci est fait, si on omet de préciser le format de log avec la directive « log-format » dans la ligne de commande, goaccess essaie les formats de log activés. Cela peut être tentant d'activer tout les formats mais dans ce cas goaccess met beaucoup plus de temps à effectuer sa tache et prends davantage de ressources. N'activer que le(s) log-format qu'on utilise accroît la rapidité du processus mais risque de renvoyer une erreur si on souhaite analyser un fichier journal rédigés dans un format de log non activé.

Par défaut la page html générée par goaccess contient de nombreux panneaux ; certains sont plus utiles que d'autres, cacher les panneaux qu'on juge inutiles accroît de beaucoup la lisibilité des informations. Dans la section « Parse Options » il y a un bloc « ignore-panel » en bas ; il est possible de décommenter des lignes pour ignorer telle ou telle donnée. L'exemple suivant ignore les panneaux « Requests static », « Not Found », « Referreres », « Keaphrases » et « status_codes » :

</code>

dans apache il faut éditer le fichier /etc/apache2/conf-available/other-vhost

On peut changer ici le log-format ou, ce qui peut être utile aussi, ajouter un log dans un format différent.

GoAccess est léger, sans base de données et facile à configurer. Il semble convenir pour surveiller un simple site web. Pour ma part je surveille un site avec peu de trafic à l’intérieure d'un vpn et finalement il ne me sert pas à grand chose. Je regrette l'interface belle mais peu claire.

Remerciement spécial à lol pour la résurrection de mon compte ;)