Solution de backup Le sujet est résolu

[lol]

Salut,
J'ai hésité entre pause café et support, mais je vais quand même poster ici.

Je réalise des backups croisés (Le plus souvent) avec un script que j'utilise depuis des lustres...
C'est à base de rsync, mysqldump, tar; lz4 et ssh.

Les volumes sont importants (jusqu'a 250Gb quotidiens), et au fil de temps, je me retrouve avec des machines surchargées pendant des heures...
Bref, c'est surement débile de procéder ainsi...

Auriez-vous des conseils à me donner pour éviter de bouger autant de données d'une machine vers une autre (et vice versa) et d'économiser en ressources (Réseau/et RAM principalement).
Sur un des serveurs j'ai 140G de Ram et j'arrive à swapper jusqu'a 60%... c'est trop!

Capture d’écran 2022-02-15 115519.png

Il faudrait évidemment que je passe à du full+différentiel.
J'ai regardé beaucoup de solution et je n'arrive pas à me décider.

Merci pour vos conseils de pros!

[dezix]

Salut!

Quelle est l'application qui fournit ce joli tableau de bord ?

[vv222]

Ici c’est BorgBackup que j’utilise, via la surcouche facilitant sa configuration borgmatic. Le tout venant bien sûr des dépôts Debian.

C’est de la sauvegarde incrémentale avec rétention configurable, automatisée bien sûr, et surtout chiffrée avant envoi. On peut donc envoyer des sauvegardes vers des machines qu’on ne contrôle pas à 100% sans risque de fuite d’information.

J’utilise ça en particulier pour sauvegarder l’instance GitLab de ./play.it.

[lol]

Salut et merci pour ta réponse.

Ici c’est BorgBackup que j’utilise, via la surcouche facilitant sa configuration borgmatic. Le tout venant bien sûr des dépôts Debian.

C’est de la sauvegarde incrémentale avec rétention configurable, automatisée bien sûr, et surtout chiffrée avant envoi. On peut donc envoyer des sauvegardes vers des machines qu’on ne contrôle pas à 100% sans risque de fuite d’information.

J’utilise ça en particulier pour sauvegarder l’instance GitLab de ./play.it.

C'est séduisant comme outil, mais je suis embêté car ça ne va sauvegarder que les fichiers. Pour les bases de données il faut que je prévois un script séparé...
A moins de faire les dumps avant de lancer Borg et de placer les fichiers dans un répertoire qui sera pris en compte dans le backup.

Quelle est l'application qui fournit ce joli tableau de bord ?

Deux applications:
Prometheus (Collecte des données) + Grafana (Mise en forme)

[dezix]

merci

[MicP]

Bonjour

…Pour les bases de données il faut que je prévois un script séparé...
A moins de faire les dumps avant de lancer Borg …

Je viens de trouver la page web suivante dans la documentation de borgmatic
qui pourrait t'intéresser : borgmatic -> How to backup your databases

[piratebab]

Salut lol,
je ne manipule pas des volumes de de données aussi important que toi.
J'utilise modestement luckybackup par simplicité, et des scripts à base de rsync.
Je fais de l'incrémental hebdo, et du full mensuel. Je conserve uniquement 2 fulls.
Je ne comprends pas pourquoi ça te consomme autant de RAM. Chez moi ça consomme des E/S disques, et du cpu (probablement pour calculer les écarts).

[vv222]

C'est séduisant comme outil, mais je suis embêté car ça ne va sauvegarder que les fichiers. Pour les bases de données il faut que je prévois un script séparé...
A moins de faire les dumps avant de lancer Borg et de placer les fichiers dans un répertoire qui sera pris en compte dans le backup.

Dans mon cas je lance bien un dump avant la sauvegarde, et sauvegarde donc le dump plutôt que la structure interne de la BDD.

[lol]

Salut à tous,

Merci pour votre intérêt et vos réponses.

@MicP merci d'avoir pris la peine de chercher. Mais comme le suggère @vv222 je ne vais pas utiliser borgamatic (Au moins pour le moment) pour la partie base de donnée et continuer à faire un dump.
Borg est assez déstabilisant au début, chaque chose en son temps.

@piratebab les archives sont très grosses, c'est tar qui fait autant de mise en cache.
C'est normal, mais je suis au max je pense... ça SWAP trop maintenant pendant les backups et je le paye au niveau des performances.
C'est pourquoi je cherche une autre alternative (Plus intelligente, car mes backups à base de rotation de tar.gz énormes a atteint ses limites...).

Borg semble une solution à mes problèmes.
L'utilisation d'un petit script permet un réglage assez fin, je pense que ça va convenir.

Reste à tester pendant plusieurs jours et SURTOUT de tester une restauration avant mise en production définitive.

Merci à vous.
Je laisse non résolu pendant quelques jours le temps de déployer et tester.

[lol]

Bonjour,

Je laisse non résolu pendant quelques jours le temps de déployer et tester.

C'est le jour et la nuit...

• Sauvegardes sur trois support (dont deux distants) en 6 minutes au lieu de 3 heures.

• Charge serveur quasi nulle, espace de stockage divisé par 10.

• Et cerise: les sauvegardes sont chiffrés et compressées avec lz4.

Je suis un âne de ne pas avoir fait l'effort de mettre ça en place avant.


Merci vv222, tu m'épargne beaucoup d'efforts avec Borgbackup.

[vv222]

Je suis un âne de ne pas avoir fait l'effort de mettre ça en place avant.

Je me suis dit exactement la même chose quand j’ai lancé mes premières sauvegardes par ce biais