Ispconfig3: Upgrade Jessie vers Stretch

02 juil. 2017, 12:03

Hello,
Je suis en cours d'upgrade d'un serveur avec ispConfig3 installé.
Je vais détaillé ma "technique" pour discussion car j'ai eu des surprises...

ATTENTION (1): Inutile de vous rappeler qu'un backup (Fichiers et bases de données) est incontournable avant de vous lancer dans les manipulations qui suivent...

ATTENTION (2), pour ne pas vous retrouver avec un serveur inaccessible par ssh, prévoyez AVANT l'upgrade de générer une nouvelle paire de clef ssh solide!
$ ssh-keygen -t ed25519 -a 100 -f ~/.ssh/id_serveur1
Puis ajoutez votre clef publique comme d'habitude au fichier ~/.ssh/authorized_keys
Et pensez à tester...

J'avais compilé plusieurs PHP7, mes vhosts sont déjà configurés pour l'utiliser:

1) Avant le mise à niveau et le changement de sources.list:

Code : Tout sélectionner

apt update && apt upgrade -y

2) Modification sources.list et upgrade:

Code : Tout sélectionner

deb http://deb.debian.org/debian stretch main contrib non-free
deb http://deb.debian.org/debian stretch-updates main contrib non-free
deb http://security.debian.org/ stretch/updates main contrib non-free
deb http://deb.debian.org/debian/ stretch-proposed-updates main contrib non-free

apt update
apt install -y debian-keyring debian-archive-keyring
apt update && apt upgrade -y

3) Un problème sur nano avant le redémarrage... J'ai du désactiver stunnel4. je regarderais plus tard:

Nano change de nid:

Code : Tout sélectionner

# nano
-bash: /usr/bin/nano: Aucun fichier ou dossier de ce type
# /bin/nano

Stunnel4 ne redémarre pas...

Code : Tout sélectionner

Des erreurs ont été rencontrées pendant l'exécution :
 stunnel4

# /bin/nano /etc/default/stunnel4
...
ENABLED=0

4) Reboot

5) Petit état des lieux:

Code : Tout sélectionner

php -v
PHP 7.0.19-1 (cli) (built: May 11 2017 14:04:47) ( NTS )
Copyright (c) 1997-2017 The PHP Group
Zend Engine v3.0.0, Copyright (c) 1998-2017 Zend Technologies
    with Zend OPcache v7.0.19-1, Copyright (c) 1999-2017, by Zend Technologies

php7 est bien installé mais apache tourne toujours avec php5... Je m'ensuis rendu compte après...

6) J'ai tenté un update de ispconfig à ce niveau, inutile cat trop tôt.

Code : Tout sélectionner

# ispconfig_update.sh

7) Je suis quand même passé à ispconfig 3.1.5 mais je suggère de la faire avant l'update, car à ce niveau ça ne sert pas à grand chose:

Code : Tout sélectionner

cd /tmp && wget http://www.ispconfig.org/downloads/ISPConfig-3.1.5.tar.gz && tar xfz ISPConfig-3.1.5.tar.gz
cd ispconfig3_install/install && php -q update.php

A ce niveau apache && php sont bancales.
php5 est toujours ACTIF. et apache ne tourne pas avec php7

Code : Tout sélectionner

# ls /etc/php5/
apache2  cgi  cli  fpm	mods-available

Code : Tout sélectionner

# ls /etc/php/7.0/
cli  mods-available

8) Il faut donc passer au dist-upgrade:

Code : Tout sélectionner

apt update && apt dist-upgrade

Et j'ai pas fait gaffe...

Code : Tout sélectionner

Les paquets suivants seront ENLEVÉS :
  apache2-mpm-prefork apache2-mpm-worker apache2-suexec apache2.2-common coinor-libcoinmp1 coinor-libcoinutils3 coinor-libosi1
  fonts-droid libasprintf0c2 libavfilter5 libboost-date-time1.55.0 libclucene-contribs1 libclucene-core1 libcmis-0.4-4 libcwidget3
  libgltf-0.0-0 libjpeg62-turbo-dbg libkadm5clnt-mit9 libkadm5srv-mit9 libkdb5-7 libkyotocabinet16 libmagickcore-6.q16-2
  libmagickcore-6.q16-2-extra libmagickwand-6.q16-2 libmailutils4 libopencv-core2.4 libopencv-imgproc2.4 libpcrecpp0 libperl5.20
  libpng12-dev libpython3.4 libpython3.4-minimal libpython3.4-stdlib libsigc++-2.0-0c2a libsnappy1 mysql-client-5.5 mysql-server-5.5
  mysql-server-core-5.5 node-gyp nodejs-dev npm perl-modules php5-imagick python-chardet-whl python-colorama-whl python-distlib-whl
  python-html5lib-whl python-requests-whl python-setuptools-whl python-six-whl python-urllib3-whl python3.4 python3.4-minimal

Code : Tout sélectionner

Les NOUVEAUX paquets suivants seront installés :
  coinor-libcoinmp1v5 coinor-libcoinutils3v5 coinor-libosi1v5 default-mysql-client default-mysql-server dirmngr fonts-droid-fallback
  fonts-noto-mono g++-6 galera-3 gcc-6 gnupg-l10n icu-devtools imagemagick-6-common libann0 libapache2-mod-php libapache2-mod-php7.0
  libapt-inst2.0 libapt-pkg5.0 libasan3 libasprintf0v5 libbind9-140 libboost-date-time1.62.0 libboost-filesystem1.62.0
  libboost-iostreams1.62.0 libboost-system1.62.0 libcc1-0 libcgi-fast-perl libcgi-pm-perl libclucene-contribs1v5 libclucene-core1v5
  libcmis-0.5-5v5 libcwidget3v5 libdns162 libfcgi-bin libfcgi-perl libffms2-4 libgcc-6-dev libgltf-0.0-0v5 libgmime-2.6-0
  libhunspell-1.4-0 libicu-dev libicu57 libilmbase12 libirs141 libisccfg140 libjemalloc1 libjxr-tools libjxr0 libkadm5clnt-mit11
  libkadm5srv-mit11 libkdb5-8 libkyotocabinet16v5 libllvm3.9 libmagickcore-6.q16-3 libmagickcore-6.q16-3-extra libmagickwand-6.q16-3
  libmailutils5 libmariadbclient18 libmpg123-0 libmpx2 libnotmuch4 libopencv-core2.4v5 libopencv-imgproc2.4v5 libopenexr22
  libopenmpt0 liborcus-0.11-0 libpcrecpp0v5 libperl5.24 libpgm-5.2-0 libpng-dev libpng-tools libpoppler64 libsigc++-2.0-0v5
  libsnappy1v5 libsodium18 libstdc++-6-dev libvdpau-va-gl1 libvorbisfile3 libwps-0.4-4 libxapian30 libzmq5 mariadb-client-10.1
  mariadb-client-core-10.1 mariadb-common mariadb-server-10.1 mariadb-server-core-10.1 mesa-vdpau-drivers passenger perl-modules-5.24
  perl-openssl-defaults php php-intl php7.0 php7.0-intl postfix-sqlite python3-apt python3-cffi-backend python3-cryptography
  python3-pyasn1 python3-systemd socat vdpau-driver-all xxd

MySql est remplacé par MariaDB. Ce n'est pas grâve en soit, mais ça posera un problème plus tard.

J'ai rencontré un problème avec fail2ban (que je n'ai pas encore réglé:

Code : Tout sélectionner

Fichier de configuration « /etc/fail2ban/jail.conf »
 ==> Modifié (par vous ou par un script) depuis l'installation.
 ==> Le distributeur du paquet a fourni une version mise à jour.
   Que voulez-vous faire ? Vos options sont les suivantes :
    Y ou I  : installer la version du responsable du paquet
    N ou O  : garder votre version actuellement installée
      D     : afficher les différences entre les versions
      Z     : suspendre ce processus pour examiner la situation
 L'action par défaut garde votre version actuelle.
*** jail.conf (Y/I/N/O/D/Z) [défaut=N] ? 
Installation de la nouvelle version du fichier de configuration /etc/init.d/fail2ban ...
Created symlink /etc/systemd/system/multi-user.target.wants/fail2ban.service → /lib/systemd/system/fail2ban.service.
Job for fail2ban.service failed because the control process exited with error code.
See "systemctl status fail2ban.service" and "journalctl -xe" for details.
invoke-rc.d: initscript fail2ban, action "start" failed.
● fail2ban.service - Fail2Ban Service
   Loaded: loaded (/lib/systemd/system/fail2ban.service; enabled; vendor preset: enabled)
   Active: activating (auto-restart) (Result: exit-code) since Sun 2017-07-02 08:40:04 UTC; 11ms ago
     Docs: man:fail2ban(1)
  Process: 5137 ExecStart=/usr/bin/fail2ban-client -x start (code=exited, status=255)

juil. 02 08:40:04 master.emediaplace.com systemd[1]: fail2ban.service: Unit entered failed state.
juil. 02 08:40:04 master.emediaplace.com systemd[1]: fail2ban.service: Failed with result 'exit-code'.
dpkg: erreur de traitement du paquet fail2ban (--configure) :
 le sous-processus script post-installation installé a retourné une erreur de sortie d'état 1

N'acceptez pas la nouvelle configuration du fichier apache2.conf.
Si par inadvertance vous l'acceptez ispConfig et vos vhost ne seront plus accessible (La nouvelle configuration par défaut de Apache2 ne prend plus en compte que les fichiers qui terminent en .conf (C'est donc mort pour vos fichiers .vhost):

Code : Tout sélectionner

Fichier de configuration « /etc/apache2/apache2.conf »
...
*** apache2.conf (Y/I/N/O/D/Z) [défaut=N] ? N

9) A ce niveau j'ai voulu ré-configurer ispConfig car je n'avais plus accès à aucuns services web (Serveur Web, Webmail, Interface Ispconfig, etc.)...

Code : Tout sélectionner

# cd /tmp && wget http://www.ispconfig.org/downloads/ISPConfig-3.1.5.tar.gz && tar xfz ISPConfig-3.1.5.tar.gz && cd ispconfig3_install/install && php -q update.php

Et c'est là que je me suis rendu compte que mon système n'accédait plus à mysql...

Code : Tout sélectionner

Checking ISPConfig database .. OK
Wrong SQL-mode. You should use NO_ENGINE_SUBSTITUTION. Add

    sql-mode="NO_ENGINE_SUBSTITUTION"

to the mysqld-section in your mysql-config on this server and restart mysqld afterwards

Plutôt simple à régler:

Code : Tout sélectionner

# nano /etc/mysql/mariadb.conf.d/50-server.cnf
...
[mysqld]
...
#bind-address           = 127.0.0.1
sql-mode="NO_ENGINE_SUBSTITUTION"...

# service mysql restart
┌─master.emediaplace.com - 09:29:49
└─root@[/tmp/ispconfig3_install/install]# service mysql status
● mariadb.service - MariaDB database server
...

A partir de là j'ai à nouveau pu accéder à mes divers services web...

10) Modifier la façon dont php-fpm écoute:

Code : Tout sélectionner

nano /etc/php/7.0/fpm/pool.d/www.conf
...
;listen = /run/php/php7.0-fpm.sock
listen = 127.0.0.1:9000

Code : Tout sélectionner

# /etc/init.d/php7.0-fpm restart
# netstat -laputen | grep fpm
tcp        0      0 127.0.0.1:8998          0.0.0.0:*               LISTEN      0          2775249    21650/php-fpm: mast 
tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN      0          2774238    21674/php-fpm: mast

11) Il faut alors reconfigurer PHP et FastCGI dans ispConfig3:

Il faut installer les modules php7 manquants:

Code : Tout sélectionner

# apt install php7.0-cgi php7.0-fpm php-apcu php-cgi php-cli php-curl php-geoip php-imap php-memcache php-memcached php-mysqlnd php-xmlrpc php-xsl

Anciens paramètres ISPCONFIG PHP5

Code : Tout sélectionner

PHP Settings
Apache php.ini path: /etc/php5/apache2/php.ini
CGI php.ini path: /etc/php5/cgi/php.ini
PHP-FPM init script: php5-fpm
PHP-FPM php.ini path: /etc/php5/fpm/php.ini
PHP-FPM pool directory: /etc/php5/fpm/pool.d
PHP-FPM start port: 9010
PHP-FPM socket directory: /var/lib/php5-fpm
PHP open_basedir: [website_path]/web:[website_path]/private:[website_path]/tmp:/var/www/[website_domain]/web:/srv/www/[website_domain]/web:/usr/share/php5:/usr/share/php:/tmp:/usr/share/phpmyadmin:/etc/phpmyadmin:/var/lib/phpmyadmin
Check php.ini every X minutes for changes: 1 (0 = no check)
Default PHP Handler Disabled

FAST CGI
FastCGI starter path: /var/www/php-fcgi-scripts/[system_user]/
FastCGI starter script: .php-fcgi-starter
FastCGI Alias: /php/
FastCGI php.ini Path: /etc/php5/cgi/
FastCGI Children: 8
FastCGI max. Requests: 5000
FastCGI Bin: /usr/bin/php-cgi
FastCGI config syntax: Old (apache 2.0)

Nouveaux paramètres ISPCONFIG PHP7

Code : Tout sélectionner

PHP Settings
Apache php.ini path 	/etc/php/7.0/apache2/php.ini
CGI php.ini path 	/etc/php/7.0/cgi/php.ini
PHP-FPM init script 	php7.0-fpm
PHP-FPM php.ini path 	/etc/php/7.0/fpm/php.ini
PHP-FPM pool directory 	/etc/php/7.0/fpm/pool.d
PHP-FPM start port 	9010
PHP-FPM socket directory 	/var/lib/php7.0-fpm
PHP open_basedir 	Laissez tel quel
Check php.ini every X minutes for changes 	1
Default PHP Handler 	Disabled

FAST CGI
FastCGI starter path 	/var/www/php-fcgi-scripts/[system_user]/
FastCGI starter script 	php-fcgi-starter
FastCGI Alias 	/php/
FastCGI php.ini Path 	/etc/php/7.0/cgi/
FastCGI Children 	8
FastCGI max 	Requests : 5000
FastCGI Bin 	/usr/bin/php-cgi
FastCGI config syntax 	New (Apache 2.2)

J'ai un doute sur le PHP-FPM socket directory /var/lib/php7.0-fpm
Par acquis de conscience j'ai créé le répertoire qui n'existait pas:

Code : Tout sélectionner

# mkdir /var/lib/php7.0-fpm

A ce niveau j'ai repassé mes vhost sur la version php par défaut dans ispConfig

Voilà ou j'en suis...
Je n'ai pas tout réglé mais le serveur tourne et les différents sites sont accessibles.

Je savais que ce serait galère...

02 juil. 2017, 13:39

Hello,

Bon, pour fail2ban faut pas s'acharner, c'est du temps perdu: la nouvelle version est vraiment différente...

Code : Tout sélectionner

apt remove --purge fail2ban && apt install fail2ban

Au passage apt installe un nouveau paquet: python3-systemd

Arnaud · 02 juil. 2017, 14:03

Merci pour ce retour, qui me sera probablement utile. Je suis en train de mettre à jour un petit serveur. Le gros, ça attendra que les collègues soient en vacances et qu'il y ait moins de trafic.
Pour ispconfig, till conseille de d'abord mettre à jour vers stretch, puis la mise à jour d'ispconfig.

Pour ma part, je vais d'abord récupérer un backup du serveur, l'importer dans un proxmox, et simuler la mise à jour pour voir.

Concernant fail2ban, avec la commande que tu lances, tu perds toute ta config et tes filtres, non ?

02 juil. 2017, 14:14

Arnaud a écrit : 02 juil. 2017, 14:03Merci pour ce retour, qui me sera probablement utile. Je suis en train de mettre à jour un petit serveur. Le gros, ça attendra que les collègues soient en vacances et qu'il y ait moins de trafic.
Pour ispconfig, till conseille de d'abord mettre à jour vers stretch, puis la mise à jour d'ispconfig.

Pour ma part, je vais d'abord récupérer un backup du serveur, l'importer dans un proxmox, et simuler la mise à jour pour voir.

Concernant fail2ban, avec la commande que tu lances, tu perds toute ta config et tes filtres, non ?

Hello,

Je ne suis pas encore allé voir sur howtoforge. Ce brave Till doit être débordé en ce moment...

Effectivement la mise à jour de ispConfig que j'ai faite entre l'upgrade et le dist-upgrade était inutile, je m'en suis bien rendu compte.

Oui il faut reconfigurer fail2ban qui ne fonctionnera de toute façon pas avec ton ancienne conf.
Je viens de le faire et tester, ça fonctionne. Il y a juste un "NOTICE" qui m'agace:

Code : Tout sélectionner

NOTICE  Jail started without 'journalmatch' set. Jail regexs will be checked against all journal entries, which is not advised for performance reasons.

A part ça, les infos que j'ai donnée sont bonnes puisque mon serveur tourne
ejabberd (J'avais déjà installé la version des backports, donc pas de problème - quelqu'un qui upgrade depuis une jessie pure doit refaire sa conf...) postfix/dovecot, roundcube, owncloud, piwik, divers vhosts, etc.

Ça peut d'ailleurs être une solution pour certains services de passer par les backports avant, ça évite de tout se coltiner d'un coup...

02 juil. 2017, 14:29

Je viens de lire une suggestion de Till qui me semble très judicieuse...
Compiler php5.6 et l'ajouter aux version php supplémentaires de ispConfig.
Il vaut probablement mieux le faire avant la migration, ça permet de rester sur php5.6 pour les application web qui ne peuvent pas fonctionner avec php7...

Arnaud · 02 juil. 2017, 15:03

Tu as un lien ?

Le petit serveur a bien été mis à jour, les services fonctionnent normalement ( à part roundcube ), bien qu'ayant désactivé la màj bdd de phpmyadmin. Bizarre.
Par contre, j'ai perdu ma connexion ssh, je vais essayer de voir pourquoi.

02 juil. 2017, 15:14

Arnaud a écrit : 02 juil. 2017, 15:03 Tu as un lien ?

Le petit serveur a bien été mis à jour, les services fonctionnent normalement ( à part roundcube ), bien qu'ayant désactivé la màj bdd de phpmyadmin. Bizarre.
Par contre, j'ai perdu ma connexion ssh, je vais essayer de voir pourquoi.

https://www.howtoforge.com/community/th ... sue.76747/

Pour ssh je suis dessus... J'ai bien failli me faire avoir, heureusement j'avais une connexion ssh toujours active...
Du coup j'ai généré une nouvelle paire de clefs costaud

Code : Tout sélectionner

$ ssh-keygen -t ed25519 -a 100 -f ~/.ssh/id_serveur1

Et j'ai pu la coller dans ~/.ssh/authorized_keys

La précédente était une vieille et vilaine ssh-rsa qui n'est plus acceptée. C'est ballot, mais il faut y penser AVANT...

02 juil. 2017, 15:17

Pour roundcube je ne l'utilise pas, ça fait un moment que je suis passé à rainloop (il y a un plugin pour ispconfig...)

vv222 · 02 juil. 2017, 15:17

Utiliser en parallèle PHP 5.6 et PHP 7 le temps de migrer les projets me paraît en effet être le meilleur plan.

Arnaud · 02 juil. 2017, 15:50

La correction de ssh ne me posera pas de problème, il m'a suffit de redémarrer en mode rescue à distance.

Le problème roundcube m'embête plus, car je n'ai pas de piste :

Code : Tout sélectionner

[02-Jul-2017 15:07:04 Europe/Berlin] PHP Fatal error:  Class 'Net_IDNA2' not found in /usr/share/roundcube/program/lib/Roundcube/bootstrap.php on line 405

et pourtant php7.0-intl est bien installé et chargé. C'est bien php 7 qui tourne chez moi.

Ce serait bien pour les éventuels autres lecteurs mettant à jour, de regrouper les corrections dans le premier post ( notamment ajouter la remarque ssh par exemple ).

02 juil. 2017, 15:56

Arnaud a écrit : 02 juil. 2017, 15:50Le problème roundcube m'embête plus, car je n'ai pas de piste :

https://bugs.debian.org/cgi-bin/bugrepo ... bug=620218
Workaround: pear install channel://pear.php.net/Net_IDNA2-0.1.1

Arnaud a écrit :Ce serait bien pour les éventuels autres lecteurs mettant à jour, de regrouper les corrections dans le premier post ( notamment ajouter la remarque ssh par exemple ).

Ça va être compliqué, je suis le seul à pouvoir éditer mon posts...
J'ajoute la remarque sur SSH.

Arnaud · 02 juil. 2017, 16:07

Merci. J'avais trouvé ce rapport de bug, et pensais qu'il était trop vieux pour ce problème.
Roundcube fonctionne à nouveau grâce à la commande :

Code : Tout sélectionner

pear install channel://pear.php.net/Net_IDNA2-0.2.0

Je vais installer rainloop en parallèle pour tester. C'est joli et réactif, mais cela manque à mon goût de plugins ( caldav, carddav, etc ... ).

02 juil. 2017, 16:10

voire de faire un tuto wiki sur les piéges à éviter, et les vérifications préliminaires.
afin de ne pas tout découvrir d'un coup, pourquoi n'avez vous pas un serveur de test en testing. Vous pourriez ainsi découvrir au fur et à mesure ce qui va arriver dans la prochaine stable.

02 juil. 2017, 16:53

piratebab a écrit : 02 juil. 2017, 16:10 voire de faire un tuto wiki sur les piéges à éviter, et les vérifications préliminaires.
afin de ne pas tout découvrir d'un coup, pourquoi n'avez vous pas un serveur de test en testing. Vous pourriez ainsi découvrir au fur et à mesure ce qui va arriver dans la prochaine stable.

Ben ispConfig est particulier quand même, ça sort un peu d'une Debian pure et dure... Ça m'embête de mettre ça sur le wiki.
Pour ma part je n'ai pas le temps d'avoir ispConfig sur une testing. D'un côté ce serait du temps de gagné, c'est vrai... Mais c'est tous les 3 ans seulement l'upgrade quand même!

03 juil. 2017, 13:26

Un détail à ne pas oublier...

Code : Tout sélectionner

nano /etc/php/7.0/fpm/pool.d/www.conf
...
;listen = /run/php/php7.0-fpm.sock
listen = 127.0.0.1:9000

Je modifie le fil d'origine!

15 juil. 2017, 11:26

Salut,

Upgrade d'un nouveau serveur ce matin. Pas trop de problèmes, je commence à avoir la main.

Par contre, je me suis fais avoir avec la nouvelle conf d'apache.

Si vous acceptez la nouvelle configuration

Code : Tout sélectionner

Fichier de configuration « /etc/apache2/apache2.conf »
...
*** apache2.conf (Y/I/N/O/D/Z) [défaut=N] ? Y

Ispconfig et vos VHOST ne fonctionnerons tout simplement plus...

Donc, soit acceptez et modifier ensuite le fichier apache2.conf, soit n'acceptez pas la noucelle version du fichier apache2.conf...

Code : Tout sélectionner

# diff /etc/apache2/apache2.conf /etc/apache2/apache2.conf.bak 
...
< IncludeOptional sites-enabled/*.conf
---
> IncludeOptional sites-enabled/

Pour rappel, les fichiers de ispConfig dans apache2/sites-enabled sont de cette forme:
@100-nom_du_virtualhost.vhost

La nouvelle conf d'apache2 ne prend en compte que les fichiers .conf...

J'édite le premier post pour ajouter cette avertissement.

Arnaud · 11 août 2017, 16:27

Ayant profité d'une offre éclair ovh, je n'ai eu qu'à copier les données ISPCONFIG d'un serveur à l'autre, et pas de problème d'upgrade.
J'ai un site sous wordpress qui affiche une erreur 503, je ne sais pas pourquoi, le reste tourne correctement sous php 7.

Par contre, j'ai eu droit à un bug d'opendkim qui ne voulait pas démarrer, c'est dû à un démarrage via systemd qui ne prend pas en compte le fichier de configuration d'opendkim.

J'ai vu que certains avaient eu des problèmes de ram sous stretch, je n'ai rien vu. Comment l'aviez-vous remarqué ?