Café OSUG-DC 2017-11-23
Lieu : salle du conseil OSUG-D
Présents :
- Eric - Charlène - Françoise - Armel - Philippe - Rima - Thomas - Guillaume - Gregory - Catherine - Laurent - Damien - Jonathan - Jean Charles
1/4 d'heure systeme
Tag des tickets ouverts
Objectif:
- marquer ceux qui nous concernent (aujourd'hui)
- les trier par priorité (la semaine prochaine ?) pour traitement par l'équipe système
Cf table en fin de page pour un instantané à ce jour. Et à croiser avec les actions en cours ci-dessous.
Tour de table interactif - en cours / actions de dev des services OSUG-DC ...
Qui sur quel Service d'Observation ou Service Commun:
à reprendre plus formellement ;) cf § retrospective ci-dessous
Actions communes en cours
Dev services DC
Geo Cataloguage
- catalogue pour envirhonealpes opérationnel : http://osug-geonetwork.osug.fr/geonetwork
- TODO: le rendre accessible à l'url http://data.envitera.com (demande faite au prestat qui gère la zone DNS)
- catalogue OSUG ((Irstea + Leca) opérationnel : http://osug-geonetwork.osug.fr/osug. L'url sera très probablement amenée à changer rapidement
- VM créée avec ansible osug-test-geocatalogue.osug.fr
- Problème d'accès avec cette VM mise sur l'ACI (Armel) : Accès EricM opérationnel
DevOps
Création VM hébergement docker + création dockerfile
- concerne : JMMC, RESIF.
- cible immédiate pour RESIF : dockerisation d'une appli PHP5 de réservation de matériel sismologique (RJ, CP)
- VM resif-docker@osug.fr, sur le VSAN
- Install des package docker
- Début de création du fichier docker, pbs recontrés sur accès authentifié à la forge GRICAD
- Travail à poursuivre :
- (Catherine) fournit les spécifications techniques
- Reprise par (Grégory et Eric)
Serveur Zabbix (Armel, Gregory)
- serveur de pro ZABBIX : http://forge.osug.fr/trac/OSUG-actions/ticket/105
Le serveur est fonctionnel. Il est décidé de rejouer la procédure d'install et de déploiement en novembre, qui incluera une insertion automatqiue de toutes les nouvelles machine osug
dans zabbix, avant de mettre en prod pour les utilisateurs
interface Web d'admin ZABBIX http://osug-monitoring2.u-ga.fr/zabbix/
Pour rappel, étapes faites :
* Install en cours du zabbix sur VM centOS (rafael et gregory)
- [X] OS [X] install web serveur [X] réglage serveur zabix [X] demande de certificat faite
- [X] Connecté sur la bdd postgresql serveur BDD RESIF, Mise à jour du cluster postgres à plus long terme (Armel)
- [X] Passer le serveur en construction zabbix sur le VSAN [X] Restaurer le dump de la prod actuelle
- [x] Faire la redirection http → https
- [] Tests en cours sur RESIF (Armel et Grégory)
- [] Prévoir d'élargir la validation/test à plus d'utilisateurs
- [] Rédiger une documentation pour faire pointer le serveur monitoré sur le nouveau serveur Zabbix
- Comment prendre en compte la problématique d’intérêts différents des projets dans les mises à jour et extensions de Zabbix ?
Serveur Postgres et HA (Armel)
- cf: Présentation d'Armel : presentation-ha.pdf
décision du 19/10/2017: tester le déploiement de la solution 2 (Armel) Host standby
avant la formation Administration PostgreSQl avancé des 10,11,12 décembre. Ces essais pourront servir de base de discussion/travail lors de la formation.
* Armel travaille dessus. Présentera quelque chose fin novembre
- mise en place d'une solution avec machine virtuelle actuelle avec conf postgres tuné pour profiter de la formation en décembre . Faire test de performance avec pgbench
Page Wiki : https://wiki.osug.fr/wikis/osug-dc/doku.php?id=systeme:plateformepostgresql:haute_disponibilite
- Tableau des bases de données (techno, volumétrie, criticité, nombre d'utilisateurs, extension/modules spécifiques,utilisé directement/via interfaces…) (Eric M.) https://wiki.osug.fr/wikis/osug-dc/doku.php?id=commun-osug-dc:carto_bdd_osug . …. TODO: rajouter info volume espace disque des bases
TODO :
Faisabilité de portabilité de la BD DOI sur le serveur mutualisé (Laurent / Armel)
Faisabilité de portabilité de la BD Geonetwork sur le serveur mutualisé (Eric M. / Armel)
Socle commun pour la gestion des VM : doc création des VM avec Ansible
- wiki pour configurer ansible: https://wiki.osug.fr/wikis/osug-dc/doku.php?id=systeme:ansible:start
- ansible effectue un certain nombre de taches automatiquement lors de la création de la VM: création des comptes utilisateurs des personnes ayant demandé la machine, machine monitorée automatiquement par ZABBIX
Système
SMTP ujf -> uga
- mailhost.ujf-grenoble.fr va s'arreter début 2018
- ticket créé : http://forge.osug.fr/trac/OSUG-actions/ticket/159
- page créée à remplir par les (porteurs de projets) : https://wiki.osug.fr/wikis/osug-dc/doku.php?id=systeme:mail:listeserveurutilisantmailhost
Serveur de log (syslog centralisé) Raphael
Serveur opérationnel: JMMC pousse les logs dedans
- Peut être utilisé, doc : cf début de doc + questions
- Nom du serveur : osug-logs.ujf-grenoble.fr
- monitoré ?
- JMMC peut tester en décembre ? (Guillaume) .
- Demande d'ouverture des accés pour aller voir ce qu'il y a dans les logs : à compléter .
Question des Sauvegardes:
- Sauvegarde des machines virtuelles OSUG par VDP (VMWare) opérationnel : snapshot sauvegardé sur SUMMER
- revoir la solution pour les machines resif (machine qui hébergait les données hors garantie ) : =⇒ La zone de dépot des sauvegardes sera placée sur la volumétrie SUMMER / RESIF (vu avec le service info ISTerre)
- Solutions actuelles : VIM(UGA) et VDP(OSUG)
- manque la restauration par fichier côté VDP et procédure sur export total d'un VM temporaire
- restauration possible VIMbackuop par fichier ou sur VM temporaire (necessite)
- cf doc wiki :
- solution rdiffbackup
- recueil de besoins, complété/revu pour RESIF, SSHADE et JMMC, à faire si besoin pour les autres projets. Si terminé, ouvrir un ticket de demande générale
Supervision de toutes les VM OSUG par ZABBIX
- Vérifier que toutes les VM (VMWare OSUG) sont supervisées à minima sur Zabbix. Sera fait automatiquement pour les machines crées avec Ansible. Sera repris avec l'arrvée de Thomas
ACL
- reprendre la page initiée par Francoise pour définir des règles globales si possible
Besoins/demandes/questions sujets collectifs identifiés pour le cours terme
Besoin d'un outil de sondage
- Besoin de faire des sondages dans le cadre de l'évaluation du Labex OSUG. Eric propose d'y répondre avec un limesurvey par exemple qui serait déployé pour l'OSUG
- Le JMMC est aussi intéressé par ce type de services
- Proposition d'essayer de monter un hebergement avec docker ?
Besoin d'un outil de consolidation et de recherche des publications OSUG
- Besoins à spécifier, actions en cours, infos: outil_publications_osug
Création d'une VM commune destinée à travailler ensemble sur des tests
- relance ticket #84 http://forge.osug.fr/trac/OSUG-actions/ticket/84 pour test sur docker + ansible
- TODO: regarder si la machine osug-dev existente qui avait été créé par damien et laurent ne pourrait pas etre réutilisé avec une meilleur config (car port déjà ouvert)
- Intégration continue: outil gitlab runner utilsé par forge gitlab.gricad : https://docs.gricad-pages.univ-grenoble-alpes.fr/help/tutos/ci/
Actions communes a venir
A fixer dans les semaines qui arrivent:
- Veronique va revenir sur le suivi de la machine GlacioClim
- si possible sur le VSAN , besoin emission smtp
- Comment mettre en ligne un serveur postgres HA avec plusieurs versions
- actuellement utilisé par radardb
- prochainement zabbix
- probablement Ghosst/Sshade et certainement d'autres encore
- à migrer sur le VSAN
- [] initier une page de best practices sur les reglages serveurs pour nos services
Prochaines échéances/dates à retenir/absences
- Prochain café le jeudi 29/11/2017 :
- Animation : Laurent
- Armel Propose une présentation sur Postgres
- Points importants:
- initier les projets sur des points techniques:
- ansible
- HAProxy
- Docker
- Confs standard des VM
- Demandes importantes ASR:
- SMTP /urgent!
- Sauvegardes /critiques mais pas de date définies
Manifestations générales
- 5-7 Décembre: Séminaire à Fréjus sur les données geographiques. Jonathan, David, Eric
- Formation Postgres 11-12(Gregory, Catherine, Jonathan, Véronique, Fabien Engels (EOST, RESIF). Programme envoyé par Gregory
- Snowcamp 2018 inscription ouverte : http://snowcamp.io/fr/
Calendrier Projets
- JMMC
- Expiration des certificats du serveur principal d'applications (et signature de code) du JMMC en novembre → Deadline pour la migration d'infrastructure: en cours (raphael et guillaume)
- GM nov 2017 : solution de contournement avec d'autres certificats
- SSHADE
- question de passer à de debian 8 à 9
- prévoir une VM plus grosse : traité, faire un ticket pour reinstaller le service (debian 9, FS plus gros)
- Opérations à faire en début d'année prochaine
Retrospective / conclusions
- consigner nos demandes sur trac OSUG-Actions avec le tag OSUG-DC
- initier un backlog pour ne plus tenir à jour une page wiki café qui soit trop longue
- initier un espace structuré qui rescence qui travaille sur quoi avec quelle techno …
- [JS] proposition de structure (utilisation du plugin dokuwiki:struct) :
- Dossier “Projets” contenant une page par projet
- Titre : un nom de projet bien clair
- Priorité : à choisir en 2 ou 3 niveaux max
- Porteur : un membre
- Membres : une liste de membres actifs sur le projet
- Échéance : une date prévue de fin de projet
- Ensuite, sans structure :
- objectif à court terme, à long terme
- description
- journal …
- Dossier “Membres” contenant une page par personne
- Compétences / Technologie
- “structure” de rattachement (JMMC, RESIF, etc.)
- Projets : la liste des projets dynamiquement à jour dans lesquels l'utilisateur est imapcté
- Page de récap dynamique des projets, triés par priorité
En démo, je peux créer un projet “gestion des projets” par exemple
Memo tickets OSUG-Action au 23 nov 2017
15 tickets fermés après revue rapide. Les 15 restants ont été taggués OSUG-DC dans le trac
DC | #106 | new | Ansible profil pour les templates | Divers | boutherb | |
DC | #141 | assigned | surveiller par zabbix la plateforme JMMC | Divers | JMMC_INFRA | jacquotr |
DC | #143 | new | refactoring conf et run des scripts ansible jmmc | Divers | JMMC_INFRA | jacquotr |
DC | #144 | new | remonter la plateforme de préprod from scratch pour tester l'integration | Divers | JMMC_INFRA | jacquotr |
DC | #146 | new | modifier les logs haproxy | Divers | JMMC_INFRA | jacquotr |
DC | #147 | new | VM hébergement docker + création dockerfile | Divers | pequegnc | |
DC | #151 | new | Accès à https://gricad-gitlab_univ-grenoble-alpes_fr/OSUG/RESIF | Divers | pequegnc | |
DC | #157 | new | Doc Réplication hot standby | Divers | sereckar | |
DC | #138 | new | Serveur de logs projets | Filtrage | rochf | |
DC | #43 | assigned | RESIF - Virtualisation du serveur PQLX | Projets DC | phamant | |
DC | #71 | assigned | CRYOBSCLIM - besoins relatifs au nom de domaine à créer / serveur SMTP/compte mail | Projets DC | chaffarv | |
DC | #164 | reopened | creer un repertoire osug-publications dans owncloud | Projets DC | mellag | |
DC | #94 | new | connexion filaire réseau dans batiment OSUG | Réseau | volckep | |
DC | #119 | new | migrer ipag-12 ⇒ stages-masters_osug_fr | Serveurs - Réseau | RaphaelJacquot | |
DC | #97 | new | Rajouter osug-smtp_ujf-grenoble_fr sur Zabbix | Supervision | mellag | |
DC | #105 | new | Installation nouveau serveur de test sous Centos pour Zabbix | Supervision | zabbix | arneodog |
DC | #78 | new | Machine de compilation MacOS | Virtualisation - demande | mellag | |
DC | #84 | new | VM commune dev test | Virtualisation - demande | Machine de test | boutherb |
DC | #152 | new | limiter les accès ssh des templates VMWARE linux aux comptes génériques | Virtualisation - divers | mellag | |
DC | #139 | new | Suppression de répertoire très lente :( puis très rapide :) _ | Virtualisation - stockage | mellag | |
DC | #150 | new | problème ajout de disque virtuel depuis la console vmware HTML5 | Vmware | sereckar |