Network issue is now completely resolved.
We reverted workaround and complete infrastructure is now working as intended.
Root cause was a planned maintenance on server. Server was not used by production at this moment but was still linked to production network which caused issue on it.
As we know this behavior now, we will manage in a different way our future maintenances to avoid new issues.
We are really sorry for inconvenience.
Le problème réseau est maintenant complètement résolu.
Nous avons supprimé notre contournement et l'infrastruture fonctionne maintenant comme attendu.
L'origine du problème est une maintenance planifiée sur un serveur. Ce serveur n'était pas utilisé par nos services au moment de la maintenance mais était toujours lié au réseau opérationnel ce qui a entrainé le problème.
Maintenant que nous connaissons ce fonctionnement, nous gèrerons différement nos maintenances pour prévenir ce genre d'incident à l'avenir.
Nous sommes vraiment désolés pour la gêne occasionnée.
Posted Apr 02, 2018 - 18:01 EDT
Monitoring
We encountered at 05:05PM EST critical outage on our network impacting most of our backend services.
We have just deployed workaround and service is coming back progressively, it can take 30 minutes to deliver because of DNS propagation.
We are still investigating the root cause of this issue.
Most of our services from websites to photo prints may have encountered issues from 05:05PM to 06:00PM.
Nous avons rencontré un arrêt de service critique sur notre infrastructure réseau. Ce problème a impacté tous nos services backend.
Nous venons de déployer un contournement et le service revient peu à peu (cela peux prendre jusqu'à 30 minutes le temps de la propagation DNS).
Nous sommes toujours en cours d'investigations pour identifier la cause de cet incident.
La plupart de nos services des sites web aux impressions de photos ont pû rencontré des problèmes de 05:05PM à 06:00PM