Incident Report: Rising-Gods / Back2Basics
(10.03.2021, 09:00 Uhr)
- Es gab einen Brand im Rechenzentrum, einige unserer Services und Server sind betroffen.
- Backups sind vorhanden
- Was ist der zeitliche Ablauf ? Unbekannt
(10.03.2021, 09:28 Uhr)
- Unsere komplette Produktivumgebung ist betroffen
- Nicht betroffen sind unsere Dev Server, Eigene DNS Zone und Backups
- aktuell untersuchen wir den Schaden und Möglichkeiten die Services wieder herzustellen
(10.03.2021, 10:14 Uhr)
- Neue Server wurden bestellt
(10.03.2021, 10:54 Uhr)
- Neue Server wurden geliefert
- Backups und Services werden wieder hergestellt
- Bitte beachtet, dass hierzu erhebliche Arbeiten an der Infrastruktur notwendig sind und grosse Datenmengen aus Backups extrahiert werden müssen
daher ist es uns aktuell noch nicht möglich eine Dauer abzuschätzen.
- voraussichtlicher Stand des Backups: 09.03.2021 - der Incident ist kurz vor unserem Backupzyklus eingetreten.
(10.03.2021, 18:32 Uhr)
- Zwischenupdate
- Backups werden weiterhin eingespielt / extrahiert - sowie 3 Server konfiguriert und installiert.
- Teamspeak ist seit heute Nachmittag wieder online
- Ein Server ist eventuell nicht beschädigt, der Hoster muss aber erst eine neue 240 KV Leitung legen lassen
und die Fertigstellung für diesen Bereich des Rechenzentrums ist erst für den 18.03. geplant. Daher wird es ein Rollback auf Gestern geben.
- Aufgrund der geringeren Datenmenge wird vorraussichtlich die Homepage als erstes wieder online gehen, während weitere Arbeiten an den Game- & Logonservern durchlaufen.
- Sobald wir bezüglich eines Zeitpunktes etwas absehen können, werden wir hier Informieren.
Offizielle Informationen des Rechenzentrums:
We are currently facing a major incident in our DataCenter of Strasbourg with a fire declared in the building SBG2.
Firefighters were immediately on the scene but could not control the fire in SBG2.
The whole site has been isolated, which impacts all our services on SBG1, SBG2, SBG3 and SBG4.
If your production is in Strasbourg, we recommend to activate your Disaster Recovery Plan.
All our teams are fully mobilized along with the firefighters.
We will keep you updated as more information becomes available.
For some context:
“SBG1, the first Strasbourg data center, consisting of twelve containers, came online in 2012. The 12 containers had a capacity of 12,000 servers.
SBG2 is a non-container data center in 2016 using its “Tower” design with a capacity of 30,000 servers.
SBG3 tower was built in 2017 with a capacity of 30,000 servers.
SBG4 was built in 2013 as several containers to augment capacity, but was decommissioned in 2018 and moved to SB3”