2024-02-07
In der Nacht von Dienstag auf Mittwoch (06.02.24 - 07.02.24) ist in der Wurzner Straße der Strom ausgefallen und hat uns eine ungeplante Downtime geschenkt.
Unser Kernnetz, sowie die Kundenanschlüsse, sind nach dem Stromausfall von selbst wieder hochgefahren.
Allerdings mussten wir bei beiden Hosting-Servern manuell eingreifen und bis in die Mittagsstunden des Folgetages Entstörungen durchführen.
Seit 2024.02.07 14:30 CET ist das Reudnetz wieder uneingeschränkt online.
sol ist nach dem Freischalten der full-disk-encryption ohne Netzwerkkonnektivität gebootet.
Eine fehlkonfigurierte Boot-Partiton hat einen veralteten Linux-Kernel gebootet für den das OS keine Kernel-Module mehr bereitgestellt hat.
Durch die fehlenden Module konnte sol seinen Netzwerk-Stack nicht konfigurieren da hierfür (unteranderem) das bonding Modul für 802.3ad (LACP) benötigt wird.
sol konnte über das IPMI entstört werden.
Der Grund für die defekte Boot-Partiton war eine Wartung im Juni 2023.
Beim Austausch der HDDs in sol gegen SSDs wurde die Bootpartition per dd kopiert.
Durch die gleichen FS/UU-IDs hat der Kernel das /boot auf der SSD gemountet, welches nicht in der Firmware als Boot-Device hinterlegt war.
Somit haben sich das Boot-Device und die eigentliche /boot-Partition immer weiter voneinander entfernt.
Die Festplattenverschlüsselung von hyper01 und sol musste manuell durch einen admin freigeschaltet werden.
Das ist 11 Stunden nach Ende des Stromausfalls passiert.
Aufgrund von Netzteilproblemen ist hyper01 nicht automatisch gestartet.
Weder die Betätigung des power-buttons, noch das IPMI konnten den Server starten.
Aus Energieeffiziengründen wird hyper01 nur mit einem Netzteil betrieben. Der Wechsel auf das Ersatznetzteil hat dem Server dann zum Starten verholfen.
In den folgenden Pläna werden wir erarbeiten an welchen Stellen wir Verbesserungen erzielen können um diese Form von Ausfall zu verhindern.
2023-11-18
Die meisten Entscheidungen trifft das Reudnetz in einem mehr oder weniger unorgansierten Plenum. Seit je her, beziehungsweise seit dem wir angefangen haben mitzuschreiben, was wir beschließen, veröffentlichen wir die Protokolle, welche dabei entstehen. Aus Bequemlichkeit landete bisher alles in einem Ordner im Git.. Dort kann es öffentlich eingesehen werden und wird sogar manchmal gelesen.
Nun beschäftigt uns allerdings die Frage, ob wir diese Praxis beibehalten wollen. Denn es gilt: "the internet never forgets" – was einmal veröffentlicht ist, emazipiert sich von uns wird in caches und backups weiterleben, selbst wenn wir einmal entscheiden sollten die Quelle bei uns zu löschen oder zu verändern. Da wir auch Details zu neuen und alten Anschlüssen besprechen, müssen wir aufpassen, wie wir die Dinge aufschreiben, um nicht datenschutzrelevante Informationen zu veröffentlichen. Besonders dieses Risiko nährt die Frage nach den Sinnhaftigkeit dieser kompletten Offenheit.
Gleichzeitig ist uns klar, was für ein starkes Bekenntnis an Transparenz es darstellt, die Ergebnisse unserer Treffen öffenlich zu halten. Aus dem Unstand, das wir öffentliche Infrastruktur betreiben, lässt sich unter Umständen sogar ein Anspruch für diese Offenheit ableiten: Öffentliche Infrastruktur muss auch öffentlich verwaltet werden.
Aber auch die Frage nach dem Nutzen der Protokolle ist nicht abschließend beantwortet. Die Argumentation, das die Protokolle für Auszenstehende wenig informativ sind, da sie oft wenig ausführlich sind, trifft durchaus zu. Zu unserer Überraschung scheinen diese Protokolle aber doch gelegentlich von Menschen gelesen zu werden, die sich für das Reudnetz Interessieren. Besser könnten Blogposts wie dieser sein, die ausführlicher über Themen berichten, die uns gerade Beschäftigen. Sie zu schreiben ist aber aufwendig und deckt stets nur einen Teil unserer Arbeit ab.
2023-10-27
Immer mehr machen sich Wunsch und Notwendigkeit breit, auch mal etwas aktuelles über die Webseite zu verbreiten. Nun soll hier Platz sein, für Geschichten und Einblicke in unsere Arbeit, Störungsmeldungen und Ausfalls-Forensik oder auch einfach ein Paar nette Worte über Dinge die uns beschäftigen.
Viel Vergnügen damit.
2023-03-01
Wir sind gerade dabei eine neue Buchhaltungsperson einzuarbeiten. In diesem Zuge ändern und verbessern wir unsere bisherige Buchhaltung.
Wundert euch also nicht, wenn ihr:
Sollten Zahlungen ausstehen, werden wir euch nochmal explizit daran erinnern.
Liebe Grüße
Euer Reudnetz.
mail [at] reudnetz [dot] org