SpaceObServer v8.6: Wie wir die Datenbank-Performance grundlegend optimiert haben

Das Problem mit Firebird

SpaceObServer speichert alle Scan-Ergebnisse in einer SQL-Datenbank. Für größere Umgebungen empfehlen wir seit jeher einen dedizierten Microsoft SQL Server. Doch nicht jeder Kunde möchte für eine erste Evaluierung oder eine kleinere Installation gleich einen SQL-Server aufsetzen. Genau dafür gab es die Embedded-Datenbank: eine Datenbank, die direkt mit SpaceObServer installiert wird und ohne zusätzliche Konfiguration sofort funktioniert.

Bisher basierte diese Embedded-Lösung auf Firebird Embedded, einer Open-Source-Datenbank. Der Vorteil: ein Klick im Installer, und die Datenbank lief. Der Nachteil wurde mit wachsenden Datenmengen immer deutlicher spürbar. Firebird Embedded kam bei größeren Scan-Ergebnissen an seine Grenzen und Abfragen wurden langsam. Die Performance fiel deutlich hinter das zurück, was Kunden von einem SQL Server gewohnt waren.

Unsere Kundenbefragungen zeigen: Rund 30 % aller SpaceObServer-Installationen nutzen die Embedded-Datenbank. Das ist damit kein Randfall, sondern ein zentraler Nutzungspfad, den wir ernst nehmen mussten.

Die Lösung: PostgreSQL out-of-the-box

Nach einer gründlichen Evaluierung haben wir uns für PostgreSQL als neue mitgelieferte Datenbank mit Zero-Configuration entschieden. PostgreSQL ist ein ausgereifter, vollwertiger SQL-Server mit exzellenter Performance, der in der Datenbankwelt einen hervorragenden Ruf genießt.

Das Entscheidende: Wir konnten PostgreSQL so in unseren Installer integrieren, dass die Ein-Klick-Inbetriebnahme erhalten bleibt. Sie installieren SpaceObServer, wählen PostgreSQL auf „localhost”, und SpaceObServer richtet im Hintergrund einen vollwertigen PostgreSQL-Server ein, der sofort einsatzbereit ist. Kein manuelles Setup, keine Konfigurationsdateien, kein separater Download.

Die Performance liegt dabei mindestens auf dem Niveau von Microsoft SQL Server Express. Für eine Datenbank, die ohne jede Vorkonfiguration mit einem Klick läuft, ist das in dieser Softwarekategorie außergewöhnlich.

Mit dem Wechsel zu PostgreSQL haben wir auch die Liste der offiziell unterstützten Datenbanken konsolidiert. Ab v8.6 unterstützt SpaceObServer offiziell zwei Datenbanksysteme:

• Microsoft SQL Server (für große Enterprise-Umgebungen)
• PostgreSQL (als Embedded-Lösung und für eigenständige Installationen)

Bestehende Installationen mit Firebird Server, MySQL oder MariaDB laufen selbstverständlich weiter. Neue Datenbanken können mit diesen Systemen allerdings nicht mehr angelegt werden und die Unterstützung wird in einer zukünftigen Version auslaufen. Der Grund: Jede unterstützte Datenbank bedeutet eigene Query-Dialekte, eigene Optimierungen und eigene Testszenarien. Indem wir uns auf zwei bewährte Systeme konzentrieren, können wir Qualität und Performance deutlich besser und effizienter sicherstellen.

Neben dem Datenbankwechsel haben wir in v8.6 zahlreiche bestehende Datenbankabfragen systematisch optimiert. Dabei haben wir erstmals auf KI-gestützte Code-Analyse gesetzt.

Konkret haben wir bekannte langsame Datenbankoperationen gesammelt und diese mithilfe von KI-Tools systematisch auf Optimierungspotenzial untersucht. Die KI analysierte dabei nicht nur einzelne Queries isoliert. Sie betrachtete auch deren Zusammenspiel mit Indizes, Ausführungsplänen und den spezifischen Eigenheiten der jeweiligen Datenbank-Engine.

In einigen Fällen schlug die KI-Umstrukturierungen vor, auf die wir im manuellen Review nicht gekommen wären, etwa das Auflösen verschachtelter Subqueries oder das gezielte Umschreiben von Joins. Parallel dazu haben wir dedizierte Testsysteme mit großen Datenmengen aufgebaut, um jede vorgeschlagene Änderung unter realistischen Bedingungen zu messen.

Eine der häufigsten Operationen in SpaceObServer ist das Filtern von Dateipfaden mit Wildcards, etwa „zeige mir alle Dateien, deren Pfad den Begriff Backup enthält”. Diese Abfrage war in bestimmten Szenarien extrem langsam.

Die Ursache: Für den Case-Insensitive-Vergleich (Groß- und Kleinschreibung ignorieren) wurde jeder Pfad in der Datenbank erst in Großbuchstaben umgewandelt und dann verglichen. Bei Millionen von Datensätzen bedeutete das Millionen von String-Transformationen bei jeder einzelnen Abfrage. Die Datenbank konnte ihre internen Indizes nicht nutzen, weil die Werte erst zur Laufzeit verändert wurden.

Die Lösung war im Nachhinein naheliegend: Statt die Daten manuell zu transformieren, nutzen wir jetzt die native Case-Insensitive-Funktion der jeweiligen Datenbank. SQL-Server und PostgreSQL bringen dafür eigene, hochoptimierte Mechanismen mit (Collations bzw. ILIKE). Das Ergebnis: um den Faktor 10 schneller bei Wildcard-Filtern auf Pfade.

Dieses Muster haben wir an mehreren Stellen gefunden und behoben: eine suboptimale Implementierung, die bei kleinen Datenmengen nicht auffällt, aber bei Millionen von Dateien zum Problem wird.

Die NTFS-Berechtigungsanalyse ist eines der Alleinstellungsmerkmale von SpaceObServer, besonders im Kontext von Compliance-Anforderungen. Wer nachweisen muss, wer auf welche Daten Zugriff hat, kommt an einer automatisierten Berechtigungsauswertung kaum vorbei.

Windows-Berechtigungen sind allerdings komplex. Hinter jeder einzelnen Datei steckt eine vielschichtige Struktur aus Access Control Lists (ACLs) mit Vererbungsregeln, Gruppenberechtigungen und feingranularen Zugriffsrechten. In der Praxis können die Rechte-Metadaten einer Datei das Zehnfache der eigentlichen Datei-Metadaten (Name, Größe, Datum) ausmachen.

Beim Speichern dieser Berechtigungsdaten in der Datenbank setzt SpaceObServer auf Deduplizierung: Identische Rechte-Strukturen werden nur einmal gespeichert und dann referenziert. In v8.6 haben wir festgestellt, dass diese Deduplizierung nicht optimal implementiert war. Das System hat zu viele Rechte-Einträge redundant abgefragt, was sowohl den Speicherbedarf der Datenbank als auch die Scan-Geschwindigkeit negativ beeinflusste. Außerdem haben wir, während eines Scans ein In-Memory-Caching hinzugefügt, mit dem wir schneller feststellen können, ob es eine ACL bereits in der Datenbank gibt.

Nach der Optimierung sind Scans mit aktivierter Berechtigungserfassung deutlich schneller, und die Datenbank wächst bei gleicher Datenmenge weniger stark an. Für Kunden, die SpaceObServer für Compliance-Reporting einsetzen, ist das eine spürbare Verbesserung im Arbeitsalltag. Gerade in Umgebungen, in denen die Kosten unstrukturierter Daten durch unkontrolliertes Wachstum steigen, helfen schnellere Berechtigungsscans dabei, den Überblick zu behalten. Ob regelmäßige Prüfungen der Berechtigungsstrukturen oder die Vorbereitung auf ein Audit: Die optimierte Deduplizierung bei der Speicherung beschleunigt genau diese Szenarien.