Bei der Sicherung grosser Datenmengen mit Veeam stösst man oft auf die effiziente und kostensparende Lösung eines S3 Object Storage, doch birgt dessen Einrichtung und Nutzung auch Herausforderungen. Die Wahl der richtigen Blocksize und der Umgang mit der hohen Anzahl von Requests können entscheidend sein, um Leistungsprobleme zu vermeiden und die Effizienz der Datensicherung zu maximieren.
Im Zusammenhang mit unserem Object Store begegnen wir immer wieder mal der Backuplösung von Veeam. Hier eignet sich ein S3 Object Storage bestens zur kostengünstigen Auslagerung von vielen Backupdaten. Auch die Einrichtung ist mit der Angabe von «Endpoint», «Access Key» und «Private Key» relativ simpel – aber hier schlummert auch schon ein Stolperstein, welcher schon die grössten S3-Anbieter in die Knie gezwungen hat.
Standard Blocksize von Veeam
Standardmässig nutzt Veeam bei der Auslagerung eine «Blocksize» von 512 KB für Archivdaten, bzw. 1024 KB für Backupdaten. Mit diesem Wert wird definiert, wie gross die einzelnen Daten gestückelt als Objekte auf den Object Storage geladen werden. Eine kleinere Stückelung kann bei kleinen Quelldaten helfen, eine höhere Kompressionsrate zu generieren und somit Speicherkosten zu sparen.
Die vielen kleinen Objekte, welche je nach Backupgrösse schnell in die Millionenzahlen gehen können, werden nach dem Upload auf den Object Storage von Veeam bewirtschaftet. Durch die Natur von Backups und deren Ablaufdaten, werden nicht mehr benötigte Objekte entfernt, während fortlaufend neue Objekte hochgeladen werden. Dies führt zu tausenden GET, PUT und DELETE-Requests.
Vor allem Löschvorgänge sind auf Object-Storage Umgebungen sehr ressourcenintensiv und so kann es auf grösseren Umgebungen vorkommen, dass die Datenbanken hinter dem Object Storage nicht mehr genug schnell mit den Aufräumjobs nachkommen und so die Tabellen immer voller werden.
Limitationen zur Regulierung
Um zu verhindern, dass die Sicherung von Veeam-Umgebungen den Object Storage beeinträchtigen kann, haben Hersteller verschiedene Tools oder Einschränkungen implementiert. Amazon S3 hat beispielsweise ein Limit von 3,500 PUT/COPY/POST/DELETE oder 5,500 GET/HEAD Requests pro Sekunde eingeführt.
Best Practice für Netstream Object Storage
Die Object Storage-Lösung von Netstream setzt auf der fortschrittlichen Cloudian-Software auf. In der aktuellsten Version, die bei uns zum Einsatz kommt, wurde ein innovatives Protokoll eingeführt, das eine dynamische Abstimmung von Anfragen und Blockgrössen zwischen dem Storage und der Backup-Software ermöglicht. Dadurch wird die Gesamtleistung durch automatisierte Abstimmungsprozesse verbessert. Allerdings ist diese Funktion noch nicht mit allen Client-Systemen kompatibel, was die manuelle Konfiguration der Einstellungen zu einer sinnvollen Massnahme macht, um optimale Ergebnisse zu erzielen.
Mehr Informationen zur Konfiguration finden Sie in unserer Knowledgebase.
Recommendation
Grundsätzlich ist es weiterhin laut Guideline empfohlen, dass die Blocksize von Veeam nicht den Wert von 1 MB unterschreitet, da dies sonst zu Performanceproblemen führen kann. Es wird daher eine minimale Blocksize von 4MB empfohlen.
Kurz zusammengefasst sind folgende Einstellungen wichtig:
- Backup Job – Storage Optimization Settings sollten auf “4 MB” oder “8MB” gesetzt sein (Zweiteres lässt sich via Registry Key aktivieren)
- Immutability Retention Period sollte < oder = der Backup Retention Period sein
- S3 Repository Task Limit: 4 oder 8
- SOBR Konfiguration: Für jede 100 VMs oder 200TB Daten sollte ein neues Bucket angelegt werden
