RAID1 mit Netzwerk-Festplatte

[MrToiz]

Hallo!

Nachdem ich gestern in einer Schrecksekunde dachte, die Festplatte meines Debian-Homeservers hätte sich verabschiedet, hab ich angefangen mir nochmal genauer Gedanken über meine Backup-Strategie zu machen.

Meine Idee ist jetzt, neben den wöchentlichen Backups auf eine (interne) Zweit-Festplatte, eine NDAS-Platte anzuschaffen.
Während der Server selbst im Keller steht, könnte ich diese im 2. OG unterbringen, um so auch eine räumliche Trennung zu haben.

Bleibt nurnoch die Frage, wie die Daten auf die Platte kommen sollen.
Als erstes fiel mir da natürlich RAID1 ein, was auch wie gewünscht Lösch-Aktionen überträgt (gegen versehentliches Löschen hab ich ja die wöchentlichen Backups). An einer VM hab ich gerade mal nach diesem How-To getestet, wie sich das im laufenden Betrieb einrichten lässt, hat soweit auch geklappt.
Allerdings bleibt die Frage: Wird der NDAS-Treiber früh genug geladen, um die Netzwerkplatte in das Array aufzunehmen?

Die Alternative wäre ja, täglich/stündlich/... per rsync die Daten abzugleichen. Hab ein bisschen die Man-Page studiert, damit müsste sich auch umsetzen lassen, dass Lösch-Operationen übernommen werden, oder? Und wie sieht es da mit der Performance aus? Wie viel Traffic verursacht allein der Abgleich von ca. 100GB Daten?

Fragen über Fragen, ich würde mich über eure Antworten freuen! Und wer eine andere Backup-Strategie vorzuschalgen hat, möge bitte auch nicht zögern!

Gruß,
MrToiz

[papslf58]

Hallo


Könntest du nochmals genau Beschreiben, wie die hardwarekonstellation aussieht. Wo wieviele Platten drin sind, wo das raid1 ist.

Als erstes fiel mir da natürlich RAID1 ein, was auch wie gewünscht Lösch-Aktionen überträgt

warum nimmst du NDAS ?

Wie nciht im Server raid1 oder eine 2.HDD mit einem cronjob via rsync, oder ein LVm-snapshot, oder xfsdump

und zusätzlich für wöchentlich backups eine externe USB/Firerwire.Platte

[MrToiz]

Hallo!
Vielen Dank erstmal für deine Antwort, ich versuche mal die offenen Fragen zu klären!

Also folgende Hardware-Konfiguration:
Server (im Keller):

• 1x500GB IDE System- und Datenplatte (10GB ext3 als /, 470GB ext3 als /storage, wo die home-Verzeichnisse, Mails, Fotos und Musik drauf sind)
• 1x60GB IDE Backup-Platte (alte Systemplatte, darum geht die theoretisch als erstes kaputt), ext3 als /backup. Wegen der begrenzten Kapazität werden nur Dokumente, Mails und das /etc-Verzeichnis mit Scripts wie diesem hier darauf gesichert. Das passiert jede Nacht, wobei zusätzlich zum aktuellen Backup jeweils noch ein altes aufgehoben wird.
• GBit LAN (wobei ich für's NAS evtl. eine dedizierte Karte einbauen würde)

PC (im Erdgeschoss):

• 1x500GB System- und Datenplatte, wo ich mittels PureSync sämtliche Fotos und Musik versuche, synchron zu halten. Außerdem ziehe ich etwa einmal im Monat manuell ein Backup der Dokumente vom Server.
• Ebenfalls GBit LAN

Das RAID1 existiert noch nicht. Meine Idee war, die (ebenfalls noch nicht existierende) 1TB große NDAS-Platte (Standort wäre im 3. OG) am Server einzubinden und per Software-RAID beide Partitionen der Festplatte zu spiegeln. Der restliche Speicherplatz wird zur Aufbewahrung alter Backups verwendet.
Vorteil: RAID schützt in Echtzeit vorm Plattencrash, durch die räumliche Trennung könnte auch ein Brand o.ä. nicht allzu leicht alle Daten vernichten.
Nachteil: Diese Platte müsste ständig laufen (Stromverbrauch+erhötes Ausfallrisiko=). Außerdem wahrscheinlich Einbußen bei Schreibzugriffen, da das System ja auf die Platte warten müsste.

Gegen den Einbau einer zweiten Festplatte in den Server selbst spricht, dass im Falle eines Brandes o.ä. die Daten trotzdem futsch wären. Ich bräuchte also trotzdem noch eine externe Festplatte, und beides auf einmal ist mir dann doch zu teuer und unökologisch.

Die bisher bevorzugte Möglichkeit wäre also die räumlich getrennte NDAS-Platte mittels rsync zu befüllen:
Vorteil: räumliche Trennung, Platte kann zwischendurch abschalten
Nachteil: Kein Echtzeit-Schutz (verkraftbar), Traffic immer stoßweise

Letzteres ist ja auch das Problem, wenn ich die Daten-Backups auf den PC überspiele. Das sind dann mal eben 50GB auf einen Schlag, und das dauert auch mit GBit-LAN ne Weile. Darum die Frage, wie viel Traffic rsync verursacht, wenn sich nichts geändert hat (das Fotoarchiv z.B. ist ja doch relativ statisch ).

Von LVM-Snapshots und xfsdump habe ich bisher noch nichts gehört, werde mich die Tage mal schlaumachen...

[papslf58]

Hallo

Das RAID1 existiert noch nicht. Meine Idee war, die (ebenfalls noch nicht existierende) 1TB große NDAS-Platte (Standort wäre im 3. OG) am Server einzubinden und per Software-RAID beide Partitionen der Festplatte zu spiegeln.

da bin ich skeptisch, ob das geht. SW-raid geht ja nur, wenn du Blockdevices hast, Netzlaufwerke (via nfs, samba) geht z.B.nicht, deshalb geht wohl ein NDAS auch nicht.

Ich würde
1. jfs als dateisystem wählen (für den server im Keller), xfs ist auch sehr gut, nur bei Stromausfällen kann es zu Problem beim Journal von xfs kommen, dafür hat xfs aber xfsdump (ist in etwa mit snapshots von LVM zu vergleichen).

2. Wenn du Platz hast, wöchentliche backups und sonst 7x inkrementelle backups

3. wie du das machst ist egal, cp, dar, rsync, star, amanda, backuppc , da gibts auf filebasis jede Menge Lösungen.

4. traffic bekommst du auf jeden Fall, egal welche Lösung, deshalb die backups dann, wenn im Netz nichts mehr läuft, also abend, oder nachts.

[MrToiz]

Zitat von papslf58

da bin ich skeptisch, ob das geht. SW-raid geht ja nur, wenn du Blockdevices hast, Netzlaufwerke (via nfs, samba) geht z.B.nicht, deshalb geht wohl ein NDAS auch nicht.

Das ist der Unterschied zwischen NAS und NDAS!
Die Kiste stellt nicht einen SMB- oder NFS-Server zur Verfügung, sondern wird per Treiber direkt ins System eingebunden und steht dann z.B. als /dev/nda zur Verfügung (siehe Anleitung des Herstellers). Darum sind die Dinger auch so viel schneller als normale NAS-Systeme

Zitat von papslf58

1. jfs als dateisystem wählen (für den server im Keller), xfs ist auch sehr gut, nur bei Stromausfällen kann es zu Problem beim Journal von xfs kommen, dafür hat xfs aber xfsdump (ist in etwa mit snapshots von LVM zu vergleichen).

JFS fällt (soweit ich das auf den ersten Blick sehe) aus, da ich auf die Mount-Option user_xattr angewiesen bin.
Inwiefern kann es denn zu Problemen kommen, wenn ich im laufenden Betrieb per rsync die komplette Festplatte sichern will?
Habe nämlich wenig Lust, das Dateisystem zu ändern (geht das überhaupt so einfach?) oder die Partitionen in ein LVM zu verschieben (wobei letzteres durchaus interessant klingt!).

Zitat von papslf58

2. Wenn du Platz hast, wöchentliche backups und sonst 7x inkrementelle backups

Spricht etwas dagegen, ähnlich meiner derzeitigen "Lösung", statt inkrementelle Backups immer das Backup per rsync aktuell zu halten?

Zitat von papslf58

4. traffic bekommst du auf jeden Fall, egal welche Lösung, deshalb die backups dann, wenn im Netz nichts mehr läuft, also abend, oder nachts.

Das ist klar, aber ein tägliches Voll-Backup z.B. wäre ja trotzdem reine Ressourcen-Verschwendung!
Das wäre ja der Vorteil des RAID1 oder von inkrementellen-xfsdump-Backups: Der Server weiß was auf der Backup-Platte drauf ist und muss nicht (wie PureSync es tut und rsync wahrscheinlich auch) erst einmal alle Verzeichnisse lesen nur um festzustellen, dass sich nichts geändert hat!

Zum LVM hab ich noch ein paar Fragen:
1. Kann ich alle Daten dort draufschieben oder muss z.B. /boot auf jeden Fall eine "echte" Partion sein?
2. Angenommen ich habe eine VG, die sich über zwei PVs streckt. Könnte ich dann für ein LV festlegen, dass es nur auf einem PV sein soll? Oder ist beim Ausfall eines PV immer gleich die komplette VG im Eimer?

Gruß,
MrToiz

[papslf58]

Hallo

Inwiefern kann es denn zu Problemen kommen, wenn ich im laufenden Betrieb per rsync die komplette Festplatte sichern will?

Es kommt darauf an, welche Dienste laufen.
Wenn du im laufenden betrieb einen datenbankserver, Mailserver sicherts, bekommst du in aller Regel eine inkostente Datenbank, bzw. die Mailkonten sind durcheinander.
Hast du nur "njormale " Dateiuen, wie txt, mp3,wav, mpeg, jpr, etc. auf die nicht zugegriffen wird, gibts im laufenden Betrieb keine Probleme.

Habe nämlich wenig Lust, das Dateisystem zu ändern (geht das überhaupt so einfach?)

Daten sichern, Formatieren mit dem FS deienr wahl,m zurückopieren und dann noch fstab anpassen.

Spricht etwas dagegen, ähnlich meiner derzeitigen "Lösung", statt inkrementelle Backups immer das Backup per rsync aktuell zu halten?

rsync kann z.B. auch nur die veränderte dateien kopieren, also erst ein Vollbackup, dann dann nur die geänderten Dateien (avber das ist ja ein inkrementelles backup).

Zum LVM hab ich noch ein paar Fragen:
1. Kann ich alle Daten dort draufschieben oder muss z.B. /boot auf jeden Fall eine "echte" Partion sein?

Wenn ich das richtig sehe, mußt du eien separate /boot haben, ansonsten kann grub nicht booten, sprich grub kann nicht von lvm oder raid booten.

2. Angenommen ich habe eine VG, die sich über zwei PVs streckt. Könnte ich dann für ein LV festlegen, dass es nur auf einem PV sein soll? Oder ist beim Ausfall eines PV immer gleich die komplette VG im Eimer?

nein, ein LV geht nur einem VG. Das VG ist quasi sowas wie ein raid0 mir mhereren Partitonen, Festplatten. Das LV kann man nur im VG definieren. Ist von deinem PV aus z.B. 2 Platten, Partiotoinen eine im Eimer, ist das komplette VG hin, du kommst nicht mehr an die Daten.
Deshalb auch hier backups, wie beim Raid.
Raid und LVM sind keine backuplösungen, nur Lösungen um a. schnell weiterarbeiten zu können (Raid), oder b. um plexibel auf dei Plaatznforderungen der Dienste (Server, logs, etc) reagieren zu können. (LVM).

[MrToiz]

Zitat von papslf58

Es kommt darauf an, welche Dienste laufen.
Wenn du im laufenden betrieb einen datenbankserver, Mailserver sicherts, bekommst du in aller Regel eine inkostente Datenbank, bzw. die Mailkonten sind durcheinander.

Genau das hab ich vor
Kämen xfsdump bzw. ein LVM-Snapshot denn mit diesen Bedingungen klar?
Wobei ich dazusagen muss, dass ein paar verlorene Mails oder DB-Einträge (die zur üblichen Backup-Zeit eh nur selten vorgenommen werden) durchaus verkraftbar sind - sonst hätte ich ja schon lange ein RAID und zahlreiche Backups Nur wenn die gesamte MySQL-DB bzw. die gerade verwendete Tabelle weg wär, das wär ärgerlich!
Der Mailserver (Exim) arbeitet mit Maildir's, da sollte ja nicht allzu viel passieren können.

Zitat von papslf58

Daten sichern, Formatieren mit dem FS deienr wahl,m zurückopieren und dann noch fstab anpassen.

Das hab ich befürchtet...

Zitat von papslf58

rsync kann z.B. auch nur die veränderte dateien kopieren, also erst ein Vollbackup, dann dann nur die geänderten Dateien (avber das ist ja ein inkrementelles backup).

Jein...ich verstehe inkrementelle Backups so, dass auf dem Backup-Medium nichts überschrieben wird. Sprich wenn ich eine Datei täglich änder, ist sie auch täglich beim inkrementellen Backup dabei und ich kann jede einzelne dieser Versionen wieder herstellen. Bei der rsync-Variante wird auch das Backup überschrieben, sobald die Datei auf dem Server geändert wird.

Zitat von papslf58

Raid und LVM sind keine backuplösungen, nur Lösungen um a. schnell weiterarbeiten zu können (Raid), oder b. um plexibel auf dei Plaatznforderungen der Dienste (Server, logs, etc) reagieren zu können. (LVM).

Schon klar, mir ging es nur darum, dass ich sowohl meine Root- als auch die Daten-Partition in eine VG packen wollte, um den vorhandenen Plattenplatz flexibel verteilen zu können. Allerdings will ich nicht, dass für den Fall, ich habe irgendwann mal eine 2. Platte zur Erweiterung drin, die Root-Partition der damit verbundenen Gefahr ausgesetzt ist.

[papslf58]

Hallo

Kämen xfsdump bzw. ein LVM-Snapshot denn mit diesen Bedingungen klar?
Wobei ich dazusagen muss, dass ein paar verlorene Mails oder DB-Einträge (die zur üblichen Backup-Zeit eh nur selten vorgenommen werden) durchaus verkraftbar sind - sonst hätte ich ja schon lange ein RAID und zahlreiche Backups Nur wenn die gesamte MySQL-DB bzw. die gerade verwendete Tabelle weg wär, das wär ärgerlich!
Der Mailserver (Exim) arbeitet mit Maildir's, da sollte ja nicht allzu viel passieren können.

mit xfsdump oder lvmsnapshots kenne ich mich nicht aus. Aber wenn du Datenbankserver und mailserver sichern willst, würde ich diese Dienste vor der Sicherung stoppen, oder zu einem Zeitpunkt sichern, wenn absolut siocher ist, daß kein Client darauf zugreiff hat (also Spätabends, nachts).


Hallo. ich würde die /boot absolut getrennt habn, von LVm und Raid, oder encrypted. Also eine seprate /bbot von max.200MB mit ext2, den anderen Platz kannst du aufteilen, oder per LVM nutzen wie du willst. Damit gehst du auf jeden fall Bootproblemen aus dem Weg uid bist immer flexibel, wenn du später an der Aufteilung etwas ändern willst.

Bezüglich des Traffic, würde ich mir nciht allzu große Hoffnungen machen. Auch mit einem Sambaserver, NFS kommst du im GB-LAN auf max. 60MB/s, mehr wirst du auch nicht bekommen, trotz NDAS.