Hier möchte ich mal einen kleinen Abriss darstellen, es ist schon eine Weile her, als ich das geschrieben habe.  Sollte größtenteils noch passen

Dazu gibt es noch eine Präsi von mir

https://prezi.com/ummt89e6r7jo/linux-unix-dateisysteme/

1. Dateisysteme Allgemein
Linux / Unix Dateisysteme gibt es wie Sand am Meer, es sind über 20 Stück in der Wiki eingetragen, viele davon sind alte Dateisysteme, der Kernel unterstützt diese weiterhin.

Die wichtigsten Dateisysteme unter Linux sind
EXT davon gibt es Version 2, 3, 4
ReiserFS
XFS
Btrfs
VMFS

Unter Unix folgende
VxFS (Veritas File System) HP-UX
UFS (Unix File System)
ZFS (Zettabyte File System)

Unter Linux kann auf FAT Dateisystem lesend und schreibend zugegriffen werden. NTFS Dateisysteme können mit dem Treiber NTFS-3G Zugriff gewährt werden.

Ganz hoch im Kurs steht zurzeit das Dateisystem btrfs. ZFS

2. Dateisysteme im Detail
1. EXT2 Second extended file system
a. Stammt Ursprünglich von Minix ab
b. Januar 1993 veröffentlicht
c. Wird nicht mehr als Standard verwendet
d. Kein Journaling Dateisystem, bei harten ausschalten, langes prüfen notwendig

2. EXT3 third extended filesystem
a. Nur eine Erweiterung von EXT2
b. Journal, Online-Veränderung der Dateisystemgröße
c. 2001 Linux 2.4
d. Standard bei fast allen großen Linux Distris

3. EXT4 fourth extended filesystem
a. 2008
b. Online Defragmentierung
c. TRIM => SSD Support
d. „Extents“ Performance bei großen Dateien, weniger Fragmentierung, da alles in einem Block geschrieben wird
e. Abwärtskompatibel
f. Prüfsummenunterstützung
g. Ext3 Partitionen können als EXT4 gemountet werden und hat so einige Vorteile schon vor ab, ohne neu formatieren zu müssen

4. ReiserFS
a. 2001 2.4
b. Erstes Journaling Filesystem für Linux
c. BSD/Unix nur experimentelle Unterstützung
d. Keine Weiterentwicklung mehr Hans Reiser, sitzt wegen Mordes an seiner Frau Lebenslang.

5. XFS
a. 1994 SGI für Unix Derivate
b. 2001 vollen Linux Support
c. Sehr ausgereiftes Journaling Dateisystem
d. Linux mit ARM ohne XFS Dateisystem, Probleme beim schnellen lesen und schreiben
e. Verzögerte Belegung, Vorteil weniger Fragmentierung, erhöhter Da-tenverlust bei Stromausfall
f. Defragmentierung im Betrieb
g. Anpassung Dateisystem im Betrieb
h. Snapshots
i. Verschlüsselung
Keine verkleinerung der Partition möglich
Copy on Write hinzugekommen

 

6. VMFS VMware File System
a. 2000
b. Nur unter ESX richtig nutzbar
c. 130690 Dateien werden pro Volume unterstützt
d. Open Source Treiber für lesen Verfügbar
e. 2 TB pro Lun V3, V5 64 TB
f. 2 TB pro Datei nur möglich

EXT3 / 4 Dateisystem

Hierzu gibt es einen sehr guten Artikel unter
http://www.heise.de/open/artikel/Das-Dateisystem-Ext3-tunen-221480.html
https://ext4.wiki.kernel.org/index.php/Ext4_Howto
https://ext4.wiki.kernel.org/index.php/Ext4_Disk_Layout
http://kernelnewbies.org/Ext4
http://linux.die.net/man/5/mke2fs.conf
http://www.phoronix.com/scan.php?page=article&item=ext4_btrfs_nilfs2&num=1

Das wichtigste in kürze, EXT2 und EXT3 sind vollständig Kompatibel miteinander. Es ist möglich EXT3 als EXT2 mounten oder EXT2 nachträglich mit einem Journal versehen. EXT3 ist sehr lange erprobt und gilt als sehr bewährtes Dateisystem.
Im obigen Artikel stehen sehr viele Tuning Hinweise. Ext2 kann man sogar bis zur Version 4 hoch stufen. Was nicht geht ist von EXT4 wieder zu 3 oder kleiner zurück zu migrieren.
Zur Konfiguration könnt ihr mit dem Befehl mke2fs und /etc/mke2fs.conf Einfluss nehmen welche Werte immer genommen werden ohne sie jedes Mal explizit angeben zu müssen. Beim Anlegen von neuen EXT3/4 Partitionen.
Wie mounte ich ein EXT3 Dateisystem mit EXT4 ohne zu zu formatieren.
“mount -t ext4 /dev/yourpartition /mnt”. Ein Kernel der EXT4 fähig ist, sollte vorhanden sein. EXT3 Fragmentiert sehr stark bei kleinen Dateien, zwar wird man gesteinigt wenn man nachfrägt in Foren ob es eine Möglichkeit gibt zu defragmentieren. Hier gibt es kein Tool direkt von den EXT3 Machern. Da es damals nicht notwendig schien. Bei EXT4 ist dies möglich im laufenden Betrieb. Gerade für einen Mailserver der sehr viele kleine Dateien bereithält, sollte ein anderes Dateisystem in Betracht gezogen werden. Wo Online Defragmentierung möglich ist.
Btrfs B-tree FS
Wird von Oracle entwickelt. Btrfs zeigt einige große Gemeinsamkeiten zu ZFS auf. Es ist geplant ext3/ect4 damit ab zu lösen. Btrfs ist ein Copy-On-Write Dateisystem. Dateien werden erst mal auf einen freien Speicherbereich geschrieben, danach werden Verweise auf den Block aktualisiert. Bei btrfs gibt es keine Lizenz Probleme wie unter ZFS. B-Baum Struktur wird weiterhin verwendet und ist somit sehr stark verwandt mit ReiserFS, es wurden einige ReiserFS Entwickler von Oracle angestellt um btrfs zu entwickeln. Es gibt immer wieder Verzögerungen die Unterschiedliche Ursachen haben. Seit Kernel 2.6.31 gibt es Support für btrfs im Linux Kernel. Fedora bekannt für frühzeitiges einsetzen neuer Technologien, wird auch in der kommenden Fedora 18 Version nicht als Standard Dateisystem einsetzen. Btrfs kämpft wohl mit einer Design schwäche bei freien Speicherplatz, was immer wieder für Probleme sorgt. Bis wann eine Stabile Version 1.0 kommen wird, kann bis jetzt noch keiner sagen. Hier mal ein paar Features des neuen Dateisystems
• Snapshot
• Mehrere Wurzelverzeichnisse
• Integriertes RAID 0,1 und 10
• Prüfsummen
• Datenkompression
• Dateisystemüberprüfung im Betrieb
• Defragmentierung im Betrieb
• Copy on Write
• Konvertierung von ext3/ext4 Dateisystemen
• TRIM => SSD Support experimentell
Nicht für den Produktiveinsatz
Unix Datei Systeme
Unter Unix gibt es je nach eingesetzten Unix sein eigenes Dateisystem, jeweils vom Hersteller auf die entsprechenden Anforderungen angepasst. Viele Unix Dateisysteme sind nicht Quelloffen sondern stehen unter eigener Lizenz.

1. VxFS Veritas File System (HP-UX, fast alle Unix arten werden unterstützt)
a. 1991
b. Erstes kommerzielles Journaling Dateisystem
c. Online Defragmentierung per Lizenz
d. Anpassung Dateisystem per Lizenz
e. Geplant transparente Komprimierung / Verschlüsselung

2. UFS (Unix File System)
a. 1980
b. Journaling Version 7 ca. 2003
c. Snapshot
d. Weit verbreitet unter BSD Varianten
e. Ext2 ist ein Fork von UFS

 
3. ZFS (Zettabyte File System)
ZFS wurde von Sun Microsystem entwickelt für den Rechenzentrumsbereich. ZFS ist ein 128 Bit Copy on Write Dateisystem. Es ist kein LVM Manager erforderlich. ZFS wurde im Jahr 2006 veröffentlich und ist anderen Dateisystemen Jahre voraus.
ZFS läßt sich extrem leicht administrieren. ZFS benutzt den freien Hauptspeicher des Betriebssystems um Caching Aufgaben zu erledigen. Des Weiteren kann eine SSD für Caching Aufgaben verwendet werden. Dazu wird die SSD eingebaut und mit zwei kurzen Befehlen, weiß ZFS, es ist eine Caching SSD. Der Rest übernimmt das Dateisystem welche Daten darauf gecachet werden. ZFS arbeitet mit Pools, innerhalb eines Pools gibt es beliebige logische Partitionen mit einem Dateisystem welches dynamisch wachsen kann so lange der Pool genügend Platz zur Verfügung stellt.
ZFS bietet ein integriertes RAID an. Unter ZFS wird es RAID-Z genannt. Es wird zwischen belegten und freien Speicherplatzt unterschieden, nur der belegte Platz wird gespiegelt.
Bei einem Ausfall, ist eine schnellere Rekonstruktion möglich. RAD-Z1 ist RAID 5, RAIDZ-2 ist RAID6. Parallelen Zugriff RAID 0 macht ZFS automatisch.
Eine Besonderheit bei ZFS ist Copy on Write erstellten Snapshots. Damit ist es möglich, sofort den Zustand ein zufrieren und diesen Snapshot zum lesen mounten oder zu archi-vieren. ZFS Clone ist eine beschreibbare Snapshot Variante.
Es ist aber auch möglich eine Partition (Snapshot) ohne Probleme in ein ISCSI Target um zu wandeln.
Für Linux selber gibt es aus Lizenz gründen, nur eine Implementierung im User Space. ZFS on Fuse. Es gibt Debian mit einem FreeBSD Kernel dort kann ZFS als Standard Dateisystem gewählt werden. Es gibt auch verschiedene Forks von Open Solaris in denen es möglich ist ZFS zu verwenden. ZFS kann an den Standardmäßig verwendeten Prüfsummen von alleine feststellen ob die Daten noch konsistent sind, sollte dies nicht der Fall sein, so wird aus einem Snapshot eine gleiche Version hergestellt. Dies passiert ohne Eingriff vom Admin. Es wird dann im Log File vermerkt. Das Thema Datenkorruption steht hier ganz vorne. ZFS garantiert, das ein erfolgreich ausgelieferter Block exakt so geliefert wird, wie vor x Jahren gespeichert wurde.
ZFS beherrscht von Hause aus Deduplizierung, auf verschiedenen RAID Level. ZFS ist auf große Datenmengen ausgelegt und braucht daher schnelle Prozessoren und viel Arbeitsspeicher. ZFS sollte nicht unter 8 GB RAM verwendet werden, was vor 4 Jahren noch viel RAM war, ist heute für keine 100 Euro im Serverbereich zu haben.
File Server mit ZFS haben so ca. 200 GB Arbeitsspeicher zur Verfügung. Wer ZFS gerne im Privaten Umfeld nutzen möchte kann dies tun mit Freenas 8.x. Open India bietet sich hier auch an, ein Fork von Open Solaris.
• 2006
• Schnapshot
• Integriertes RAID 0,1 und 10
• End-To-End-Checksummen
• Transparente Datenkompression
• Transparente Verschlüsselung
• Dateisystemüberprüfung im Betrieb
• Defragmentierung im Betrieb
• Copy on Write
• SSD Support
• ISCI Target
• NFS

 

3. Empfehlung / Zukunft Dateisysteme

Eine Grundsätzliche Empfehlung kann so nicht gegeben werden, dies kommt immer auf den geplanten Einsatz an. Als Beispiel man installiert OpenSolaris mit ZFS in eine VM die unter VMWARE läuft, dies bringt einem keine Vorteile. Folgender Software Salat wird dabei zustande kommen.
Netapp stellt die Daten zur Verfügung, durch eine Schicht des Betriebssystems von Netapp. Danach wird der Plattenplatz mit VMWARE VMFS angelegt und nun lege ich auch noch ZFS als Dateisystem darüber. Das dies nicht ideal ist sollte jedem klar sein.
Bei Linux wird es wohl auf ext4 hinaus laufen, da brtfs noch immer nicht Final ist.
Um btrfs richtig nutzen konnte, mußte ich einen Kernel 3.8 einbacken, der 3.2 hat zu sehr gezickt.
Auch sind noch wenige Erfahrungen mit btrfs im produktiven Einsatz vorhanden.
In der Unix Umgebung kommt es ganz auf die Hersteller der Betriebssysteme an, wie hier Support geboten wird. Die Unix Dateisysteme keine Wünsche offen lassen, hier wurde schon viel Früher auf Skalierbarkeit und Wartung gelegt.