s3fs-fuse
s3fs-fuse ist ein FUSE-Dateisystem (File System in Userspace), mit dem du einen Amazon S3-Bucket als lokales Dateisystem einhängen kannst. Es ist in C++ geschrieben und verwendet die libfuse-Bibliothek zur Kommunikation mit dem Linux-Kernel und zur Interaktion mit dem Dateisystem.
s3fs kann verwendet werden, um auf Amazon S3-Buckets auf eine Weise zuzugreifen, die dem Zugriff auf ein lokales Dateisystem ähnlich ist. Sie können die Standard-Linux-Tools wie ls, cp, mv und rm verwenden, um die Dateien in Ihrem S3-Bucket zu verwalten. Mit s3fs kann man auch einen S3-Bucket als schreibgeschütztes Dateisystem einbinden oder einen neuen Bucket erstellen.
s3fs ist für eine Vielzahl von Anwendungsfällen nützlich, darunter Sicherung und Wiederherstellung, Datenanalyse und Medien-Streaming. Es ist besonders nützlich für den Zugriff auf S3-Buckets von Servern oder anderen Umgebungen aus, in denen die AWS SDKs nicht verfügbar sind oder in denen es nicht praktikabel ist, die AWS CLI zu verwenden.
- Linux
- MacOS
- Windows
installation für anweisungen.Installation
Im Falle von Debian / Ubuntu-Systemen führe bitte folgende Aktion durch:
sudo apt install s3fs
Um auf die aktuelle Anleitung zum Mounten eines Buckets mit s3fs-fuse zuzugreifen hier klicken!
Besonderheiten1
- große Teilmenge von POSIX einschließlich Lesen/Schreiben von Dateien, Verzeichnissen, Symlinks, Modus, uid/gid und erweiterten Attributen
- kompatibel mit Amazon S3 und anderen S3-basierten Objektspeichern
- Erlaubt zufälliges Schreiben und Anhängen
- große Dateien über mehrteiligen Upload
- Umbenennung über serverseitige Kopie
- optionale serverseitige Verschlüsselung
- Datenintegrität über MD5-Hashes
- In-Memory-Metadaten-Caching
- Caching von Daten auf der lokalen Festplatte
- Benutzerdefinierte Regionen, einschließlich Amazon GovCloud
- Authentifizierung über v2 oder v4 Signaturen
Einschränkungen1
- Zufällige Schreibvorgänge oder Anhänge an Dateien erfordern das Neuschreiben des gesamten Objekts, was durch mehrteilige Upload-Kopien optimiert wird.
- Metadaten-Operationen wie das Auflisten von Verzeichnissen haben aufgrund von Netzwerklatenz eine schlechte Leistung
- Anbieter, die nicht über AWS verfügen, verfügen möglicherweise über eventuelle Konsistenz, so dass Lesevorgänge vorübergehend veraltete Daten liefern können (AWS bietet seit Dezember 2020 Lese-nach-Schreib-Konsistenz)
- keine atomaren Umbenennungen von Dateien oder Verzeichnissen
- keine Koordination zwischen mehreren Clients, die denselben Bucket mounten
- kein Hard Link
- inotify erkennt nur lokale Änderungen, keine externen Änderungen durch andere Clients oder Tools