Scaling Mastodon: moving media assets to Object Storage - Ricard Torres dev
ricard.dev
⚠️ I have written a follow-up post moving from B2 to Scaleway as Object Storage provider. This post is still valid, the only thing is I'm not longer using

Nach nicht einmal 2 Wochen hab ich die 20GB SSD 80% voll. Die Purge-Scripts, die ich heute ausgeführt und dann in den cron übernommen habe, haben gerade einmal 1GB frei geräumt.

Im Netz finde ich viele Anleitungen, wie ich den Speicher auslagern könnte. Persönlich ist mir die S3 Technologie noch fremd. Doch da würde ich mich schon einlesen. Aber was ist mit dem Datenschutz? Ich hab dann wieder einen Mitspieler mehr …

Generelle Frage: Wie löst ihr dieses Problem mit der Datenmenge? Selfhosted, also Server im Besenkammerl?

@chpietsch@digitalcourage.social @jakob@soc.schuerz.at #Mastoadmin

  • Kromonos
    5•1 year ago

    Man könnte einen Server mieten, der nur so vor Speicher strotzt und da mit z.B. Minio eine S3 kompatible Schnittstelle bereitstellen. Damit wäre das Thema Datenschutz wieder im grünen Bereich.
    Der Server würde nicht viel CPU oder RAM brauchen, nur an Speicher würde ich dann auch nicht sparen.

    • @ilanti@feddit.deOP
      1•1 year ago

      Aktuell läuft meine Instanz auf einem kleinen Hetzner, eine VCPU und ich glaube 2GB RAM. Geht sich locker aus. Sind auch wenig User noch. Es geht also wirklich nur um die “Festplatte”. Warum Minio und nicht gleich Amazon S3? Wegen OpenSource? Minio ist auch ein US-Unternehmen, OSS ist ja für die DSGVO nicht relevant, da geht es eher um die geographische Platzierung der Daten.

      • Kromonos
        5•1 year ago

        Minio, weil man es selbst betreiben kann. Den Serverstandort und wer darauf zugriff hat, würdest dann du bestimmen. Bei Amazon S3 selbst weiß man nie, wer darauf Zugriff hat und da Amazon ein US-Unternehmen ist, ist es an den Patriot-Act gebunden und muss Daten bei Nachfrage an CIA, FBI, … herausgeben.

      • Max Bachhuber
        2•1 year ago

        S3 auf keinen Fall. Da zahlt man massig viel unkontrollierbare Gebühren, da man für Traffic zahlt. (Habe das auf den unschönen Weg gelernt durch eine 80$ Rechnung für 20 Tage 🙈)

        Ich habe meine Files jetzt auf Linode. 5$ im Monat und unbegrenzt Traffic.

        Aber falls die Daten in Zukunft mehr werden, werde ich vielleicht wirklich über nen Minio-Proxy ein Hetzner Cloud Volume mounten.