Nach nicht einmal 2 Wochen hab ich die 20GB SSD 80% voll. Die Purge-Scripts, die ich heute ausgeführt und dann in den cron übernommen habe, haben gerade einmal 1GB frei geräumt.
Im Netz finde ich viele Anleitungen, wie ich den Speicher auslagern könnte. Persönlich ist mir die S3 Technologie noch fremd. Doch da würde ich mich schon einlesen. Aber was ist mit dem Datenschutz? Ich hab dann wieder einen Mitspieler mehr …
Generelle Frage: Wie löst ihr dieses Problem mit der Datenmenge? Selfhosted, also Server im Besenkammerl?
@chpietsch@digitalcourage.social @jakob@soc.schuerz.at #Mastoadmin
Update
Also zu allererst muss ich gestehen nicht lange genug nachgedacht zu haben: Natürlich steigt bei einem neu installierten Server der Festplattenverbrauch anfangs rascher an. Logrotate aber auch die Vorhaltefristen von Mastodon für Medien greifen ja erst nach einigen Tagen – ab dann sollte sich die Auslastung der HD einpendeln. Und so war es dann auch. Nachdem ich die Aufbewahrungsfrist für Inhalte auf 1/3/3 (statt 1/7/7) reduziert hatte, sank die Auslastung auf ~75% (~14GiB) und dort blieb sie auch. Hab jetzt die die Aufbewahrungsfristen wieder auf 1/7/7 erhöht und beobachte die Situation. Sehr nützlich dafür ist wie immer ein Monitoring. Hab das erstmals mit mit Nagios sondern mit Telegraf/Influxdb/Grafana realisiert. Vor allem auch in Hinblick auf die Möglichkeit Alerts zu setzen, die mich rechtzeitig warnen.
Hier sehen wir an den Sägezähnchen, dass zwei mal in der Nacht irgendwas gelöscht wird: Einmal kurz vor Mitternacht und ein zweites mal früh morgens. Ich tippe auf logfiles und Mastodon-Inhalte. Danke @Tealk@lemmy.rollenspiel.monster du hast mich auf die richtige Spur gebracht.
Mit Grafana bin ich auch gerade am Einarbeiten, wollte ich eig. schon lange mal anfangen und habs immer wieder vor mich hergeschoben
Bei läuft der inzwischen und ich hab den Mastodon und den PeerTube Server damit unter Kontrolle. Hab schon überlegt, ob eine gemeinsame Nutzung des influxDB/Grafana-Hosts nicht sinnvoll wäre. Ausgelastet ist der noch lange nicht und auf den überwachten Geräten muss dann nur telegraf installiert werden. Das ist der einfachste Teil von allem. Also ich würde mich um den eh schon laufenden Server kümmern und freu mich, wenn sich andere mit der Grafana-Oberfläche beschäftigen. Dzt. hänge ich beim Erstellen von Alerts …
Gester hab ich schon nen Server aufgesetzt und soweit alles installiert, jetzt muss ich rausfinden wie ich die Daten von a nach b bekomme also von den Linux Maschinen sowie von Mastodon und co
Und noch ein Update: Journald hat als default eingestellt, dass mindestens 15% der Dateisystemgröße frei bleiben müssen. Ist das nicht mehr der Fall, werden ältere Logs (Journale) gelöscht. Das wusste ich auch nicht und bin davon ausgegangen, dass Logs “wie früher” zeitabhängig wegrotiert werden. Also wenn der Platzverbrauch rasch auf bis zu 85% ansteigt, ist das relativ normal.
Quelle: https://www.freedesktop.org/software/systemd/man/journald.conf.html
Die Schwellwerte im Monitoring sind daher bei 86% für WARNING und 95% für CRITICAL zu setzen – imho.
Aktuell schaut der Graph so aus:
Am 1.1. hab ich die Behaltefristen im Mastodon wieder auf 1/7/7 gestellt und auch gleich die Volltextsuche installiert. Am 5.1. dann einmal die Journale aufgeräumt (
journalctl --vacuum-size=...) um mich ohne Stress der genaueren Analyse zu widmen. Geändert hab ich an der journald-Konfiguration nur, dass die Behaltefrist auf 90 Tage beschränkt wird – wie es in der DSE steht. Für die größenanhängigen Parameter scheinen mir die defaults zu passen.