📊 Monitoring & logging

Een stabiele Minecraft-infrastructuur begint niet alleen met een goede configuratie, maar ook met zichtbaarheid.

Tulpencraft gebruikt daarom Zabbix als centraal platform voor infrastructuurmonitoring.

Zabbix wordt gebruikt om de technische infrastructuur te bewaken en problemen zo vroeg mogelijk te signaleren.

Zabbix is het centrale monitoringplatform binnen de infrastructuur.

De monitoring richt zich voornamelijk op:

• 🖥️ servers en VM's;
• ⚙️ CPU-belasting;
• 🧠 RAM-gebruik;
• 💾 storagegebruik;
• 📀 filesystemgebruik;
• 🌐 netwerkinterfaces;
• 📈 netwerkverkeer;
• 🔌 beschikbaarheid van systemen;
• 🧩 systeemdiensten;
• 🗄️ databases;
• 🌍 webservices;
• 🚨 storingen en afwijkingen.

Zabbix bestaat uit verschillende componenten, waaronder een centrale server, database, webinterface en agents. De Zabbix Server vormt het centrale punt voor verzamelde monitoringgegevens.

De monitoring staat los van de Minecraft-functionaliteit zelf.

Conceptueel:

                    📊 Zabbix
                       │
             ┌─────────┼─────────┐
             │         │         │
             ▼         ▼         ▼
        🖥️ Proxy    🎮 Survival  🎯 Events
             │         │         │
             └─────────┼─────────┘
                       │
                       ▼
                  📡 Monitoring

Hierdoor kunnen problemen met de onderliggende infrastructuur worden vastgesteld zonder afhankelijk te zijn van de Minecraft-client.

De Tulpencraft-servers draaien op Rocky Linux 10.

Linux-systemen kunnen met de Zabbix Agent worden gemonitord.

Daarmee kunnen onder andere systeemwaarden worden verzameld zoals:

• CPU;
• geheugen;
• swap;
• filesystemgebruik;
• netwerk;
• processen;
• systeemdiensten.

Zabbix levert hiervoor standaard monitoringmogelijkheden en templates.

Storage is een belangrijk onderdeel van de monitoring.

Er wordt onder andere gekeken naar:

• totale opslag;
• gebruikte opslag;
• vrije opslag;
• filesystemgebruik;
• inodegebruik;
• mogelijke groeitrends.

Dit is belangrijk omdat een volledig filesystem uiteindelijk kan leiden tot problemen met Minecraft, databases en systeemdiensten.

Zie ook:

• Storage

Ook CPU- en geheugenbelasting worden gemonitord.

Dit is vooral relevant omdat meerdere VM's op dezelfde fysieke Proxmox-host draaien.

Een probleem kan bijvoorbeeld ontstaan wanneer:

🎮 Minecraft
      │
      ▼
📈 CPU/RAM gebruik
      │
      ▼
⚠️ Resource pressure
      │
      ▼
🐌 Slechtere performance

Monitoring maakt het mogelijk om dergelijke trends te herkennen voordat een systeem daadwerkelijk onbruikbaar wordt.

Netwerkinterfaces en netwerkverkeer kunnen eveneens worden gemonitord.

Hierbij kan worden gekeken naar bijvoorbeeld:

• inkomend verkeer;
• uitgaand verkeer;
• interfacebelasting;
• packet errors;
• beschikbaarheid;
• netwerkcapaciteit.

Zabbix ondersteunt hiervoor zowel agent-gebaseerde monitoring als netwerkmonitoring via onder andere SNMP.

De onderliggende virtualisatieomgeving is een belangrijk onderdeel van de infrastructuur.

De huidige Tulpencraft-omgeving draait op:

Proxmox VE
└── hv002

De fysieke host hv002 wordt gebruikt voor meerdere VM's.

Daarom is monitoring van de onderliggende infrastructuur belangrijk naast monitoring van de individuele VM's.

Waar mogelijk worden daarom zowel:

• fysieke infrastructuur;
• virtualisatie;
• VM's;
• operating systems;
• applicaties;

in de monitoring meegenomen.

Zabbix is in eerste instantie gericht op de infrastructuurlaag.

Minecraft zelf heeft daarnaast eigen logging en monitoringmogelijkheden.

Belangrijke signalen zijn bijvoorbeeld:

• server beschikbaarheid;
• Java-processen;
• CPU-gebruik;
• RAM-gebruik;
• storage;
• serverlogs;
• crashes;
• restartgedrag.

Meer specifieke Minecraft-monitoring kan in de toekomst worden uitgebreid.

Belangrijke Linux-services kunnen worden gecontroleerd.

Bijvoorbeeld:

systemctl status minecraft-lobby

Of:

systemctl status minecraft-survival

Zabbix kan daarnaast systeemdiensten monitoren en afwijkingen signaleren.

Dit maakt het mogelijk om onderscheid te maken tussen:

🖥️ VM bereikbaar
        │
        ├── ✅ Ja
        │
        └── ❌ Nee
 
          én
 
⚙️ Minecraft-service
        │
        ├── ✅ Actief
        │
        └── ❌ Gestopt

Een server kan immers technisch bereikbaar zijn terwijl de Minecraft-service niet draait.

De huidige database draait intern op:

mc-proxy001

Databasebeschikbaarheid en prestaties kunnen onderdeel worden van de monitoring.

Zabbix beschikt hiervoor onder andere over mogelijkheden voor MySQL-monitoring via Zabbix Agent 2.

Hierbij kan bijvoorbeeld worden gekeken naar:

• databasebeschikbaarheid;
• verbindingen;
• queries;
• performance;
• databasegrootte;
• resourcegebruik.

Naast servermonitoring kunnen ook webservices worden gecontroleerd.

Denk bijvoorbeeld aan:

• tulpencraft.nl;
• wiki;
• toekomstige webinterfaces;
• API's;
• andere netwerkdiensten.

Zabbix ondersteunt HTTP- en browsergebaseerde webmonitoring.

Hiermee kan bijvoorbeeld worden gecontroleerd of een website daadwerkelijk bereikbaar is in plaats van alleen te kijken of de onderliggende server reageert.

Monitoring heeft pas echt waarde wanneer problemen ook daadwerkelijk worden gesignaleerd.

Zabbix werkt hiervoor met triggers en problemen.

Voorbeelden:

⚠️ Filesystem bijna vol
⚠️ Hoge CPU-belasting
⚠️ Hoog RAM-gebruik
⚠️ Host niet bereikbaar
⚠️ Service gestopt
⚠️ Database niet bereikbaar
⚠️ Netwerkprobleem
⚠️ Webservice niet bereikbaar

Afhankelijk van de ernst kan een probleem verschillende prioriteiten krijgen.

Niet ieder probleem ontstaat plotseling.

Daarom worden historische monitoringgegevens gebruikt om trends te herkennen.

Bijvoorbeeld:

Storage
 
100 GB ┤
 90 GB ┤                         ╱
 80 GB ┤                     ╱───
 70 GB ┤                 ╱───
 60 GB ┤             ╱───
 50 GB ┤─────────────
       └──────────────────────────
          tijd →

Wanneer blijkt dat een filesystem structureel groeit, kan actie worden ondernomen voordat de beschikbare ruimte daadwerkelijk opraakt.

Naast Zabbix wordt gebruikgemaakt van de normale Linux- en applicatielogging.

Belangrijke logbronnen zijn onder andere:

• journald;
• Minecraft logs;
• pluginlogs;
• Java logs;
• SELinux/audit logs;
• firewall logs;
• database logs.

Voor systemd-services kunnen bijvoorbeeld logs worden bekeken met:

journalctl -u minecraft-lobby

Of:

journalctl -u minecraft-survival

Zie ook:

• systemd
• SELinux

Monitoring en logging vullen elkaar aan.

Zabbix geeft voornamelijk antwoord op:

Wanneer en waar ging iets mis?

Logs helpen vervolgens bij:

Waarom ging het mis?

Bij een incident kan bijvoorbeeld deze volgorde worden gebruikt:

🚨 Zabbix alert
      │
      ▼
📊 Monitoringdata bekijken
      │
      ▼
🕐 Tijdstip bepalen
      │
      ▼
📋 Logs controleren
      │
      ▼
🔍 Oorzaak bepalen
      │
      ▼
🛠️ Probleem oplossen
      │
      ▼
📈 Controleren of systeem hersteld is

Dit maakt monitoring ook belangrijk voor reconstructie van incidenten.

Correcte tijd is belangrijk voor monitoring en incidentanalyse.

Wanneer verschillende systemen verschillende tijden gebruiken, wordt correlatie van gebeurtenissen moeilijker.

Daarom is een consistente tijdsynchronisatie belangrijk.

De technische documentatie hierover staat onder:

• OS-installatie
• Server hardening

Monitoring heeft ook een belangrijke beveiligingsfunctie.

Afwijkingen kunnen bijvoorbeeld wijzen op:

• ongeautoriseerde toegang;
• brute-forcepogingen;
• onverwachte processen;
• ongebruikelijke netwerkbelasting;
• gewijzigde services;
• storageproblemen;
• onverwachte systeemwijzigingen.

Monitoring vervangt geen securitymaatregelen, maar vormt een aanvullende detectielaag.

Zie ook:

• Server hardening
• Firewall
• SELinux

Binnen Tulpencraft wordt monitoring bij voorkeur in meerdere lagen toegepast.

Hierdoor wordt voorkomen dat uitsluitend naar één onderdeel van de infrastructuur wordt gekeken.

Naarmate Tulpencraft groeit kan de monitoring verder worden uitgebreid.

Mogelijke uitbreidingen zijn:

• uitgebreide Minecraft-metrics;
• tick-time monitoring;
• TPS-monitoring;
• JVM-monitoring;
• player-count monitoring;
• netwerkmonitoring;
• database monitoring;
• webmonitoring;
• automatische incidentmeldingen;
• dashboards voor verschillende beheerders;
• monitoring van meerdere Proxmox-nodes.

De monitoringarchitectuur moet daarbij meegroeien met de serverarchitectuur.

Binnen Tulpencraft gelden voor monitoring de volgende uitgangspunten:

1. 📊 Zabbix is het centrale infrastructuurmonitoringplatform.
2. 🖥️ Kritieke infrastructuur wordt gemonitord.
3. 🚨 Belangrijke problemen moeten als alert zichtbaar worden.
4. 📈 Historische data wordt gebruikt voor trendanalyse.
5. 📋 Monitoring en logging vullen elkaar aan.
6. 🕐 Tijdstempels moeten onderling betrouwbaar zijn.
7. 🔐 Monitoring ondersteunt ook security en incidentanalyse.
8. 📈 Monitoring wordt uitgebreid wanneer de infrastructuur groeit.

• Technische infrastructuur
• OS-installatie
• Rocky Linux 10
• Server hardening
• Firewall
• SELinux
• systemd
• Storage
• Backups
• Serverinfrastructuur

De officiële Zabbix-documentatie beschrijft onder andere Linux-monitoring, MySQL-monitoring, netwerkmonitoring, VMware-monitoring en webmonitoring.

• Zabbix documentatie
• Zabbix – Linux monitoring