Einleitung
Der KI-Server bildet das Herzstück der lokalen KI- und Automatisierungsumgebung im Homelab. Er dient als zentrale Plattform für die Ausführung von großen Sprachmodellen (LLMs) sowie für KI-gestützte Anwendungen wie Dokumentenanalyse, Bildverarbeitung und Automatisierungs-Workflows.
Durch die Virtualisierung auf Proxmox VE 9 und die Integration einer dedizierten GPU können leistungsfähige Modelle wie GPT-OSS:20b, Llama 3.1:12b, Mistral:7b, Gemma3:12b, DeepSeek-R1:8b und Qwen3:14b lokal betrieben werden.
Damit ist der Server unabhängig von Cloud-Diensten nutzbar und bietet volle Kontrolle über Daten, Sicherheit und Performance.
Einsatzbereiche des KI-Servers:
-
Dokumentenmanagement & Automatisierung: Anbindung an Paperless-NGX, Immich App und Paperless-AI zur automatischen Dokumentenerfassung und -analyse.
-
Assistenzsysteme: Nutzung von OpenWebUI und Ollama für Chatbots, persönliche Assistenten und interaktive Workflows.
-
Security & Schwachstellenmanagement: Geplante Integration in bestehende Security-Tools (z. B. Greenbone, osTicket, n8n-Automatisierungen).
-
Experimentelle KI-Projekte: Testumgebung für lokale Sprach- und Bildmodelle, u. a. zur Text-, Sprach- und Bildgenerierung.
Damit bildet der Server die Grundlage für ein flexibles, erweiterbares und sicheres KI-Ökosystem im Homelab, das sowohl für den produktiven Einsatz als auch für Test- und Forschungszwecke genutzt wird.
Hardware
Der aktuelle KI-Server basiert auf leistungsfähiger Gaming- und Serverhardware, die speziell für Virtualisierung und GPU-Passthrough ausgelegt ist:
Mainboard: ASUS TUF Gaming Z790 Pro WifiCPU: Intel i5-13400 (10 Kerne, 16 Threads)RAM: 128 GB DDR5 (2 × 64 GB)GPU: MSI GeForce RTX 5060 Ti 16G Ventus 2X OC Plus (16 GB VRAM, passthrough-fähig)Netzwerk: Dual 10 Gbit LAN (Intel X540-T2)Speicher:Samsung NVMe 990 Pro 2 TB (System & VM-Speicher)Crucial NVMe 4 TB (Schneller Datenspeicher für Modelle und Container)10 TB SATA HDD (Langzeitspeicher)
Netzteil: ASUS TUF Gaming 750W GoldGehäuse: 19" Servergehäuse
Betriebssystem: Proxmox VE 9 (Virtualisierungshost)KI-VM: Ubuntu 24.04.3 LTS mit durchgereichter GPU