Skip to main content

Einleitung - Hardware

Einleitung

Der KI-Server bildet das Herzstück der lokalen KI- und Automatisierungsumgebung im Homelab. Er dient als zentrale Plattform für die Ausführung von großen Sprachmodellen (LLMs) sowie für KI-gestützte Anwendungen wie Dokumentenanalyse, Bildverarbeitung und Automatisierungs-Workflows.

Durch die Virtualisierung auf Proxmox VE 9 und die Integration einer dedizierten GPU können leistungsfähige Modelle wie GPT-OSS:20b, Llama 3.1:12b, Mistral:7b, Gemma3:12b, DeepSeek-R1:8b und Qwen3:14b lokal betrieben werden.
Damit ist der Server unabhängig von Cloud-Diensten nutzbar und bietet volle Kontrolle über Daten, Sicherheit und Performance.

Einsatzbereiche des KI-Servers:

  • Dokumentenmanagement & Automatisierung: Anbindung an Paperless-NGX, Immich App und Paperless-AI zur automatischen Dokumentenerfassung und -analyse.

  • Assistenzsysteme: Nutzung von OpenWebUI und Ollama für Chatbots, persönliche Assistenten und interaktive Workflows.

  • Security & Schwachstellenmanagement: Geplante Integration in bestehende Security-Tools (z. B. Greenbone, osTicket, n8n-Automatisierungen).

  • Experimentelle KI-Projekte: Testumgebung für lokale Sprach- und Bildmodelle, u. a. zur Text-, Sprach- und Bildgenerierung.

Damit bildet der Server die Grundlage für ein flexibles, erweiterbares und sicheres KI-Ökosystem im Homelab, das sowohl für den produktiven Einsatz als auch für Test- und Forschungszwecke genutzt wird.

Hardware

Der aktuelle KI-Server basiert auf leistungsfähiger Gaming- und Serverhardware, die speziell für Virtualisierung und GPU-Passthrough ausgelegt ist:

  • Mainboard: ASUS TUF Gaming Z790 Pro Wifi

  • CPU: Intel i5-13400 (10 Kerne, 16 Threads)

  • RAM: 128 GB DDR5 (2 × 64 GB)

  • GPU: MSI GeForce RTX 5060 Ti 16G Ventus 2X OC Plus (16 GB VRAM, passthrough-fähig)

  • Netzwerk: Dual 10 Gbit LAN (Intel X540-T2)

  • Speicher:

    • Samsung NVMe 990 Pro 2 TB (System & VM-Speicher)

    • Crucial NVMe 4 TB (Schneller Datenspeicher für Modelle und Container)

    • 10 TB SATA HDD (Langzeitspeicher)

  • Netzteil: ASUS TUF Gaming 750W Gold

  • Gehäuse: 19" Servergehäuse

Betriebssystem: Proxmox VE 9 (Virtualisierungshost)
KI-VM: Ubuntu 24.04.3 LTS mit durchgereichter GPU

Back to top