Skip to main content

Einleitung - Hardware

Einleitung

Der KI-Server bildet das Herzstück der lokalen KI- und Automatisierungsumgebung im Homelab. Er dient als zentrale Plattform für die Ausführung von großen Sprachmodellen (LLMs) sowie für KI-gestützte Anwendungen wie Dokumentenanalyse, Bildverarbeitung und Automatisierungs-Workflows.

Durch die Virtualisierung auf Proxmox VE 9 und die Integration einer dedizierten GPU können leistungsfähige Modelle wie GPT-OSS:20b, Llama 3.1:12b, Mistral:7b, Gemma3:12b, DeepSeek-R1:8b und Qwen3:14b lokal betrieben werden.
Damit ist der Server unabhängig von Cloud-Diensten nutzbar und bietet volle Kontrolle über Daten, Sicherheit und Performance.

Einsatzbereiche des KI-Servers:

    Dokumentenmanagement & Automatisierung: Anbindung an Paperless-NGX, Immich App und Paperless-AI zur automatischen Dokumentenerfassung und -analyse.

    Assistenzsysteme: Nutzung von OpenWebUI und Ollama für Chatbots, persönliche Assistenten und interaktive Workflows.

    Security & Schwachstellenmanagement: Geplante Integration in bestehende Security-Tools (z. B. Greenbone, osTicket, n8n-Automatisierungen).

    Experimentelle KI-Projekte: Testumgebung für lokale Sprach- und Bildmodelle, u. a. zur Text-, Sprach- und Bildgenerierung.

    Damit bildet der Server die Grundlage für ein flexibles, erweiterbares und sicheres KI-Ökosystem im Homelab, das sowohl für den produktiven Einsatz als auch für Test- und Forschungszwecke genutzt wird.

    Hardware

    Der aktuelle KI-Server basiert auf leistungsfähiger Gaming- und Serverhardware, die speziell für Virtualisierung und GPU-Passthrough ausgelegt ist:

      Mainboard: ASUS TUF Gaming Z790 Pro Wifi

      CPU: Intel i5-13400 (10 Kerne, 16 Threads)

      RAM: 128 GB DDR5 (2 × 64 GB)

      GPU: MSI GeForce RTX 5060 Ti 16G Ventus 2X OC Plus (16 GB VRAM, passthrough-fähig)

      Netzwerk: Dual 10 Gbit LAN (Intel X540-T2)

      Speicher:

        Samsung NVMe 990 Pro 2 TB (System & VM-Speicher)

        Crucial NVMe 4 TB (Schneller Datenspeicher für Modelle und Container)

        10 TB SATA HDD (Langzeitspeicher)

        Netzteil: ASUS TUF Gaming 750W Gold

        Gehäuse: 19" Servergehäuse

        Betriebssystem: Proxmox VE 9 (Virtualisierungshost)
        KI-VM: Ubuntu 24.04.3 LTS mit durchgereichter GPU

        Back to top