Portable LLM Chat für USB-Stick — Windows + Linux, llama.cpp b9936, dynamische Modellauswahl
75fb3cc343
- start-server.sh: llama-server mit Modellauswahl starten - Port 8080, OpenAI-kompatibler Endpoint - README aktualisiert mit Server-Hinweisen |
||
|---|---|---|
| bin | ||
| models | ||
| deploy.sh | ||
| README.md | ||
| start-server.sh | ||
| start.bat | ||
| start.sh | ||
🦙 MiniLlama — Portable LLM Chat
MiniLlama ist ein portabler LLM-Chat, der direkt vom USB-Stick läuft — ohne Installation, auf Windows und Linux.
Schnellstart
| OS | Befehl |
|---|---|
| 🐧 Linux | ./start.sh |
| 🪟 Windows | start.bat |
Das Skript zeigt alle Modelle aus dem models/-Ordner als nummeriertes Menü an. Einfach die Ziffer wählen und loschatten.
Projektstruktur
MiniLlama/
├── start.sh ← Starter für Linux (Bash)
├── start.bat ← Starter für Windows (Batch)
├── bin/
│ ├── linux/ ← llama.cpp (b9936) für Linux x86_64
│ └── win/ ← llama.cpp für Windows x86_64
├── models/ ← Hier kommen die .gguf-Modelle rein
└── README.md
Modelle
GGUF-Modelle (*.gguf) im models/-Ordner ablegen.
Die Start-Skripte erkennen automatisch alle vorhandenen Modelle und zeigen sie zur Auswahl an.
Von Quantisierungsstufen reichen Q4_K_M und Q5_K_M für gute Qualität bei moderater Dateigröße.
Deployment auf einen USB-Stick
-
Modelle kopieren (nötig für Portabilität, da Symlinks auf einem anderen Rechner brechen):
cp -r /pfad/zu/models/*.gguf /pfad/zum/stick/MiniLlama/models/ -
Ganzen Ordner auf den Stick kopieren:
# Linux → Stick cp -r MiniLlama /media/USER/STICKNAME/ # Windows → Stick # Einfach MiniLlama-Ordner per Explorer auf den Stick ziehen -
Auf dem Zielrechner vom Stick starten:
# Linux: Terminal im Stick-Ordner öffnen ./start.sh # Windows: Explorer öffnen, Doppelklick auf start.bat
Technische Details
- Engine: llama.cpp b9936
- Plattformen:
- Linux: x86_64 (Ubuntu-kompatibel), baut auf glibc 2.35+
- Windows: x86_64 (CPU-only, keine GPU-Treiber nötig)
- Dateisystem: exFAT empfohlen (Dateien > 4 GB, Windows + Linux)