xray 1cfaaf4e22 initial: MiniLlama — portable LLM chat for USB stick (Windows + Linux)

llama.cpp b9936 binaries for x86_64 (Linux Ubuntu + Windows CPU)
Dynamic model selection from models/ dir
GGUF models: Gemma-4-E2B, Qwen2.5-1.5B, Qwen3.5-4B
Cross-platform start.sh / start.bat scripts
Deploy script for USB stick export

2026-07-09 10:00:25 +02:00

2 KiB

Raw Blame History

🦙 MiniLlama — Portable LLM Chat

MiniLlama ist ein portabler LLM-Chat, der direkt vom USB-Stick läuft — ohne Installation, auf Windows und Linux.

Schnellstart

OS	Befehl
🐧 Linux	`./start.sh`
🪟 Windows	`start.bat`

Das Skript zeigt alle Modelle aus dem models/-Ordner als nummeriertes Menü an. Einfach die Ziffer wählen und loschatten.

Projektstruktur

MiniLlama/
├── start.sh              ← Starter für Linux (Bash)
├── start.bat             ← Starter für Windows (Batch)
├── bin/
│   ├── linux/            ← llama.cpp (b9936) für Linux x86_64
│   └── win/              ← llama.cpp für Windows x86_64
├── models/               ← Hier kommen die .gguf-Modelle rein
└── README.md

Modelle

GGUF-Modelle (*.gguf) im models/-Ordner ablegen.
Die Start-Skripte erkennen automatisch alle vorhandenen Modelle und zeigen sie zur Auswahl an.

Von Quantisierungsstufen reichen Q4_K_M und Q5_K_M für gute Qualität bei moderater Dateigröße.

Deployment auf einen USB-Stick

Modelle kopieren (nötig für Portabilität, da Symlinks auf einem anderen Rechner brechen):
```
cp -r /pfad/zu/models/*.gguf /pfad/zum/stick/MiniLlama/models/
```

Ganzen Ordner auf den Stick kopieren:

# Linux → Stick
cp -r MiniLlama /media/USER/STICKNAME/

# Windows → Stick
# Einfach MiniLlama-Ordner per Explorer auf den Stick ziehen

Auf dem Zielrechner vom Stick starten:

# Linux: Terminal im Stick-Ordner öffnen
./start.sh

# Windows: Explorer öffnen, Doppelklick auf start.bat

Technische Details

Engine: llama.cpp b9936
Plattformen:
- Linux: x86_64 (Ubuntu-kompatibel), baut auf glibc 2.35+
- Windows: x86_64 (CPU-only, keine GPU-Treiber nötig)
Dateisystem: exFAT empfohlen (Dateien > 4 GB, Windows + Linux)

2 KiB Raw Blame History