c1a984b22b
- MODELS.md: 8B vs 24B Vergleich, :wiki-Doku, Entscheidungsbaum
- README.md: 24B mit ⚠️ Manuell markiert (FILE:-Pattern unzuverlässig)
- SESSION_HANDOVER.md: Neue Session 14:30-18:00
- TEST_SCENARIO.md: Referenz-Testszenario
- crowdcode.js: 24B-Kompatibilität (flexible FILE:-Erkennung,
:wiki-Befehl, configurable Timeout/GPU/Context via ENV,
Streaming AbortController, Orphan-Codeblock-Detection)
|
||
|---|---|---|
| .dreb | ||
| bin | ||
| cli | ||
| models | ||
| crowdcode.bat | ||
| crowdcode.sh | ||
| deploy.sh | ||
| MODELS.md | ||
| README.md | ||
| SESSION_HANDOVER.md | ||
| start-server.sh | ||
| start.bat | ||
| start.sh | ||
| TEST_SCENARIO.md | ||
🦙 MiniLlama — Portable LLM Chat & API-Server
MiniLlama ist ein portabler LLM-Stack, der direkt vom USB-Stick läuft — ohne Installation, auf Windows und Linux.
Enthält: Chat, API-Server (OpenAI-kompatibel), CrowdCode CLI für Dateioperationen + Wiki-Modus.
Schnellstart
💬 Chat (direkt)
./start.sh # Linux
start.bat # Windows
Modell aus dem Menü wählen — loschatten.
🔌 API-Server (für CrowdCode, andere Tools)
./start-server.sh # → http://127.0.0.1:8080/v1
🤖 CrowdCode CLI (Dateioperationen + Chat)
./crowdcode.sh # Linux
crowdcode.bat # Windows
Startet Server automatisch bei Bedarf. Shell-Kommandos (pwd, ls, git) werden direkt ausgeführt.
Projektstruktur
MiniLlama/
├── start.sh ← Chat (Linux)
├── start.bat ← Chat (Windows)
├── start-server.sh ← API-Server
├── crowdcode.sh ← CrowdCode CLI (Linux)
├── crowdcode.bat ← CrowdCode CLI (Windows)
├── deploy.sh ← Auf USB-Stick exportieren
├── cli/
│ └── crowdcode.js ← CrowdCode Node.js CLI (480 Zeilen)
├── bin/
│ ├── linux/ ← llama.cpp (b9936) für Linux x86_64
│ └── win/ ← llama.cpp für Windows x86_64
├── models/ ← GGUF-Modelle (Symlinks auf Stick)
└── README.md
Verfügbare Modelle
Ausführliche Testergebnisse in MODELS.md — getestet auf Ryzen 5 2500U (14 GB RAM, CPU-only)
| Modell | Größe | Speed | FILE:-Pattern | Wiki-Qualität | Status |
|---|---|---|---|---|---|
| LFM2-24B-A2B-Q3_K_XL 🏆 | 11 GB | 11,4 t/s | ⚠️ Manuell | ✅ Sehr gut (tief) | Qualitätssieger (langsam) |
| LFM2-8B-A1B-UD-Q4_K_XL 🏆 | 4,5 GB | 16,2 t/s | ✅ Immer | ✅ Sehr gut | Testsieger/Default |
| LFM2.5-8B-A1B-Q4_K_M ⭐ | 4,9 GB | ? | ? | ? | Noch zu testen |
| Gemma 3 4B IT ⭐ | 2,4 GB | ~25 t/s | ✅ | ✅ Gut | Leichtes Fallback |
| Phi-4-mini ⭐ | 2,5 GB | ~22 t/s | ✅ | ✅ Gut | Leichtes Fallback |
| Qwen3.5-4B | 3,0 GB | ~18 t/s | ✅ | ✅ Gut | Alternativ |
| LFM2-8B-A1B-IQ4_XS | 4,2 GB | 16,4 t/s | ❌ Fehlt | ⚠️ Mittel | Nicht empfohlen |
| LFM2-8B-A1B-Q3_K_XL | 3,8 GB | 15,3 t/s | ❌ Fehlt oft | ⚠️ Schwach | Nicht empfohlen |
| Qwen2.5-1.5B | 1,0 GB | ~30 t/s | ❌ | ❌ Zu schwach | Nur Notfall |
| MiniCPM5-1B | 688 MB | - | ❌ | ❌ Inkompatibel | ❌ |
⭐ = Noch zu testen · 🏆 = Getestet und empfohlen (Juli 2026)
CrowdCode CLI Features
| Funktion | Beschreibung |
|---|---|
@datei.py |
Dateiinhalt lesen |
@verz/ |
Verzeichnis auflisten |
@verz/** |
Rekursiver Dateibaum |
@?begriff |
Grep-Suche |
FILE: pfad + Codeblock |
Datei schreiben (vom LLM) |
DIR: pfad |
Verzeichnis erstellen (vom LLM) |
EDIT: pfad + ---OLD/---NEW |
Gezielte Änderung (vom LLM) |
bash |
Shell ausführen (mit Bestätigung) |
:m |
Multiline-Eingabe |
:h |
Hilfe |
:q |
Beenden |
Shell-Kommandos (pwd, ls, git, pip, curl...) werden direkt ausgeführt, nicht ans LLM geschickt.
Deployment auf USB-Stick
./deploy.sh /pfad/zum/stick/MiniLlama
Kopiert alles inklusive Modelle, löst Symlinks auf.
Modelle auf dem Stick
Die Modelle liegen physikalisch auf dem Stick unter:
/media/xray/llama/llama/models/*.gguf
Im MiniLlama-Verzeichnis sind es Symlinks. Für Deployment auf anderen Stick deploy.sh nutzen.
Wartung
Binaries aktualisieren
Neues Release von https://github.com/ggml-org/llama.cpp/releases:
- Linux:
llama-bXXXX-bin-ubuntu-x64.tar.gz→bin/linux/ - Windows:
llama-bXXXX-bin-win-cpu-x64.zip→bin/win/
Modell hinzufügen
GGUF-Datei in models/ ablegen — wird automatisch erkannt.