0023ccbd79
- Modelle: Gemma 3 4B IT (2.4 GB), Phi-4-mini (2.5 GB), MiniCPM5-1B (688 MB) — als Symlinks auf Stick - README: Vollständig überarbeitet mit allen Features - Startup-Zeiten und IFEval-Scores dokumentiert - CrowdCode CLI Features dokumentiert - Shell-Kommando-Erkennung im CLI |
||
|---|---|---|
| bin | ||
| cli | ||
| models | ||
| crowdcode.bat | ||
| crowdcode.sh | ||
| deploy.sh | ||
| README.md | ||
| start-server.sh | ||
| start.bat | ||
| start.sh | ||
🦙 MiniLlama — Portable LLM Chat & API-Server
MiniLlama ist ein portabler LLM-Stack, der direkt vom USB-Stick läuft — ohne Installation, auf Windows und Linux.
Enthält: Chat, API-Server (OpenAI-kompatibel), CrowdCode CLI für Dateioperationen + Wiki-Modus.
Schnellstart
💬 Chat (direkt)
./start.sh # Linux
start.bat # Windows
Modell aus dem Menü wählen — loschatten.
🔌 API-Server (für CrowdCode, andere Tools)
./start-server.sh # → http://127.0.0.1:8080/v1
🤖 CrowdCode CLI (Dateioperationen + Chat)
./crowdcode.sh # Linux
crowdcode.bat # Windows
Startet Server automatisch bei Bedarf. Shell-Kommandos (pwd, ls, git) werden direkt ausgeführt.
Projektstruktur
MiniLlama/
├── start.sh ← Chat (Linux)
├── start.bat ← Chat (Windows)
├── start-server.sh ← API-Server
├── crowdcode.sh ← CrowdCode CLI (Linux)
├── crowdcode.bat ← CrowdCode CLI (Windows)
├── deploy.sh ← Auf USB-Stick exportieren
├── cli/
│ └── crowdcode.js ← CrowdCode Node.js CLI (480 Zeilen)
├── bin/
│ ├── linux/ ← llama.cpp (b9936) für Linux x86_64
│ └── win/ ← llama.cpp für Windows x86_64
├── models/ ← GGUF-Modelle (Symlinks auf Stick)
└── README.md
Verfügbare Modelle
| Modell | Größe | Typ | IFEval | Lädt | FILE:-Pattern |
|---|---|---|---|---|---|
| LFM2.5-8B-A1B ⭐ | ~5,4 GB | MoE 1,5B aktiv | 91,84 | ? | ✅ Tool-Calling |
| Gemma 3 4B IT ⭐ | 2,4 GB | Dicht | 90,2 | ~3s | ✅ Getestet |
| Phi-4-mini ⭐ | 2,5 GB | Dicht | ~88 | ~3s | ✅ Getestet |
| LFM2-8B-A1B | 4,5 GB | MoE 1,5B aktiv | 79,44 | ? | ✅ (erwartet) |
| Qwen3.5-4B | 3,0 GB | Dicht | ~85 | ~47s | ✅ Getestet |
| Gemma-4-E2B | 2,9 GB | Dicht | ~80 | ~30s | ? |
| Qwen2.5-1.5B (klein) | 1,0 GB | Dicht | ~70 | ~2s | ❌ Zu schwach |
⭐ = Neu empfohlen (Juli 2026)
CrowdCode CLI Features
| Funktion | Beschreibung |
|---|---|
@datei.py |
Dateiinhalt lesen |
@verz/ |
Verzeichnis auflisten |
@verz/** |
Rekursiver Dateibaum |
@?begriff |
Grep-Suche |
FILE: pfad + Codeblock |
Datei schreiben (vom LLM) |
DIR: pfad |
Verzeichnis erstellen (vom LLM) |
EDIT: pfad + ---OLD/---NEW |
Gezielte Änderung (vom LLM) |
bash |
Shell ausführen (mit Bestätigung) |
:m |
Multiline-Eingabe |
:h |
Hilfe |
:q |
Beenden |
Shell-Kommandos (pwd, ls, git, pip, curl...) werden direkt ausgeführt, nicht ans LLM geschickt.
Deployment auf USB-Stick
./deploy.sh /pfad/zum/stick/MiniLlama
Kopiert alles inklusive Modelle, löst Symlinks auf.
Modelle auf dem Stick
Die Modelle liegen physikalisch auf dem Stick unter:
/media/xray/llama/llama/models/*.gguf
Im MiniLlama-Verzeichnis sind es Symlinks. Für Deployment auf anderen Stick deploy.sh nutzen.
Wartung
Binaries aktualisieren
Neues Release von https://github.com/ggml-org/llama.cpp/releases:
- Linux:
llama-bXXXX-bin-ubuntu-x64.tar.gz→bin/linux/ - Windows:
llama-bXXXX-bin-win-cpu-x64.zip→bin/win/
Modell hinzufügen
GGUF-Datei in models/ ablegen — wird automatisch erkannt.