xray/MiniLlama
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
Portable LLM Chat für USB-Stick — Windows + Linux, llama.cpp b9936, dynamische Modellauswahl
5 commits 1 branch 0 tags 36 MiB
Find a file
xray 54c441af6f feat: Shell-Kommando-Erkennung im CLI 
pwd, ls, git, curl, pip etc. werden direkt lokal ausgeführt,
nicht ans LLM geschickt. Erkennung wie in VSCode-Extension
(shellFirstWords-Liste, kein ?/. am Ende = nat. Sprache).
2026-07-09 10:59:21 +02:00
bin initial: MiniLlama — portable LLM chat for USB stick (Windows + Linux) 2026-07-09 10:00:25 +02:00
cli feat: Shell-Kommando-Erkennung im CLI 2026-07-09 10:59:21 +02:00
models initial: MiniLlama — portable LLM chat for USB stick (Windows + Linux) 2026-07-09 10:00:25 +02:00
crowdcode.bat feat: CrowdCode CLI für Terminal/CMD (Linux + Windows) 2026-07-09 10:44:22 +02:00
crowdcode.sh feat: CrowdCode CLI für Terminal/CMD (Linux + Windows) 2026-07-09 10:44:22 +02:00
deploy.sh initial: MiniLlama — portable LLM chat for USB stick (Windows + Linux) 2026-07-09 10:00:25 +02:00
README.md initial: MiniLlama — portable LLM chat for USB stick (Windows + Linux) 2026-07-09 10:00:25 +02:00
start-server.sh feat: start-server.sh für API-Modus (CrowdCode-Integration) 2026-07-09 10:38:06 +02:00
start.bat initial: MiniLlama — portable LLM chat for USB stick (Windows + Linux) 2026-07-09 10:00:25 +02:00
start.sh initial: MiniLlama — portable LLM chat for USB stick (Windows + Linux) 2026-07-09 10:00:25 +02:00

README.md

🦙 MiniLlama — Portable LLM Chat

MiniLlama ist ein portabler LLM-Chat, der direkt vom USB-Stick läuft — ohne Installation, auf Windows und Linux.

Schnellstart

OS Befehl
🐧 Linux ./start.sh
🪟 Windows start.bat

Das Skript zeigt alle Modelle aus dem models/-Ordner als nummeriertes Menü an. Einfach die Ziffer wählen und loschatten.

Projektstruktur

MiniLlama/
├── start.sh              ← Starter für Linux (Bash)
├── start.bat             ← Starter für Windows (Batch)
├── bin/
│   ├── linux/            ← llama.cpp (b9936) für Linux x86_64
│   └── win/              ← llama.cpp für Windows x86_64
├── models/               ← Hier kommen die .gguf-Modelle rein
└── README.md

Modelle

GGUF-Modelle (*.gguf) im models/-Ordner ablegen.
Die Start-Skripte erkennen automatisch alle vorhandenen Modelle und zeigen sie zur Auswahl an.

Von Quantisierungsstufen reichen Q4_K_M und Q5_K_M für gute Qualität bei moderater Dateigröße.

Deployment auf einen USB-Stick

  1. Modelle kopieren (nötig für Portabilität, da Symlinks auf einem anderen Rechner brechen):

    cp -r /pfad/zu/models/*.gguf /pfad/zum/stick/MiniLlama/models/

  2. Ganzen Ordner auf den Stick kopieren:

    # Linux → Stick
cp -r MiniLlama /media/USER/STICKNAME/

# Windows → Stick
# Einfach MiniLlama-Ordner per Explorer auf den Stick ziehen

  3. Auf dem Zielrechner vom Stick starten:

    # Linux: Terminal im Stick-Ordner öffnen
./start.sh

# Windows: Explorer öffnen, Doppelklick auf start.bat

Technische Details

  • Engine: llama.cpp b9936
  • Plattformen:
    • Linux: x86_64 (Ubuntu-kompatibel), baut auf glibc 2.35+
    • Windows: x86_64 (CPU-only, keine GPU-Treiber nötig)
  • Dateisystem: exFAT empfohlen (Dateien > 4 GB, Windows + Linux)