65 lines
2 KiB
Markdown
65 lines
2 KiB
Markdown
|
# 🦙 MiniLlama — Portable LLM Chat
|
||
|
|
|
||
|
|
**MiniLlama** ist ein portabler LLM-Chat, der direkt vom USB-Stick läuft — ohne Installation, auf **Windows und Linux**.
|
||
|
|
|
||
|
|
## Schnellstart
|
||
|
|
|
||
|
|
| OS | Befehl |
|
||
|
|
|----|--------|
|
||
|
|
| 🐧 Linux | `./start.sh` |
|
||
|
|
| 🪟 Windows | `start.bat` |
|
||
|
|
|
||
|
|
Das Skript zeigt alle Modelle aus dem `models/`-Ordner als nummeriertes Menü an. Einfach die Ziffer wählen und loschatten.
|
||
|
|
|
||
|
|
## Projektstruktur
|
||
|
|
|
||
|
|
```
|
||
|
|
MiniLlama/
|
||
|
|
├── start.sh ← Starter für Linux (Bash)
|
||
|
|
├── start.bat ← Starter für Windows (Batch)
|
||
|
|
├── bin/
|
||
|
|
│ ├── linux/ ← llama.cpp (b9936) für Linux x86_64
|
||
|
|
│ └── win/ ← llama.cpp für Windows x86_64
|
||
|
|
├── models/ ← Hier kommen die .gguf-Modelle rein
|
||
|
|
└── README.md
|
||
|
|
```
|
||
|
|
|
||
|
|
## Modelle
|
||
|
|
|
||
|
|
GGUF-Modelle (`*.gguf`) im `models/`-Ordner ablegen.
|
||
|
|
Die Start-Skripte erkennen automatisch alle vorhandenen Modelle und zeigen sie zur Auswahl an.
|
||
|
|
|
||
|
|
> **Von Quantisierungsstufen** reichen Q4_K_M und Q5_K_M für gute Qualität bei moderater Dateigröße.
|
||
|
|
|
||
|
|
## Deployment auf einen USB-Stick
|
||
|
|
|
||
|
|
1. **Modelle kopieren** (nötig für Portabilität, da Symlinks auf einem anderen Rechner brechen):
|
||
|
|
```bash
|
||
|
|
cp -r /pfad/zu/models/*.gguf /pfad/zum/stick/MiniLlama/models/
|
||
|
|
```
|
||
|
|
|
||
|
|
2. **Ganzen Ordner auf den Stick kopieren:**
|
||
|
|
```bash
|
||
|
|
# Linux → Stick
|
||
|
|
cp -r MiniLlama /media/USER/STICKNAME/
|
||
|
|
|
||
|
|
# Windows → Stick
|
||
|
|
# Einfach MiniLlama-Ordner per Explorer auf den Stick ziehen
|
||
|
|
```
|
||
|
|
|
||
|
|
3. Auf dem Zielrechner vom Stick starten:
|
||
|
|
```bash
|
||
|
|
# Linux: Terminal im Stick-Ordner öffnen
|
||
|
|
./start.sh
|
||
|
|
|
||
|
|
# Windows: Explorer öffnen, Doppelklick auf start.bat
|
||
|
|
```
|
||
|
|
|
||
|
|
## Technische Details
|
||
|
|
|
||
|
|
- **Engine:** [llama.cpp](https://github.com/ggml-org/llama.cpp) b9936
|
||
|
|
- **Plattformen:**
|
||
|
|
- Linux: x86_64 (Ubuntu-kompatibel), baut auf glibc 2.35+
|
||
|
|
- Windows: x86_64 (CPU-only, keine GPU-Treiber nötig)
|
||
|
|
- **Dateisystem:** exFAT empfohlen (Dateien > 4 GB, Windows + Linux)
|