Loading...
Loading...
AI vrstva ZION ekosystému
Orchestrací nástroj pro ZION AI. Domain-specific model (QLoRA 8B), hybridní RAG pipeline, fine-tuning marketplace a inference deployment na Vast.ai. Hiran v2.3 s 32B base a full fine-tuningem je ve vývoji.
Modely
unsloth/Meta-Llama-3.1-8B-Instruct
Metoda
QLoRA
Velikost
~15 GB (FP16)
Rychlost
~40 tok/s
VRAM
~16 GB
Hardware
RTX 4090 (Vast.ai)
Dataset
22,181 pairs · 5 stages
nvidia/OpenReasoning-Nemotron-32B
Metoda
DeepSpeed ZeRO-3
Velikost
32B params · BF16
Rychlost
TBD
VRAM
4x A100 80GB
Hardware
4x A100 80GB target
Dataset
48,436 weighted · 9 stages
Trénink
Rank 16 · 2 epochs
Final loss: ~1.297
Rank 32 · 3 epochs
Final loss: ~1.040
Rank 64 · 2 epochs
Final loss: ~1.246
Rank 64 · 1 epoch
Final loss: ~2.469
Architektura
Protože obecné znalosti jsou příliš rozsáhlé pro 32B parametrů, v2.3 používá RAG vedle FT.
Religion, history, science, philosophy, art, medicine, literature, mythology, languages.
Vector DB s all-MiniLM-L6-v2 embeddings. Multi-collection cosine-similarity retrieval.
Klasifikuje dotazy: zion_only, knowledge_rag, hybrid. Dynamický routing.
Kombinace fine-tuned modelu + retrieved context v jednom inference kroku.
Domain-specific AI asistent trénovaný na ZION codebase a dokumentaci.
ZION AI Native · zion-expert model
Zeptejte se Hiranyagarbhy na cokoliv o ZIONu
Marketplace
FP16 · ~15 GB
Domain-specific fine-tuned model pro ZION ekosystém. 5 stagí QLoRA tréninku.
DeepSpeed ZeRO-3 · 32B
Full fine-tuning s hybridním RAG. 48K pairs, 9 stagí. 4x A100 80GB target.
v1.0 · 33 docs
Knowledge documents pro hybrid retrieval — religion, history, science, philosophy, art.
Operace
Automatický provisioning GPU instance na Vast.ai — RTX 4090, A100. Docker kontejnery s inference endpointem.
Prometheus + Grafana telemetrie — inference latence, VRAM využití, token throughput, error rate.
ChromaDB + all-MiniLM-L6-v2 embeddings. 33 knowledge documents. Query router pro hybridní retrieval.
QLoRA curriculum 5 stages. Rank 16-64. 22 181 instruction pairs. Unsloth/Meta-Llama-3.1-8B base.