Počítač postavený na jednu věc: provozovat velké jazykové modely přímo ve firmě. Dvě grafické karty RTX 3060 dávají dohromady 24 GB paměti, do které se ve 4-bitové kvantizaci vejdou modely do zhruba 30 miliard parametrů — Qwen2.5 14B i 32B, Gemma 3 27B, Mistral Small 24B nebo gpt-oss 20B od OpenAI. Druhá karta zároveň umožní pustit dva modely naráz: třeba asistenta pro tým a druhý, který na pozadí zpracovává dokumenty.

64 GB RAM slouží k odkládání větších modelů a práci s daty, 2 TB NVMe disk WD Black SN850X načte dvacetigigový model za pár sekund. Zdroj 1200 W Gold má rezervu na budoucí výměnu karet za výkonnější. Tři průmyslové ventilátory Noctua udrží teploty i při hodinách nepřetržité zátěže — je to stroj do serverovny nebo technické místnosti, ne pod stůl vedle lidí. Pro kancelář nabízíme tišší variantu chlazení.

Na co se hodí: spouštění hotových modelů (Ollama, LM Studio, vLLM), asistent nad firemními dokumenty (RAG), obsluha více uživatelů souběžně, dotrénování menších modelů metodou LoRA. Na co ne: plný trénink velkých modelů — na ten jsou potřeba karty s 48 GB paměti a rychlé propojení mezi nimi. Druhá karta běží ve slotu PCIe 4.0 x4; při běhu modelů to nevadí, váhy se načtou jednou, pro tensor-parallel trénink by to ale bylo úzké hrdlo. A dvě karty sčítají paměť, ne rychlost jedné odpovědi.

Za příplatek 5 000 Kč vyměníme Ryzen 5 5600 za šestnáctijádrový Ryzen 9 5950X. Vyplatí se, pokud budete paralelně zpracovávat data, obsluhovat více uživatelů nebo dotrénovávat modely; samotné generování odpovědí, které běží na grafikách, nezrychlí.