Jaký nástroj zvolit, když chcete využívat více jazykových modelů pro chat?

Jaký nástroj použít, když máte subscription třeba od Anthropic, nebo od OpenAI a občas si chcete vyzkoušet nový model, případně nějaký zajímavý model používat o něco více a k tomu také na mobilu?

Každý z poskytovatelů LLM umožňuje v omezeném režimu zdarma používat jakýkoli jejich model. Čím pokročilejší model tím větší omezení. Stejně tak umožňuje omezené využití ve svých aplikacích, tedy desktopových a mobilních. U některých výrobců, třeba čínských, bych si asi takovou aplikaci na mobil nedal. Podobný playground mají také všichni cloudový poskytovatelé jako AWS, Google Cloud, Azure atd. Založit si ale účet a vytvořit prostředí, které mi jednoduše umožní využít, byť omezeně, řadu jazykových modelů není pro každého. Vyžaduje to již nějakou zkušenost s cloudovými službami.

Já preferuji použití specifických chatovacích aplikací, kterým chci věnovat tento příspěvek. Jednou z nich je Chatbox. Asi nejpopulárnější aplikace, která vám umožní využít modely třetích stran s vlastním API klíčem. Aplikace je dobře udělaná pokud jde o UX/UI, umožňuje řadu jiných věcí než jen chatování, ale o tom se tady nechci bavit. Pro nastavení chatbota umožnuje to podstatné, nastavení teploty, tedy náhodnost dalšího tokenu na výstupu. Tento parametr lze nastavit u všech modelů a určuje míru "kreativnosti" výstupu. U reasoning modelů je potřeba ho nastavit v rozmezí podle doporučení poskytovatele, aby model neměl problémy s "přemýšlením". Dále lze nastavit počet konverzací, které se vrací modelu zpět jako vstup. Takovýto externí chatbot komunikující přes API neumožňuje využívat dlouhodobou paměť modelu. Nabídka API je nepřeberná, takže jste schopni "napojit" mnoho modelů. V chatovacím okně podporuje Chatbox markdown a LaTeX. Aplikace lze značně personalizovat. Nevýhodou je, že se jedná o čínskou firmu a aplikace provozovaná v cloudu je již pouze s nějakým subscription. Tedy z mobilního zařízení k aplikaci jednoduše nepřistoupíte. Desktopová varianta je zdarma, ale samozřejmě platíte za tokeny u poskytovatele modelu, kde si koupíte kredit a vytvoříte API klíč. Řada poskytovatelů, včetně třeba Google má free tier, kdy do nějaké zátěže neplatíte nic ani za tokeny u frontier modelů.

Druhou variantu, kterou chci zmínit, a kterou dlouhodobě používám, je mnou již mnohokrát zmiňovaný nástroj AnythingLLM. Jedná se primárně o nástroj, který vám umožní postavit RAG, ale dobře lze použít také pro chat s modelem. Navíc jak jsem tady předvedl v nedávném příspěvku, lze ho velmi dobře zprovoznit v cloudu za pár minut a pak ho jste samozřejmě schopni jednoduše používat v jakémkoli mobilním zařízení s připojením na net. Pouze pro chat bez RAG si vytvoříte separátní workspace a nastavíte příslušnou teplotu vhodnou pro vybraný model. Model jste opět schopni vybrat ještě z násobně větší nabídky než u Chatbox. Takže si moc nedokáži představit model, který by takto nešel použít. Opět musíte mít API klíč pro vybraného poskytovatele. API klíče jsou uloženy zašifrované v backendové databázi. U obou nástrojů, tak klidně můžete pro každý chat použít jiný model. AnythingLLM neumožňuje omezit posílání předchozí konverzace do modelu, což by zvláště u reasoningových modelů, s celým tím jejich přemýšlením, které vám model také posílá mohl být nákladově problém. Tak jak model používám já, tak po skončení úlohy nastavím další chat/thread. U reasoning modelů není doporučeno používat systémový prompt, takže se v jeho nastavení, které nelze nechat prázdné, omezte na You are a helpful personnel assistant. V případě, že použijete jiný než reasoningový model je naopak vhodné systémovým promptem vymezit fungování modelu. Se systémovým promptem pro požadovaný typ úloh je vám schopen pomoci jakýkoli frontier model. Chatovací okno podporuje Markdown, to je vhodné když výsledkem je třeba tabulka nebo schema a LaTeX pro zobrazení matematických vzorců, rovnic atd.

Nyní bych se zastavil u jednoho poskytovatele, kterého používám. Jedná se o americkou firmu Groq. Groq provozuje ve vlastní pro LLM optimalizované infrastruktuře řadu zajímavých modelů, které se vyplatí používat vedle subscription, které třeba také máte. Navíc Groq nabízí řádově vyšší rychlost, se kterou s vámi model přes API komunikuje (inference). Já osobně používám pouze dva top reasoning modely. Jedná se o modely DeepSeek R1 a ještě v některých úlohách výkonější model Qwen 2.5 v reasoning variantě QwQ 32B. Groq u obou těchto modelů dosahuje inference 300-400 tokenů/s, což je o řád vyšší hodnota, než dosahují API obou vlastních poskytovatelů, kdybyste je používali napřímo. Navíc takto odstíníte čínské soudruhy. Používám je nepravidelně většinou pro práci, kde chci ještě další názor u nějakých složitějších konzultačních úloh. Typu, navrhnout distribuční model produktu, posoudit efektivitu distribučních kanálů atd. Jsou to oba modely na úrovni o1. Cena u Groq je neskutečně dobrá, včetně free tier, ale když ho překročím, neplatím víc než 1-2 USD měsíčně. Jak Chatbox, tak AnythingLLM umí samozřejmě Groq napojit a dostupnost na mobilu je pro mě u AnythingLLM tím rozhodujícím faktorem proč ho používám.