LLM locaux sur une ThinkStation PGX
En 2026, j’ai fait tourner des modèles open-weight sur une Lenovo ThinkStation PGX, la version Lenovo du NVIDIA DGX Spark : Qwen3.8-27B, Qwen3.5-122B, Nemotron 3 Super, Gemma 4 et DeepSeek V4 Flash, avec vLLM, SGLang et llama.cpp. Ma première installation de Hermes Agent tournait dessus.
Un DeepSeek V4 Flash quantifié en 2 bits, environ 97 Go de poids dans 128 Go de mémoire, a lu un prompt de 420 000 tokens d’une seule traite, sur un moteur expérimental. Qwen3.8-27B a pris des prompts de 260 000 tokens et atteint 32 tokens par seconde avec le décodage spéculatif. Sur un benchmark d’appel d’outils de 84 scénarios, la meilleure des 14 configurations a obtenu 92/100.