Post

Ты запускаешь модели локально, чтобы использовать версии без цензуры и не сливать информацию корпорациям. Я запускаю модели локально, чтобы надрывный сипящий рев кулеров не позволял мне забыть о глубине греха неэффективности вычислений, в который я впадаю. Мы не одинаковые.

Al Dragon

@aldragon.net

Well, новая технология запихивания в три приёма 125B-модели в холодильник домашнего десктопа весьма впечатляет, но как же всё это эстетически омерзительно. Кажется, со времен Turbo Pascal я-дилетант неуклонно могу сделать всё больше и больше, а радует это всё меньше и меньше.

9/10/26, 7:52 pm1 repost9 likes

шкꙮт чихнул

@ks1v.bsky.social

Ого, что за технологии такие По байтам же не сходится.

Al Dragon

@aldragon.net

stratallm.org

stratallm.orgStrata LLM – Run 125B+ MoE Models on 12GB VRAM Consumer GPUs (Docs & Setup)Strata is an open-source local inference engine by Niko1221 that runs massive Mixture-of-Experts (MoE) models like Qwen3.8-Flash-Next on consumer PCs via dynamic offloading.