Даже самые современные языковые модели объемом более 200 ГБ в закрытом контуре компании или организации вполне себе работают (притом эффективно и без лишних задержек) и без дорогущих GPU уровня NVIDIA H100 или A100 за миллионы рублей.
Если задача не требует быстрого общения в режиме живого чата с мгновенными ответами на комплексные промпты, с ролью специализированного ИИ-сервера отлично справляются даже стоечные Dell PowerEdge R720 (2012 года выпуска, на секундочку!) и/или еще более «старинные» по нынешним меркам блейд-системы на шасси Dell PowerEdge M1000e, которые выпускались аж с 2008 года.
Более того, для целого ряда актуальных задач именно R720 с M1000-м являются едва ли не оптимальным решением, в том числе и с точки зрения бюджета рабочего проекта. Фишка тут — в сочетании копеечной регистровой памяти DDR3 и современной архитектуры самих нейросетей.
Как старые Dell справляются с топовыми LLM?
Нормально справляются. Если очень вкратце, то самым главным препятствием для локального запуска тяжелых моделей является объем памяти, куда вес нейросети нужно выгрузить целиком (в идеале).
Однако с появлением моделей на базе архитектуры Mixture-of-Experts (MoE) требования к вычислительной мощности процессоров снизились в разы.
Например, самая свежая GLM-5.3-Flash насчитывает 320 млрд параметров в целом, но при генерации каждого токена задействует всего 18 млрд. Аналогично устроена и Qwen 3.8 Flash (Next): из 125 млрд основных параметров и 51 млрд параметров эмбеддингов в каждый момент времени активно лишь 6 млрд.
Такой подход позволяет переложить вычисления на самые обычные серверные процессоры. С самым положительным результатом.
К примеру, упомянутый Dell PowerEdge R720 (который, напомним, изначально видеокартами не комплектовался) с парой 10-ядерных процессора Intel Xeon серии E5-2600 (20 ядер и 40 потоков суммарно), обычным SATA SSD под хранение весов и с 384 ГБ оперативной памяти DDR3 (планки по 16 ГБ во всех 24 слотах) на моделях весом свыше 200 ГБ стабильно 4 выдает токена в секунду (даже без поддержки набора инструкций AVX2).
Для наглядности: при такой производительности системы написание рабочей программы сортировки чисел на C# через движок llama.cpp заняло у GLM-5.3-Flash 2 минуты 35 секунд, у более плотной модели Qwen 3.8 на 27 млрд параметров — 6 минут 18 секунд, а у экспериментальной Qwen 3.8 Flash — 7 минут 32 секунды (в основном из-за пока еще сырой оптимизации ядер под новую архитектуру).
И что не менее интересно, решение отлично масштабируется на базе блейд-шасси Dell PowerEdge M1000e. Одно лезвие M620 или M820 вмещает до 768 ГБ памяти DDR3 (а с планками LRDIMM по 64 ГБ — до 1.5 ТБ), а еще более старые лезвия M610 и M710 (выпуска 2010-х годов) спокойно несут по 192–288 ГБ на узел.
Притом эта у поставщиков официальных DELL серии PowerEdge в РФ эта техника есть прям сейчас (линк см. выше). Сборка уровня R720 с 384 ГБ DDR3 обойдется примерно в 50–60 тысяч рублей (где почти половина суммы — память). Такой же объем памяти стандартов DDR4 или DDR5 с платформой под него стоит в несколько раз дороже.
Когда медленный, но очень недорогой локальный ИИ реально выгоден?
Скорость 4 токена в секунду, повторимся, никак не катит для интерактивного голосового помощника, но гарантированно закрывает огромное количество так называемых рутинных задач. В том числе (и в особенности!) тех, где служба безопасности или требования 152-ФЗ запрещают передавать данные во внешние облака вроде YandexGPT и GigaChat, а аренда выделенных GPU-серверов в Selectel или Cloud.ru не укладывается в бюджет.
А «старый» сервер в собственной серверной стойке может и будет круглосуточно и без абонентской платы выполнять пакетную обработку данных:
- ночной разбор первичной документации, договоров и счетов для загрузки в «1С:Предприятие»;
- суммаризацию записей звонков и переписок с клиентами перед прикреплением к карточкам сделок в «Битрикс24»;
- очистку, классификацию и заполнение тысяч карточек товаров для селлеров на Ozon, Wildberries и Яндекс Маркете;
- автоматический аудит логов информационной безопасности и поиск уязвимостей во внутреннем коде компании.
А когда или если со временем потребуется ускорить генерацию, в тот же корпус R720 или в соседний узел стойки достаточно добавить одну-две недорогие видеокарты с 16–24 ГБ видеопамяти под кэш контекста и горячие слои модели, оставив основную массу весов в дешевой оперативной памяти DDR3.