Компания Huawei представила UCM (Unified Computing Memory)
Huawei описывает UCM как набор инструментов для ускорения логического вывода ИИ, основанный на технологии KV (Key Value) Cache. Сообщается, что система объединяет несколько алгоритмов оптимизации кэша для интеллектуального управления данными KV Cache, которые создаются в процессе обработки ИИ. Этот метод расширяет контекстные окна логического вывода, обеспечивая высокую пропускную способность и низкую задержку, а также снижая затраты на логический вывод для каждого токена.
По данным Securities Times, UCM автоматически распределяет кэшированные данные между HBM, DRAM и SSD-накопителями в зависимости от температуры памяти. Сообщается, что за счёт сочетания нескольких алгоритмов разреженного внимания система оптимизирует координацию вычислений и хранения данных, повышая в 2–22 раза количество токенов в секунду (TPS) в сценариях с длинными последовательностями и снижая стоимость одного токена.
Представители Huawei объясняют, что при многоэтапных диалогах и поиске информации система напрямую обращается к ранее сохранённым данным, а не пересчитывает всё заново, что сокращает начальные задержки отклика на 90 %.
По данным EETimes China, новая технология Huawei не только повышает эффективность логического вывода ИИ, но и может снизить зависимость от памяти HBM, улучшив производительность логического вывода больших моделей ИИ и укрепив экосистему логического вывода ИИ в Китае.
Со 2 января 2025 года США запретили экспорт чипов HBM2E и более высокого класса HBM в Китай. Этот запрет распространяется не только на чипы HBM, произведённые в США, но и на те, что были изготовлены за рубежом с использованием американских технологий.
Прорывы Huawei в области логического вывода ИИ не являются чем-то новым. Согласно отчёту, компания достигла множества важных результатов, в том числе разработала решение для логического вывода DeepSeek с открытым исходным кодом совместно с Пекинским университетом и добилась повышения производительности своей платформы Ascend. Кроме того, партнёрство Huawei с iFlytek принесло заметные результаты, позволив широкомасштабно распространять экспертные модели MoE (смесь экспертов) в отечественной вычислительной инфраструктуре, увеличив скорость логического вывода в три раза и сократив задержки в два раза.
Сообщение Компания Huawei представила UCM (Unified Computing Memory) появились сначала на Время электроники.