DeepSeek V4 се нарежда сред най-ресурсоемките внедрявания на отворен модел за инференции (изводи, заключения) досега, изисквайки оптимална работа на всички ключови компоненти в инфраструктурата: отделяне на най-важното, изпълнение на MoE модели, квантизация, предвиждане на множество токени (multi-token prediction), планиране, заснемане на графики и разпределена инференция. В рамките на по-малко от месец AMD Instinct™ MI355X GPU постигна над 100-кратно увеличение на производителността върху същия хардуер благодарение на последователни подобрения в изчислителните ядра и софтуерния стек (Фигура 1). Днес MI355X GPU осигурява водеща производителност на GPU при работа с DeepSeek модели и конкурентно предимство по отношение на разходите за генериране на токени. Фигура 1: Граница на производителността (throughput frontier) на DeepSeek V4 Pro върху MI355X GPU през първите няколко седмици. Източник: InferenceX open-source benchmarks. Производителност в реални среди При инференцията в реална среда не е достатъчно да се измерва единствено максималният брой генерирани токени в секунда. Истинският показател за ефективност е способността на системата да поддържа висока пропускателна способност, като същевременно осигурява бърза реакция и плавно потребителско изживяване. При DeepSeek V4 Pro, оборудваната с ATOM платформа AMD Instinct™ MI355X GPU постига или надминава производителността на B200 и B300 с Dynamo vLLM по отношение на пропускателната способност на GPU в по-голямата част от...