央广网北京4月25日消息 随着海(hai)外AI算力供应链不确定性增加,面对强势的大(da)模型训练推(tui)理(li)需求(qiu),国产AI芯片迎来发展(zhan)新机遇(yu)。而(er)80%的算力需求(qiu)正在向推(tui)理(li)场景集(ji)中,由于推(tui)理(li)场景对GPU峰值性能的要求(qiu)相对放(fang)低,更多规格国产GPU已(yi)具(ju)备支(zhi)持大(da)模型应用的能力,推(tui)动(dong)海(hai)外AI芯片与国产芯片混合部署成为企业AI算力新常态。
然(ran)而(er),混合AI算力的构建面临诸(zhu)多挑战,包括算力利(li)用率低下、异构资源(yuan)管理(li)困难、国产化替代进程加速等现实问(wen)题,正成为制约大(da)模型规模化落地的核心瓶颈(jing)。京东云vGPU AI算力平(ping)台,以创新性的GPU算力池化技术和异构算力统(tong)一管理(li),助力企业快速构建异构AI算力基础设施,重塑(su)AI生产力。
大(da)模型落地面临三(san)重算力困局
当前,众多智(zhi)算中心面临一个(ge)严峻的现实,购买了昂贵的GPU卡,但集(ji)群MFU(模型算力利(li)用率)却很低。某头部证券企业AI负责人坦言:“大家的数百张GPU卡,实际利(li)用率不足30%,但业务部门仍在不断要求(qiu)扩容。”
行业普遍面临三(san)大(da)核心痛点。首先是(shi)GPU资源(yuan)空转闲置:传统(tong)物理(li)卡部署模式下,推(tui)理(li)任务往往占用不到30%的算力,却需独占整张显(xian)卡。其(qi)次是(shi)异构资源(yuan)管理(li)困难:同时存在英(ying)伟达、昇腾等多类加速卡,不同芯片需要独立运维体系,资源(yuan)池化率不足50%。第三(san)是(shi)安全与性能难以兼得:部分机构采用开源(yuan)vGPU方案,但用户态算力池化带来性能损(sun)耗高,且存在任务干扰风险。
京东云vGPU算力池化,破解AI算力困局
面对这些行业难题,京东云推(tui)出(chu)vGPU AI算力平(ping)台,支(zhi)持算力资源(yuan)统(tong)一纳管、精细化运维,具(ju)备内核级1%算力和MB级显(xian)存的细粒度切分与池化能力,损(sun)耗控制在0.1%,毫秒级任务优(you)先级抢占,丝滑支(zhi)持训推(tui)混部,并(bing)且全面适配十余家国产化算力资源(yuan),帮助客户低成本、高效率使用大(da)模型。
第一,内核级精准算力切分:凭借创新的GPU算力切分技术,内核级1%算力和MB级显(xian)存的细粒度切分与池化能力,犹(you)如"手(shou)术刀"般将单卡分割为多个(ge)虚拟实例,实现了资源(yuan)的动(dong)态分配,GPU利(li)用率最高提升70%。
第二,异构算力统(tong)一纳管:提供对多元异构算力资源(yuan)的统(tong)一管理(li),有(you)效屏蔽异构算力复(fu)杂性,并(bing)兼容国内外主流深度学习AI框架,帮助客户快速构建面向大(da)模型的训推(tui)一体化高性能基础设施,降低运维复(fu)杂度。
第三(san),全栈自研算力平(ping)台:京东云全自研vGPU技术,通过内核态拦截(jie)和推(tui)理(li)引擎(qing)加速构建产品(pin)核心竞(jing)争力,内核驱动(dong)级优(you)化提升单台服务器推(tui)理(li)性能50%,同时借助AI全密态机密容器能力,确保模型参数与训练数据(ju)双域零泄露,为用户提供金融级安全防护。
服务数十家头部客户构建异构AI算力基座
当前,京东云vGPU AI算力平(ping)台凭借内核级算力池化、全栈自研可控、金融级安全等差异化优(you)势,已(yi)服务数十家头部银行、券商(shang)、基金、保险、运营商(shang)客户。
华夏基金积(ji)极拥抱AI技术,在GPU资源(yuan)管理(li)方面,华夏基金面临提升资源(yuan)利(li)用率和降低运行成本的双重挑战。通过采用京东云的vGPU算力池化技术,华夏基金将物理(li)GPU资源(yuan)进行了细粒度的切分,实现了资源(yuan)的动(dong)态分配和优(you)化利(li)用。这一技术的应用,使得华夏基金的GPU利(li)用率最高提升了70%,大(da)幅降低大(da)模型推(tui)理(li)成本。
北京银行与京东云携手(shou),上线银行业首个(ge)基于异构计算的DeepSeek满(man)血版。依托京东云异构计算能力,北京银行创新性地采用vGPU弹性资源(yuan)分配方案,实现了算力资源(yuan)的高效复(fu)用与灵活调度,算力模式秒级供给,内核级1%算力和MB级显(xian)存的细粒度切分与池化能力,并(bing)全面适配国产算力资源(yuan)。
某知名证券企业原有(you)集(ji)群GPU资源(yuan)分散,整体利(li)用率长期徘徊在25%。部署京东云vGPU AI算力平(ping)台后,将分散在5个(ge)业务系统(tong)的GPU资源(yuan)池化,形成统(tong)一AI算力池,AI算力分时复(fu)用实现多团队共享,推(tui)理(li)任务资源(yuan)满(man)足率从65%提升至98%。
面向未来,京东云将持续投入技术自研,提供更高性能、更低成本的智(zhi)算产品(pin),助力企业快速构建落地大(da)模型的算力基座,重塑(su)AI生产力。