央广网北京3月26日消息 近日,DeepSeek发(fa)布了模型更新——DeepSeek-V3-0324,此次(ci)升级不仅延续了DeepSeek系(xi)列“低成本、高性能”的(de)基因,更凭借 MLA(多头潜在注意力)和 MTP(多Token预(yu)测(ce))两(liang)大创新技术,将推理速度显著提升。京东云DeepSeek一体(ti)机第(di)一时间完成适配,相比开源版(ban)本性能大幅(fu)提升50%。
单(dan)机支撑超千并发(fa):单(dan)机支撑1000+并发(fa)请求,总吞吐(tu)突破7200 Token/s,可同时服务超大规模企业级AI应(ying)用。
极(ji)致数据吞吐(tu)保障:500并发(fa)时仍保持11.03 Token/s,平衡(heng)性能与用户体(ti)验。
据悉,此次(ci)DeepSeek模型更新,通过MLA技术通过将高维特征压(ya)缩至低维潜在空间,显著减少计算资源消耗;MTP技术则提升数据利用效率(lu),实现时间维度的(de)资源优(you)化。二(er)者的(de)结合,使得DeepSeek-V3-0324在复(fu)杂任务处理中展现出更快的(de)响应(ying)速度与更高的(de)稳定性。
京东云DeepSeek一体(ti)机通过融合MLA+MTP双技术,为(wei)企业提供无缝适配的(de)推理加速方案。此次(ci)支撑的(de)DeepSeek-V3-0324版(ban)本,延续了“单(dan)机即可部署(shu)满血版(ban)模型”的(de)特性,用户无需复(fu)杂配置即可运行完整版(ban)大模型,满足千人(ren)规模企业的(de)并发(fa)需求。
同时,京东云DeepSeek一体(ti)机还支撑HUAWEI(wei)昇(sheng)腾、海(hai)光等(deng)国产AI芯片,兼顾性能与安全自主可控(kong)。并通过采用自研算力池化与智能推理加速引擎,软硬协(xie)同下推理速度较(jiao)开源方案提升高达(da)50%。
当前,京东云DeepSeek一体(ti)机已广泛(fan)应(ying)用于政务、金融、科(ke)研、能源、医疗、工业、科(ke)研等(deng)领域。以“推理加速+算力池化”的(de)双重策略(lue),实现同等(deng)硬件规格下、同等(deng)参数规格下更高效的(de)推理能力和资源利用率(lu),通过将复(fu)杂的(de)AI工程化过程封装为(wei)标准化产品,让企业无需纠结于“造(zao)轮(lun)子”,而是聚(ju)焦于“用AI创造(zao)价值”,更好地进行AI智能化转型。