央广网北京3月28日消息 自去年来，从Open AI推出O1推理模型，到Anthropic跟进推出非常(chang)依(yi)赖推理能(neng)力的“Computer Use”的Agent功能(neng)，再到DeepSeek R1推理模型在全球火(huo)爆，以及英伟(wei)达在GTC大会上亮相首款推理模型、首个推理App(jian)等(deng)，这些科技巨头的动作一再揭示一个趋势——AI大模型的竞争焦点(dian)已经转向AI推理，AI推理时代已经到来。
巴克莱报(bao)告(gao)预计，AI推理计算需求将快速(su)提升，预计其(qi)将占(zhan)通用(yong)人工智能(neng)总计算需求的70%以上，推理计算的需求甚(shen)至可以超过训练计算需求，达到后者的4.5倍(bei)。黄仁勋则(ze)预测(ce)，推理所(suo)需算力需求规模增长能(neng)“轻松超过去年估计的100倍(bei)”。
面对新兴的AI推理需求，推理性能(neng)、效率以及成本毫(hao)无疑问是最核心的问题，而边缘计算在靠近数据生成源的地方进行处理和推理，具有(you)低延迟、数据隐(yin)私保护和高效能(neng)等(deng)优势，被视作AI推理的理想位置，由此将成为竞争的新战场。
步入(ru)AI推理时代
在DeepSeek出现之前，AI大模型的部署与(yu)训练需要大量的资(zi)金投入(ru)和大规模算力的部署、维护，中小(xiao)企业很难自建生态以进行大模型的开发，同时也受制于(yu)AI大模型闭源带来的部署与(yu)使用(yong)门槛。
而DeepSeek采用(yong)大规模跨节点(dian)专家并(bing)行的模式，利用(yong)强化学习来减(jian)少人工依(yi)赖和数据缺(que)失的问题，通过全面开源的方式，将AI推理资(zi)源池成本降到百卡/千卡范围，真正降低AI大模型在行业用(yong)户环境中的部署与(yu)使用(yong)成本，同时，部署方式更加轻量、灵活，为行业提供了全新的解决方案。短短两个月的时间(jian)，国内外的科技、金融、政务、能(neng)源、通信、汽车、高校等(deng)各行各业均已纷纷接入(ru)DeepSeek，用(yong)于(yu)业务提效和AI应用(yong)创新。
这让更多人以更低成本享(xiang)受到了AI的高性能(neng)，加速(su)了端侧AI的爆发与(yu)普(pu)及，同时也推动了AI格局向大规模推理转变(bian)。
边缘计算的必要性与(yu)优势
由于(yu)AI推理会为终端用(yong)户运行工作负载，响应速(su)度和位置尤为关键，这意味着在边缘或边缘云环境中进行推理更有(you)优势。对于(yu)企业而言，靠近节点(dian)的边缘云可以有(you)效提高数据交互(hu)和AI推理的即时性与(yu)效率，并(bing)保障信息安全。
具体来看，边缘计算地理分(fen)布广泛，更靠近用(yong)户，是低延迟体验的必要条件(jian)。同时边缘计算通过缩短交互(hu)链路，能(neng)够大幅(fu)降低数据传输开销和成本。以语音数字人场景为例，相较(jiao)中心云，在靠近用(yong)户的边缘侧接入(ru)，使得语音数据传输链路短，用(yong)户体验明显优于(yu)中心推理，而相较(jiao)设备端，又可以降低对终端设备的依(yi)赖，模型能(neng)力的优化升级更加简便。
其(qi)次，边缘节点(dian)容(rong)量大、健壮性强、可用(yong)性高，叠加边缘推理后，更具智能(neng)、更加高效，能(neng)够更好支撑企业数字化、智能(neng)化;并(bing)且边缘计算还能(neng)保障业务连续性，通过业务调度能(neng)力实现节点(dian)故障时的快速(su)切换。
再者，在边缘侧可以提供更多能(neng)力，比如边缘缓存，实现交互(hu)内容(rong)的就近存储(chu)，减(jian)少网络流量、提升模型的实时性，比如集(ji)成安全的边缘防护，增强大模型部署和应用(yong)的安全性。
市场加速(su)竞争，厂商积极布局
AI推理市场的主要竞争者包括AI硬件(jian)厂商、模型厂商以及AI服务提供商，可以看到，参与(yu)者们已经在瞄准边缘计算进行布局。
比如硬件(jian)层面，苹果、高通等(deng)厂商积极研发边缘AI芯片，应用(yong)在AI手机和机器人上，支撑边缘端的大模型运行；Arm发布了边缘AI计算平台，可运行超10亿参数的端侧AI模型；国科微推出了AI边缘计算芯片，可适配包括轻量级LLM语言大模型、AIGC生成式模型、CV大模型以及多模态大模型等(deng)。
平台服务层面，英特尔推出了基于(yu)英特尔锐炫TM显卡的边缘端AI推理解决方案，提升AI推理速(su)度；阿里云推出了边缘容(rong)器云，助力开发者实现更快速(su)的AI推理应用(yong)的迭(die)代和部署；网宿科技打造了边缘AI平台，提供ServerlessGPU、边缘AI网关、边缘模型微调与(yu)推理服务等(deng)，帮助企业低成本、高效率地实现AIGC创新。
目前AI推理市场正处于(yu)快速(su)发展期，竞争格局尚未完全固化。专家认为，未来市场竞争的核心要素在于(yu)成本/性能(neng)的计算，即包括推理成本、延迟和吞吐量。
聚焦到边缘计算这一切入(ru)点(dian)，资(zi)源与(yu)技术能(neng)力将是参与(yu)者竞争取(qu)胜的关键。
以网宿科技为例，作为边缘计算领(ling)域的头部玩家，于(yu)2011年就已探(tan)索边缘计算，早已形成从资(zi)源、产品、能(neng)力、安全到应用(yong)的一体化布局。资(zi)源方面，网宿在全球拥有(you)近3000个节点(dian)资(zi)源和丰富的GPU算力资(zi)源，更贴近业务边缘，具有(you)低时延优势，例如在与(yu)大模型交互(hu)的链路中，能(neng)够将模型交互(hu)效率提升2-3倍(bei)。
而在技术能(neng)力上，网宿沉淀了完备的技术栈，依(yi)托异构计算资(zi)源的虚拟化和容(rong)器化、全球海量节点(dian)的编排(pai)管(guan)理等(deng)关键技术，能(neng)够支撑大规模模型能(neng)力的调度和运营，为企业提供高可用(yong)服务；此外，还通过边缘函数自定义更多个性化的功能(neng)，结合企业业务场景提供个性化的智能(neng)解决方案。
据悉，网宿边缘AI平台已经深入(ru)医(yi)疗、家居(ju)、媒体、互(hu)联网等(deng)行业，应用(yong)于(yu)AI辅助开发、AI问答、AIOT、AI评论等(deng)场景，比如网宿利用(yong)RAG技术构建常识(shi)库(ku)，并(bing)结合边缘AI推理模型，为某医(yi)疗企业构建了智能(neng)AI问答系统，明显提升了医(yi)疗咨询的效率。
可以预见(jian)，随着模型技术的不断演进和边缘计算能(neng)力的持续提升，AI推理将迎来一场革新，为产业带来更多创新机遇。