贵州工匠行申请轻量化自然语言处理大模型训练方法专利，降低计算的复杂程度,进行,精度,混合

金融界2025年4月26日消息，国家常识产权局信息显示，贵州师范大学;贵州工匠(jiang)行科技(ji)有限(xian)企业(si)申请一项名为(wei)“轻(qing)量化自然语言处理大模型训练方法”的专利，公开号CN119862925A，申请日期为(wei)2025年3月。

专利摘要显示，本发明公开了轻(qing)量化自然语言处理大模型训练方法；包括如(ru)下步骤，获得处理语言数据；得到已标注的增强(qiang)数据集；通过语义复(fu)杂度动态激活子网络的稀疏化机制(zhi)，计算得到激活掩(yan)码(ma)；通过激活掩(yan)码(ma)的参数敏感度生成量化位宽；对混合精(jing)度量化策(ce)略进行交叉反馈调节；对训练的学生模型进行评(ping)估。本申请通过动态稀疏激活、混合精(jing)度量化及协同优化，解决了大模型轻(qing)量化中的静态策(ce)略僵化、量化精(jing)度损失、常识迁移低效等核心问题(ti)；动态稀疏激活替(ti)代(dai)传统静态剪枝，减少语义损失；为(wei)了实现对增强(qiang)数据集进行优化的特(te)征提取，采用融合优化特(te)征；混合精(jing)度量化有效的实现对计算的复(fu)杂程度进行降(jiang)低。

来源：金融界