北京2024年3月27日 /美通社/ -- 3月26日,浪潮信息与英特尔正式宣布,浪潮信息"源2.0系列基础大模型"已和最新的英特尔® 酷睿? Ultra处理器平台完成适配,本地推理速度提升100%。企业可以在全新的英特尔商用客户端AI PC上,使用AI PC大模型效率工具"YuanChat"快速本地化部署和运行"源2.0"大模型, 以更快的访问速度、更高的性能和更好的数据安全控制,轻松完成自动编程、商业数据计算、公文写作等任务,释放大模型在企业应用场景中的生产力和创新力。![]()
浪潮信息与英特尔合作,针对"源2.0系列基础大模型",实现酷睿Ultra AI PC平台推理优化,并推出为AI PC而生的大模型效率工具"YuanChat"。浪潮信息"源2.0系列基础大模型"作为首个全面开源的千亿参数模型,包含1026亿、518亿、21亿等三种参数规模。"YuanChat"是基于"源2.0系列基础大模型"设计的应用工具,旨在以对话形式调用大模型,帮助用户完成数据计算、公文写作、编程设计、知识问答、会议纪要、文本总结与摘要等任务导向型应用,真正实现重塑工作模式,提高生产力水平。 ![]() 基于酷睿 Ultra AI PC上所部署的"YuanChat",用户能够流畅地使用"源2.0-2B模型(Yuan2-2B-Februa-hf)"。作为业界最强的小规模语言模型,"源2.0-2B模型"具有领先的自动编程、数值计算和逻辑推理能力,在Python编程测试(Humaneval)、数学计算测试(GSM8K)中展现出超越ChatGPT3.5及其他百亿(>10B)参数模型的评测结果,已成为最具竞争力的开源可商用模型。
在英特尔商用客户端AI PC上,可以基于BigDL-LLM大模型加速库实现对"YuanChat"的模型量化处理,进一步提高模型的可移植性并加快计算速度,减少资源占用,弥合终端有限的算力与对高精度模型和实时智能应用的需求之间的差距。实测数据显示,在处理复杂任务时,"YuanChat"在保证精度的同时,本地推理效率及性能提升达到100%,进一步降低了企业应用大模型的成本。
『本文转载自网络,版权归原作者所有,如有侵权请联系删除』 |
关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )
GMT+8, 2025-8-24 20:13 , Processed in 0.109375 second(s), 28 queries , Gzip On.
地址:深圳市南山区科技生态园2栋A座805 电话:19926409050