靖江市企业党建文化标识自媒体网

商汤大装置昇腾原生开发实践:集群规模扩展至3倍,线性加速比超97%

北京商报讯(记者 魏蔚)9月25日,北京商报记者获悉,商汤大装置事业群研发总监张行程在华为全联接大会2024上分享了商汤大模型基于昇腾原生开发实践。商汤通过高效并行、通信优化及网络架构感知和任务调度等软硬优化技术,构建了大规模并行训练加速系统,其中102B模型的训练性能达到了业界的120%以上,集群规模扩展至3倍后线性加速比97%以上。基于昇腾计算生态,商汤还建设长序列并行训练加速机制,与业界相比,4K序列性能提升1倍以上,32K序列性能持平,还能处理128K长序列训练。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 190277521@qq.com举报,一经查实,本站将立刻删除。 转载请注明出处:http://jjhmqgg.com/post/7055.html

分享:
扫描分享到社交APP
发表列表
请登录后评论...
游客 游客
此处应有掌声~
评论列表

还没有评论,快来说点什么吧~

x

注册

已经有帐号?