计算算力为基，共建智能新生态迈向智能世界白皮书2023 目录1趋势三：ai生态加速收敛，为国内ai生态带来新的机遇和挑战0302趋势二：百模千态，ai加速覆盖千行百业趋势一：ai能力出现拐点，从预测推断走向内容生成01趋势四：操作系统面向ai持续演进04趋势五：arm逐步成为行业数字化算力主流选择05 安防-视觉互联网-推荐ai能力出现拐点，从预测推断走向内容生成•2015年cv类视觉识别超过人类，可部分替代人眼/耳，主要用于物体识别和发现，催生了千亿级智能安防产业。•2022年底基于nlp的chatgpt学会思考会学习，用于理解和生成，gpt-4已初步具备自主学习和思考能力，在文本/图像/音频/视频/代码等脑力劳动场景中已达到人类80%的水平，可替代较高端脑力劳动工作。2随着nlp领域的突破，ai的内容生成成为新的增长热点ai重点事件里程碑ai技术里程碑ai产业发展浪潮1956年达特茅斯会议专家系统1997年“深蓝”战胜人类2015年视觉识别超过人类2022年chatgpt内容生成、知识传递2c：社交、消费2b-通用：办公、编程、搜索、营销、设计2b-行业：医疗咨询、网络自治、智能风控、结构化感知、大数据分析、舆情分析、新闻采编、内容剪辑、智能教学....2023年gpt-4具备自主学习能力nlpcvai4sgan控制论深度学习chatgpt...gpt4gemini ai能力落地越来越简单模型架构趋于收敛ai能力出现拐点，从预测推断走向内容生成3模型架构向transformer收敛，ai应用落地越来越简化•transformer结构在图、文、音多个领域表现优异，大模型的基础架构向transformer结构收敛，大量基于transformer结构的大模型涌现。•ai大模型技术快速发展，ai算法与应用的开发、上线部署与业务发放等过程均大幅简化，有大量开源可用的开源大模型，有丰富的大模型微调算法，主流框架均支持低代码的开发构建大模型的能力，业界主流厂商联合发布大模型的一体机。大模型创新全流程使能主流ai框架预训练大模型开发套件微调算法大模型一体机大模型基础架构向transformer结构收敛transformer架构结构扩展性好，统一多模态计算架构cnn、lstm、gan、rnn、dbn...等多种架构小模型收敛大模型yolo、resnet、bert、openpsoe、centernet、repvgg...gpt、palm、llama、bllom...丰富的开源可用大模型gpt | llama| t5 | bloom | swin| vit| glm | rwkv ...高效构建大模型transformer网络结构大模型开发套件支持低代码构建大模型低参微调获得场景模型lora、prefix-tuning、lowrankadaper、bitfit、...ai应用行业落地 ai能力出现拐点，从预测推断走向内容生成4模型的参数量仍在扩大，大模型算力需求6个月翻一番•scalinglaw尚未见顶，万亿多模态大模型是新的热点，模型表现强烈依赖于模型规模，随着计算量、数据量和参数量提升而提升；相同参数下，更深的模型拥有更好的性能。•多模态数据成为大模型训练主要数据，对于算力需求是文本数据的百倍，大模型算力需求6个月翻一番的趋势，预计至少持续到2030年。scaling law尚未见顶moe万亿参数大模型是新的热点大模型算力需求6个月翻一番的趋势预计至少持续到2030年epoch预测: 《projecting compute trends in machine learning》模型模型结构参数量激活参数量chatgptdense-decoder 175b175bgpt-4moe-decoder1.8t112.5bgalmmoe-decoder1.2t96b盘古sigmamoe-decoder only（rroe)1.08t38bswitch-cmoe-encoder decoder1.5t1.5b............•模型表现强烈依赖于模型规模•相同参数下，更深的模型拥有更好的性能。~1022~1028 目录1趋势三：ai生态加速收敛，为国内ai生态带来新的机遇和挑战0302趋势二：百模千态，ai加速覆盖千行百业趋势一：ai能力出现拐点，从预测推断走向内容生成01趋势四：操作系统面向ai持续演进04趋势五：arm逐步成为行业数字化算力主流选择05 讯飞华为百度百模千态，ai加速覆盖千行百业6头部企业积极围绕大模型加速布局产品与服务•人工智能在各个行业的渗透率持续提升，随着ai算法的突破，ai可以覆盖的业务场景快速扩充，从之前以视觉识别为主，到现在的内容推荐、人机互动、创意创作、科学研究等方方面面。•国内头部企业正在积极围绕大模型进行战略布局，主要集中面向三类产品与服务，提前构筑新竞争优势和市场格局：第一种是服务内部，提升自身业务效率与感知；第二是面向中小企业提供ai模型服务，也就是maas（moduleisservice），通过模型开发服务，来深度切入行业；第三种是面向ai创业者/企业提供算力服务，比如政企、运营商及云厂商等。国内头部企业在战略布局大模型机会代码生成、手机/流程it助手盘古，千亿参数•与自身行业、业务特点和需求等深度结合•做好迎接产业格局剧烈变革的准备，提前构筑新产品竞争优势，提升用户体验对内提升自身业务效率与感知1•通过api/三方插件吸引更多应用及数据•通过提供模型开发服务，深度切入行业，掌握行业经验和数据•抓计算业务负载重心向ai转移的趋势•满足企业ai算力需求，构筑数字基础设施格局面向ai创业者/企业提供算力服务3面向中小企业提供ai模型服务2阿里腾讯商汤文心一言，千亿参数搜索引擎、小度、百度云等通义千问，千亿参数搜索、钉钉、天猫精灵、电商等电商、搜索、推荐、游戏混元助手，千亿参数...sensechat，千亿参数编程、咨询、pdf助手，模型服务ai学习机、多语种翻译星火认知，千亿参数 百模千态，ai加速覆盖千行百业7大模型应用加速进入行业生产系统，未来2年将深入50% 行业核心场景aigc持续扩展业务领域和专业知识，正在快速进入业务全流程节点，快速融入各行业核心应用；如办公应用中文字生成极大提升公文，邮件，新闻等编辑效率；软件开发中代码生成可提升开发人员的工作效率，多媒体设计中图像、视频生成类功能已嵌入主流设计软件。openai最新研究(arxiv:2303.10130)模型基础能力模型能力开放行业知识结合智能对话短文创作图片生成视频生成商业文案代码开发结构化感知办公平面广告内容推荐网站制作内容搜索网络自治智能风控医疗咨询辅助诊断大数据分析3~6个月6~12个月12~24个月aigc大模型2023智能问答量化交易文档写作编程设计搜索文档摘要运营商金融医疗生物教育城市大脑社交消费智能客服新闻采编内容剪辑传媒分子生成智能教学城市营销精准获客调研报告通用2b应用行业通用场景数据场景化2b应用行业生产场景核心数据2c现象级应用公开数据集 目录1趋势三：ai生态加速收敛，为国内ai生态带来新的机遇和挑战0302趋势二：百模千态，ai加速覆盖千行百业趋势一：ai能力出现拐点，从预测推断走向内容生成01趋势四：操作系统面向ai持续演进04趋势五：arm逐步成为行业数字化算力主流选择05 ai生态加速收敛，为国内ai生态带来新的机遇和挑战11•大模型技术逐步收敛，生态走向聚合，模型更收敛、框架更归一。•开发更高性能的ai大模型需要更强的算力平台，算力底座技术门槛提高，未来训练核心拼集群系统能力。生态走向聚合，算力底座技术门槛提高模型更收敛框架更归一技术逐步收敛，生态走向聚合算力底座技术门槛提高，未来训练核心拼集群系统能力万级参数时代亿级参数时代万亿参数时代计算需求网络需求存储需求百tf级平台1张gpu卡pf级平台单服务器，8卡ef级平台ai集群，~万卡无互联节点内卡间互联超节点 网络互联gb级存取-服务器硬盘tb级存取-服务器硬盘pb级存取-高并发多级存储x10倍x1000倍x100倍x1000倍x100倍n/a基础大模型10~20个pytorch框架占95% 数万小模型字节有上万个自研模型pytorch、tensorflow，caffe，飞桨等小模型大模型userid:414195,docid:144563,date:2023-11-01,sgpjbg.com 大规模集群的3大挑战ai生态加速收敛，为国内ai生态带来新的机遇和挑战12•高性能ai大模型对算力的需求指数级增长，ai算力平台从单机走向集群。•超大规模ai集群的建设面临着跨域协同、液冷和可靠性3大关键技术挑战：ai集群的液冷大规模商用存在工程挑战；ai集群建设是个系统工程；ai大模型训练依赖ai集群高可用。高性能的算力平台，需要解决3大挑战液冷挑战跨域协同挑战可靠性挑战开发更高性能的ai大模型需要更强的算力平台2020202120232024模型参数集群规模2k卡* 10天6k卡* 10天16k卡* 10天20k~50k卡* 10天gpt-3chatgptgpt-4gpt-520222019now8卡* 10天gpt-22026202850k~100k卡* 10天gpt-6精准液冷芯片到节点、模组到柜级/机房级按需供给工程化部署降低部署/安装/维护成本，提升性价比液冷高可靠水电隔离、漏液关断等，保障系统安全可靠ai算力云服务化超大规模组网高性能存储大规模并行计算集群管理软件跨域协同优化集群是全机大应用，涉及器件数百万/千万级单器件故障触发集群训练中断全流程长，跨域故障根因定位定界复杂故障处理时间长，严重拉低大模型训练效率 目录1趋势三：ai生态加速收敛，为国内ai生态带来新的机遇和挑战0302趋势二：百模千态，ai加速覆盖千行百业趋势一：ai能力出现拐点，从预测推断走向内容生成01趋势四：操作系统面向ai持续演进04趋势五：arm逐步成为行业数字化算力主流选择05 操作系统面向ai持续演进14随着人工智能成为全球各国新的科技热点，人工智能基础设施建设也成为重要抓手与着力点，在开源打造方面，业界应加速推进融入ai的基础设施布局落地。•ai赋能操作系统更智能。操作系统可以使用基础大模型，基于大量操作系统自身代码和数据，训练出操作系统自身的助手模型，实现代码辅助生成、问题智能分析、系统辅助运维等功能。以前需要多个领域专家协同解决的问题，未来都可以交给助手模型。•操作系统使能ai更高效。操作系统通过异构资源统一管理和调度，实现cpu和xpu的深度融合，以更全局、更均衡和更精细化的视角统筹内存和算力，充分挖掘空闲资源，提升有效利用率，进而提升ai训练和推理性能。ai赋能开发者•自然语言交互•打通领域知识广泛的大模型支持glm、llama、baichuan•辅助编程•辅助运维超大容量•pb级异构内存管理•训练效率提升高效算力•异构算力多维调度•推理并发提升ai赋能操作系统更智能操作系统使能ai更高效 目录1趋势三：ai生态加速收敛，为国内ai生态带来新的机遇和挑战0302趋势二：百模千态，ai加速覆盖千行百业趋势一：ai能力出现拐点，从预测推断走向内容生成01趋势四：操作系统面向ai持续演进04趋势五：arm逐步成为行业数字化算力主流选择05 2023年units（h1）2023年全球arm服务器出货量占比预计约为10%arm逐步成为行业数字化算力主流选择16•随着自动驾驶，云游戏等应用兴起，数据中心侧，传统单一架构难以满足要求，端-边-云协同成为趋势，arm算力是从最初的端侧起步，目前在端侧拥有95%以上绝对优势。随着多样性算力发展，arm进入算力更高的服务器领域，基于协同趋势表现出显著的优势，当前在云/数据中心场景已逐步成为主流。•arm在服务器市场的总算力占比稳步提升，arm服务器市场份额不断提升，根据idc报告数据显示，2023年全球arm服务器出货量预计占比约为10%。arm架构服务器已逐步成为通用计算领域新的选择。平板/电脑智能手机ar/vr智能