此图片为ai生成 2about me – 郑岩，from 华为云bp&it团队•山东人@深圳•4年sap，9年华为•华为云数智使能团队负责人•ai 知识 数据 ta•终身学习者 通过本次分享，你可以了解到：•华为云客服ai“养成之路” •华为云客服ai落地过程中，遇到的“三道坎”及解题方法•在企业中应用ai大模型的 “避坑指南” 目录1.探路篇：华为云客服ai助手工作复盘2.避坑篇：在企业内部应用ai大模型的思考 5华为云客服业务背景：最重要的客户触点之一，如何持续提升用户体验和问题闭环效率？j9九游会登录入口首页新版官网智能客服客户客服坐席sre1.坐席专员流失率高，经验沉淀困难2.业务复杂、变化快，赋能周期长痛点2痛点1随业务量增长，坐席人数线性增加 6阶段1：2017~2019年核心诉求：业务作业过程线上化作业数字化•工单处理线上化•j9九游会登录入口首页新版官网智能客服（qa bot）•知识库建设客服业务的技术演进历程：期待能够面向客户和坐席，提供更“有用”的客服ai助手阶段2：2019~2022年核心诉求：借助知识及“传统”ai手段，沉淀经验资产，提升人效阶段3：2023~（探索中）j9九游会登录入口首页新版官网智能客服升级 | 客服坐席ai助手核心诉求：ai大模型驱动生产力跃迁 7客服ai助手的“养成之路”阶段③：盘古11b 提示词工程 rag（向量索引） 人工标注 sft微调问题：人工标注效率低、标注质量差，谁来标、谁来检？阶段②：盘古11b 提示词工程 rag问题：模型能力不足、上下文过短、关键词检索不准阶段④：盘古11b 提示词工程 rag 人工标注 sft微调 作业即标注 ai萃取经验知识问题：部分产品存量知识不够，冷启动效果差、周期长阶段⑤：盘古38b 提示词工程 rag 人工标注 sft微调 作业即标注plus ai萃取经验知识 持续运营问题：日调用超100w次，资源和性能瓶颈凸显，如何高效使用资源？如何解决复杂问题？阶段①：poc，盘古11b内测，直接作答问题：通用大模型不理解垂域知识、信息安全如何保障？•联合ei服务，早期试用盘古大模型•联合ei服务，早期试用css向量索引及盘古大模型sft能力•客服ai插件版上线，试点团队推广•认证ai训练师，发布ai标注规范和流程•客服ai助手融入作业流程，ai萃取历史工单经验•覆盖客服全员，组建客服ai运营团队•落地data grounding、多模态解析，探索语音场景now：最新模型，客服ai助手方案沉淀，孵化ai core，复制到sre、营销、smb辅销2hvh� 23.032023.052023.072023.092023.112024.q1第 ① 道坎：如何让ai大模型能“做事”？第 ② 道坎：如何让ai飞轮“低功耗”转起来？第 ③ 道坎：如何让ai能力持续提升？：跨过“三道坎”，依然还在路上... 8① 让ai大模型能“做事”，当前仅靠简单的r a g还远远不够，还需要3个关键配套1、rag是当下性价比最高的llm落地方案，本质上是一种工程化“代偿”方案2、但是，rag搞demo容易、落地难，还需要几个关键配套•配套1：工程化实现•配套2：企业知识管理•配套3：全链路监控/评估source: codeconductor.ai 9附： rag工程化实现方案，初看是搜索，越做越是agent原始问题上下文向量知识湖融合搜索badcase分析客服坐席开卷问题解答① 自动n：输出topn知识片段j9九游会登录入口首页新版官网资料案例/wiki知识语义化&切片...y：输出标准答案意图理解优质qs拦截知识整理后，入知识库补充 盘古 盘古 盘古 盘古标注、反馈 10② 只有让ai飞轮“低功耗”转起来，才能让“ai养成”这个游戏持续的玩下去•企业场景用户量有限（k级），反馈率极低（<5%）；拿不到足够的反馈，就无法支撑ai持续迭代，怎么破？客户提出问题接收答案ai循环作业循环冷启动人工坐席作业即标注ai答的好√修改ai结果后发给客户直接发给客户ai答的差×ai作答坐席作答过程记录ai检索增强ragai模型微调sftai训练师经验标注资料团队、知识运营知识我们的解题思路：“作业即标注”，重新设计作业过程，将ai反馈流程与作业流程融合，以驱动ai飞轮 11③ 持续提升领域ai大模型能力的“秘方”是什么？•如何让ai大模型的能力提升符合预期：理解垂域知识，执行垂域任务，有更多数据和算力来持续投入训练l0.fl1.fl1.cl2企业/行业数据增量预训练通用指令数据sft场景指令数据sft我们的解题思路：1、一套企业级的l1大模型•集中资源和精力，打磨一个“懂行”的企业级l1基模型（也可能是开源的行业大模型）2、深刻理解数据，才能持续提升数据质量•对训练数据集建模，本质上是在对业务任务建模（尝试弄清楚ai到底缺啥数据？缺多少？ -- “实习生测试”）•持续改进训练数据和提示词（多看数据 评测体系）•不断research（当然，得先做search） 12客服ai应用试点情况：过去一年时间，在ai辅助下，工单平均处理时长下降35.11% 13最终，你会发现：ai大模型落地不仅仅是it挑战，还是一场业务变革...华为ai变革“3层5阶8步法”：以业务价值目标为牵引，流程 组织 数据 it，端到端变革④组织变革•业务专家•数据专家•技术专家•数据工程师•知识工程师/专家•提示工程师（初阶）•ai训练师（中高阶）•ai研究员（高阶）•作业人员具备ai初阶技能和数据工程师•业务专家向ai高级训练师和kmer转变层二ai开发与交付1.高质量数据的采集清洗转换2.模式数据集的专家撰写和扩增初阶：模型选型，prompt中阶：微调，外挂知识库，botmaker高阶：ai数据集，领域模型训练⑤数据和知识工程⑥ai建模与发布层三持续运营智能应用层一重新定义智能业务①明确目标②场景识别③重塑流程1.生产力、竞争力和客户体验提升2.防控关键风险与安全3.提升业务效率降低成本1.识别高能耗点2.业务 数据 技术 三个准备度评估3.机会点优先级选择1. 业务流程重构2. 信息流设计闭环，作业即标注第一阶：场景第二阶：流程第三阶：组织第四阶：数据第五阶：it第五阶： it⑦ai融入业务应用⑧ai持续运营1.ai评测上线2.大小模型编排3.sal治理1.获得反馈2.对数据和知识刷新和修正。3.对模型持续校准和训练 目录1.探路篇：23年ai辅助华为云业务工作复盘2.避坑篇：在企业内部应用ai大模型的思考 15思考：在企业中应用ai大模型的几个“坑”1.ai大模型的“代偿”一时爽，一直“代偿”能一直爽吗？2.我的it团队能“适应”ai大模型应用时代吗？应该从哪儿开始搞起？3.ai大模型应用到底是“ ai ”还是 “ai ”？ 16沿着ai大模型的第一性原理，一切才刚刚开始，别在ai大模型前进的车轮下“绣花” 思考：ai技术“大变局”下，哪些是不变的？ -- 更快、更准、更长、更便宜、更多模态google geminiopenai gptanthropic claudesrouce: 《big ideas 2024》 by ark investsource: claude \ anthropicsource: gemini - google deepmindsource: models - openai api 17因地制宜，选择合适的“游戏模式”，组建genai应用团队，与ai大模型共同成长思考：与传统it团队人员配置差异很大；从应用角度，用好icl，辅以sft，按需做增量预训练，是不错的选择genai应用团队与传统it应用团队差异很大•面向ai大模型的应用设计和开发•人才第一、数据第二、算力第三（英雄出少年，关注优秀genai团队的构成）三种“游戏模式”，该选哪个？123source: by bijit ghosh | medium业务baai训练师（评估/标注）it产品运营 ai助手运营（运营ai助手 & ai训练师）it sa ai sa（ai加持的j9九游会登录入口首页新版的解决方案）it se ai se（提示词工程/算法/训练）it产品经理 18以终为始，用“ai ”思想设计，以“ ai”来逐步改变，当下正是“春耕时节”思考：当下是与业务建立统一认知、组建团队、练兵的好时机；应当甄选“好”场景，小处着手，低垂的果子先摘source: spacex - missions: mars 19take away：春耕时节，大处着眼，小处着手•我们的“探路”报告①为了让ai大模型能“做事”，rag有用，但远远不够，需要三个配套（工程化实现、企业知识管理、全链路评测）②为了让ai飞轮“低功耗”转起来，重新设计业务流程和it交互，让ai大模型融入作业（“作业即标注”）③为了持续提升领域ai大模型能力，需要建立企业级l1，并对训练数据建模，以改进数据质量④加餐：企业ai变革的“三层五阶八步”方法论（以业务价值目标为牵引，围绕组织、流程、数据和it的变革落地）•我们的“避坑”指南①ai大模型未来会“更快、更准、更长、更便宜、更多模态”，别在前进的车轮下“绣花” ②组建genai应用团队，从应用角度用好icl，辅以sft，按需做增量预训练③甄选“好”场景，小处着手，低垂的果子先摘，当下是非常好的机会窗来储备 j9九游会登录入口首页新版 copyright©2018 huawei technologies co., ltd.all rights reserved.the information in this document may contain predictive statements including, without limitation, statements regarding the future financial and operating results, future product portfolio, new technology, etc. there are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements. therefore, such information is provided for reference purpose only and constitutes neither an offer nor an acceptance. huawei may change the information at any time without notice. 把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。bring digital to every person, home and organization for a fully connected, intelligent world.thank you.谢谢大家！期待共同交流、成长~wx: 关山的月儿