继大模型接入手机后，华为又迈出了坚实的一步
上周的华为开发者大会2023上，华为官方正式公布新一代鸿蒙系统HarmonyOS 4，此次升级的一大看点是接入了大模型。据官方介绍，自2019年推出鸿蒙系统以来，鸿蒙生态的设备数量已经超过7亿，换言之通过此次系统升级，能体验到手机端大模型服务的用户数也将数以亿计。
就在各家友商还没有很好的应对措施时，现在的华为又带来了全新的AI助手“小艺”，说句话它就能帮你写邮件，来串指令就能搭建场景，给张照片就能生成不同的风格作品。在外人惊叹AI正向我们的生活加速渗透时，此时的华为或许正微微一笑：“大模型接入手机，易如把大象塞进冰箱。”
一、大模型带来的多功能
华为云此前已经发布了“盘古”大模型，毫无疑问小艺接入的也是盘古。后来官方将盘古升级到3.0版本时提出三层模型架构：
L0:基础大模型，包括自然语言、视觉、多模态、预测、科学计算;
L1:N个行业大模型，比如政务、金融、制造、矿山、气象等;
L2:更细化场景的模型，提供“开箱即用”的模型服务
其中L0层基础大模型的最大版本包含千亿级参数，仅预训练阶段使用的tokens就超过三万亿。而小艺正是在L0基座大模型的基础上，针对终端消费者场景构建了大量的场景数据，并对大模型产品进行了一系列微调，最后炼成的对话模型，可以归纳到L1层。在微调阶段时，小艺加入了覆盖各行各业终端消费者可能遇到的主流数据类型，如各种对话、旅游攻略、出行指南、设备操作、衣食住行，吃穿用度等。这能很好覆盖普通用户日常对话的知识范围，并且可以通过机器学习功能，在对话中增强大模型对话的事实性、实时性，同时保证安全合规等。
二、大模型的上机之路
过去介绍过，大模型之“大”主要是包含的参数量级大，动辄成百上千亿，也正是因为这种特性，大模型在专业设备以外的地方部署和快速响应上都有不小的困难。华为为此采取了“对症下药”的策略。
在部署方面，华为正在加强攻坚，不断增强大模型云端协同能力。其中端侧可以先对用户请求和上下文信息做一层预处理，再将预处理后的请求发送到云侧。这样一来，就可以保证大模型既发挥端侧响应快的优势，又能通过云端来提升问答和响应质量，同时也能更好的保护用户隐私数据，为解决当前令人头疼的问题提供了值得参考的解决办法。
而在快速响应上，华为为小艺专门做了系统性工程优化，包括从基层芯片、推理框架、相关算法算力、输入输出长度AI助手等涉及到的全链路。通过对各个模块时延进行拆解，华为对各部分优化目标细致入微的细化并优化，再利用各种方式，齐头并进，多种办法齐上阵，一起提高响应速度。此外还有点不易察觉的，提示词的长度和语句输出的长度也会影响大模型推理速度。针对此问题，华为依然采取“对症下药”的措施，先细分不同场景，在针对不同场景可能用的提示词和输出格式做了逐字分析并压缩，最终实现推理时延减半。
从技术的整体架构来看，华为、小艺、大模型三者的结合，不是简单的对AIGC、聊天机器人等任务进行强化，而是以大模型为核心，全方位的进行了系统级增强。换言之，就是让大模型成为系统的“大脑”，其他部分相互配合，彼此协作。
三、小艺的本领
在盘古的帮助下，小艺将在智慧终端交互、提升生产力和个性化服务三个方向持续提升。具体到小艺的典型对话流程则可分为三步:1.接收用户问题，基于上下文理解或小艺的记忆，分析问题该如何处理。2.根据请求类型调用不同能力，包括知识检索、创意生成、元服务检索等。3.所有生成的回答会经过风控评估，再返还给用户。此外，小艺在细节上也做了深入且细致的把控，以确保问答、执行任务的效果。
同时华为也表示，所有AI体验创新和场景设计都以安全与隐私保护为第一原则，旨在打造更负责任的AI，并承诺小艺和其他AIGC相关内容都会进行标识。鸿蒙4采用了全新的华为方舟引擎，实现在图形、多媒体、内存、调度、存储、低功耗等能力的显著提升，这些功能中有许多都可以应用于小艺。
为了能更好评估并帮助小艺改进，华为特地构建了一个完整测试数据集，不仅能用来评测现阶段大模型能力，也能基于评测结果指导小艺在数据和能力上的构建与改进。同时想让小艺掌握工具调用，也是不小的难题。设备控制需要大模型生成超长的复杂格式文本，其中不能出现任何格式错误，否则中控系统将无法解析和对接。
为此华为一方面用提示词摸清楚盘古的“脾气”，同时加强大模型的代码能力，进而增强模型的格式遵从能力，最终实现了格式几乎完全一致。而针对复杂场景，小艺的方式则是先利用大模型充分学习和理解工具场景，再进行推理。经过此组合拳的努力，团队优化模型设备控制效果从之前的完全不可用，逐步提升为现在的可用度超过八成。而且鸿蒙系统也在不断进化，也使得优化现有API成为可能。通过这种反向适配，最终促成小艺与大模型结合后能更好的发挥特长。
四、为什么是华为？
都知道大模型在底层基础研发的积累和攻关必不可少，不过还有一点值得关注，那就是华为选择了从实际场景做切入，来确定该如何让大模型和智慧助手乃至整个操作系统做结合。用华为自己的话来说就是:Talk is cheap. Show me the Demo.（空谈很廉价，我要看演示。）而盘古和小艺展示的诸多体验，基本也都来自于华为研发团队成员日常感知到的场景。
比如有人习惯开车路上听新闻，太长的又不方便听，所以在小艺中出现了资讯总结的功能。还有人发现自己在写购物评论、生日祝福的时候总是无话可说，所以小艺中出现了文案生成功能。同时这种对场景体验的关注也正是鸿蒙系统天然的优势，所以这也是鸿蒙与小艺，盘古结合的基础之一。而且自诞生以来，鸿蒙就没有局限于手机端，而是面向多种终端、全场景。经过多年的发展，如今已经打造出“1+8+N”全场景生态。现在小艺也已部署在了1+8设备上，未来将结合全场景设备的业务形态，逐步把拥有大模型能力的小艺部署到消费者全场景体验之上。
更底层，意味着更彻底与更全面，同时对研发来说也有更大的挑战。比如不仅要有足够坚实的底座技术，还需要进行系统级的优化迭代，同时也对场景理解、用户需求感知等问题提出极高的要求。对应起来看，华为是国内赶上大模型浪潮的手机厂商之一，还有构建全栈AI开发能力，数以亿计的鸿蒙用户量......
所以至此相信也不难理解了，为什么是华为能把大模型与AI助手接入手机。
为什么不能是华为呢？
- 1以赛促旅推动经济发展，四川各地谋新求变争当“显眼包”
- 2库克的60条商业思考：苹果公司一直在遵照“北极星”的指引
- 3新经济观察｜体育消费产业环节众多，折射消费升级新活力
- 4新经济观点 | “未成年人模式”来了，给网络防沉迷带来哪些新变量？听听专家怎么说
- 5安华农险股权变阵：三股东同步退出，第一大股东融捷集团接盘
- 6行走成都丨夜晚蜂拥而出的成都年轻人，都打车去了哪里？
- 7斗鱼Q2财报：利润增至6140万元，连续三个季度实现增长
- 8实现多种细胞的图案化共培养，浙大团队发展细胞排布新方法，为细胞的生物制造带来替代策略
- 9攀登AI for Science新高峰，《2023科学智能全球发展观察与展望》看到未来 ｜元璟科技分享
- 10iOS 17.3 已修复，“快捷指令”高危漏洞被披露：可发送敏感数据
