“千模大战”100天，文心一言与15万申测企业如何“软着陆”？

过去三个月，随着“千模大战”在全国爆发，头部玩家百度文心一言“大招”不断。昨日，百度智能云在成都举办的技术交流会上公布了最新成绩单：过去近三个月，文心一言实现了推理性能提升10倍，增强版推理性能提升50倍。这意味着，效果相当的大模型，企业获取的成本大幅降低。同时，百度文心一言大模型在应用上“再攻一城”：继百度搜索、百度地图、小度音箱等应用接入文心一言之后，昨日，基于文心大模型的AI辅助编程工具Comate启动邀测，助开发者提高研发效率。在市场和生态方面，百度智能云也公布了一组数据：截止目前，已有超15万个客户接入文心一言，超300家企业成为文心一言生态伙伴，实现超400个具体场景落地。结合阿联酋百度公布的10亿元文心投资基金，这些数据表现出了文心一言的强劲表现。头部客户方面，包括百图生科、长安汽车、地平线、知乎、软通动力等在内的多家企业，都基于百度文心千帆大模型平台取得了大模型落地进展。AI大模型的“百度速度”，从一定编程代表了国产大模型的发展速度。而在国产大模型加速赛跑的同时，国外微软、亚马逊的AI竞赛也愈演愈烈，为国产大模型施压。加速AI发展成为各地政策所向，如何与G PT-4的差距，也一直是国内产业持续关注的问题。通过对话百度智能云AI平台副总经理施恩，我们深入了解了百度文心一言近三个月的迭代思路和心路历程，同时也探讨了AI大模型落地产业的真实挑战和思考之道。01.从代码助手到千行百业国产AI大模型加速“软着陆”
  

首先来看看大模型应用更新。在本次技术交流会上，AI代码助手Comate是一个文心大模型应用矩阵中的新物种。作为一款程序员“神器”，Comate可实现代码的快速补齐、自然语言推荐代码、自动查找代码错误，从而提升研发效率。根据百度官方数据，在Comate辅助编写的代码中，近50%的代码建议被开发者采纳。
 

  
其实，已经有一些同类AI代码助手上线了，微软推出了GitHub推出的Copilot X、AWS推出的CodeWhisperer等。那么Comate的实际体验如何效果？届时，施恩通过一个“贪吃蛇”小游戏的开发现场演示了Comate。当开发者输入“canvas”，以及“弹性布局，水平居中，垂直居中”等中文备注，Comate即自动识别人工智能，生成游戏代码。当他再输入“param” color”、“left”、“food=”等颜色、方向、食物的简单词汇，Comate自动关联上下文理解指令，补全代码，并在多条推荐代码之间切换，选择合适的代码，系统就直接生成了可运行的“贪吃蛇”小游戏。
 

  
百度自2021年起就基于文心大模型研发代码辅助工具，自2022年9月起就在内部全面测试。Comate目前已经覆盖了30余种编程语言，包括C/C++、Python、Java、Go、PHP、JavaScript等。Comate支持主流IDE，开发者可以通过插件等形式，在不同软件中使用Comate。同时，结合飞桨深度学习框架与文心大模型，Comate可确保推理单次请求300ms左右，以保障极快的响应速度用户使用体验。面对国内现有大厂的编程辅助工具，百度的AI代码助手有什么差异化价值？施恩告诉智东西，除了代码助手工具的定位都是为了辅助代码编写，提升效率，Comate的巨大差异考虑了开发者的中文习惯注释，具备中文注释推荐代码能力。同时，相比于大城市产品主要基于开源代码，百度公司mate是结合其内部队列业务开发代码训练而来，能实现业务实用性；此外，相比之下，目前的产品需要基于公有云部署，Comate则支持化疗部署，从而减少安全隐患。根据百度智能云的规划，在第一阶段，Comate的主要功能可以辅助代码编写主要；在第二阶段，Comate将在特定领域实现、的自然语言代码生成；第三阶段，将实现全领域形成的自然语言开发。纵观过去三个月里文心一言落地的应用，已经有了一个矩阵。除Comate外，文心一言已落地百度搜索、新闻推荐、百度地图、如流办公平台、小度智能音箱等百度自有业务，同时落地了百图生科、长安汽车、地平线、知乎、软通动力等企业场景。
  

尽管很多场景仍在探索中，实际效果尚待验证，但大模型在行业的“软着陆”目前看来进展顺利。02.推理性能提升50倍文心一言倡议“瘦身”赋能行业
  

除了肉眼可见的应用方面进展，按照百度智能云公布的情况，文心一言大模型本身的迭代也达到四版，效果和性能方面显着提升。根据百度智能云官方数据，自3月16日文心一言开放测试以来，模型本身的推理性能已提升10倍。当时，在企业应用的高端、核心场景中，文心一言的性能提升模式“文心一言-Turbo”，其推理服务性能已经提升了50倍。文心一言-Turbo是什么意思？50倍性能提升又意味着什么？文心一言-Turbo，简单来说，可以理解为一个“瘦身”的文心一言大模型，能够在保证实现文心一言相同效果的同时，降低模型参数规模，从而降低企业使用大模型的算力成本。而在50倍这个数字背后，施恩告诉智东西，随之文心一言-Turbo带来50倍性能提升，未来客户将能充分使用成本的降低。同时，模型的响应时间长将被大家观看，使得对时延要求高的场景体验大幅提升。此外，在资源扩展性方面，文心一言-Turbo使得原生云的使用客户算力储备和占用变少，取得明显收益。
  

文心一言及文心一言Turbo有各自适用的场景，为不同的企业提供了不同的选择。一类是通用应用型企业，往往需要用大模型改造终端应用效果或孵化创新应用，比如WPS、图形等，核心关注的是大模型的效果保障。由于很多企业的应使用是通用的，因此会选择泛化性更强的文心一言，以解决更多问题。一类是行业龙头企业，希望构建行业大模型服务上下游企业。比如教育、金融、能源等方向的龙头企业，手握场景数据和积累，需要在专业领域构建基于行业大模型的应用。文心一言Turbo更适用于终端的应用场景，结合企业自身数据能达到更好的场景化效果。可以看到，经过近3个月的迭代发展，百度文心一言的行业落地正在分出意外的路线：通用大模型和行业大模型并举。纵观全球AI大模型发展格局，国内AI大模型与OpenAI推出的GPT-4的差距难以在短时间内赶超。但3个月的落地让施恩对这个问题有了新的认识，他认为，企业更关注的是大模型如何与企业场景结合解决实际问题，而不是大模型的情况。“通用模型能力是一方面的，怎样更好地相地跟行业数据、行业知识结合，去问题是更重要实用的。”施恩说，“我们这两方面都会关注。通用模型的逻辑、推理等能力提升，有助于更好训练行业大模型；同时也不是完全依赖于通用模型的全面性，不影响我们在一些特定的行业去应用落地。” 03.文心千帆进化十周大模型正颠覆云计算方式范式
  

根据科技部新一代人工智能发展研究中心发布的《中国人工智能大模型地图研究报告》显示，目前中国10亿级以上参数规模的大模型已达79个。不过可能与冰山之上的情况一样，一场“千模大战”在过去三个月里已经铺开。市场需求在过去三一个月已发生微妙的变化，也影响着智能云产业的发展走势。百度集团副总裁侯震宇在5月的闭门技术交流会上谈道，在3月16日文心一言刚开放时，来咨询的客户大多是CEO级别的一个侧面，从战略上认可大模型的重要性；两个多月之后，团队接触到越来越多的业务负责人，他们希望更快地用大模型提高业务能力，从而在竞争中获得优势。与此同时，随着AI大模型落地行业，实际挑战也随之显现出来。施恩告诉智东西，一是客户使用上的困难，比如大模型需要更好的提示（提）示词）做触发，而一些客户难以场景结合去编写提示，就使效果打折扣；二是通用大模型与专用场景的匹配不足，专业知识库的缺乏阻碍大模型效果发挥；另外是与企业业务系统集成的挑战，这需要与更多行业经验的伙伴合作，等等。AI大模型发展前景在必行，产业如何解决这些挑战？对此，百度实际上在文心一言上线之后就给出了答案——标准化平台赋能行业。3月27日，百度文心千帆成为企业级大模型平台开启测试。这是一个包含了文心大模型及第三方模型，以及构建大模型能力所需要的全工具链。比如行业伙伴需要的SFT大模型效果调优、提示工程等，都可以从这个平台上获取。
    

   
经过近10周的迭代，文心千帆平台虽然还不能说取得了成绩，但在生态方面已经有了一些进展。而文心一言大模型本身已迭代4个版本，还包括15万家企业申请内测、推出5个大行业样板间、400多个场景测试取成果等，包括长安汽车、百图生科等伙伴都已经公布了成果。
    

  
  
如下图所示，文心千帆平台大训练目标是能够覆盖AI研发的全生命周期，包括数据管理、模型、模型评估、预测部署和插件服务等投放能力，支持公有云服务和护士化化疗部署部署方式，从而实现更自动化、更全面、更安全、更高效、更开放、更集成。
    

   
因此，文心千帆的核心迭代思路可以归结为两个核心关键点：一是效果，推理能力如何，与业务结合能否解决问题，是企业首要关心的。二是性能，要持续降本，对百度智能云的要求就是要在技术架构上持续提升性能。因此，大模型落地需要由计算力、框架、模型、应用架构构建的四层架构相互配合提供支撑。百度智能云正通过AI大基础，从芯片层、操作系统层、框架层、应用层4层架构诉求先发优势。可以看到，随着AI大模型展开落地，云计算行业的产业规则正在被AI改变。主流商业模式正从强调规模化的IaaS（基础设施即服务），向增强多层技术栈良好的MaaS（模型即服务）发展，为云产业计算带来进化升级的新机遇。04.结语：“千模大战”100天头部企业服务版图基本架构
  

随着AI大模型加速产业落地，打头阵的百度文心一言已实现多次迭代迭代。3月16日，百度大语言模型产品文心一言邀请测试；3月27日，百度智能云文心千帆大模型平台面向带动企业客户启动内测，在智能办公、出行服务、电商直播、政务服务、金融服务五个大领域打造行业样板。4月25日，百度智能云宣布六大智能产品系列将基于文心一言升级，未来将在安全完成评估后上线。4月26日，百度智能云宣布文心一言大模型推理成本降到原来的1/10。5月9日、5月23日百度智能云在北京、深圳举办技术交流会，首次演示用“文心千帆”大模型可视化平台化打造大模型的全过程。5月31日，百度将设立10亿元人民币的百度文心投资基金。6月6日，百度智能云推出文心一言高性能模式（文心一言-Turbo）、开放代码助手Comate邀测。可以看到，百度文心一言企业服务版图形成。其升级思路，以主要沿效果和绩效终止主干线，以助各行各业的企业更快地通过大模型，满足业务的实际需要当我们提到AI大模型时，很自然地想到了力。而实际上，随着大模型在产业场景中找到更多的结合点，能否解决客户问题成为最关键的问题。因此，更智能的算力、灵活的框架平台、丰富的大模型体系以及优质的应用方案，都将成为企业决胜“千模大战”的关键。