一方面，国内外各大创业公司高额融资的消息频频传出。某AI数据分析公司单轮融资目标超700亿元，刷新全球AI创业公司融资新纪录。
另一方面，从上市季开始，全球新车型、新产品也在年底迎来一波集中更新。不久前的12月18日，火山引擎还在2024冬季FORCE动力大会上为豆袋大车型家族带来了一系列全新升级。
比如豆宝Pro作为Byte中最强大的大语言模型，此次就迎来了重大版本更新。其综合任务处理能力较5月份提升了32%，并且与GPT-4o完全看齐，使用价格仅为后者。 1/8。
新推出的豆宝视觉理解模型不仅可以准确识别视觉内容，还具有出色的理解和推理能力。它可以基于图像信息进行复杂的逻辑计算，完成分析图表、处理代码、回答学科问题等任务，并具有细腻的视觉描述和创造能力。
尤其是在本次FORCE大会上，火山引擎宣布豆宝视觉理解模型输入价格仅为千分钱3分钱，1元钱可处理284张720P图片，比行业价格便宜85%，引发业内热议。行业。
火山引擎总裁谭代向36氪透露，其实即使按照这个价格，火山引擎的毛利润其实也是非常可观的。低价并不是“烧钱补贴”的市场策略，而是通过算法、工程、硬件的联合创新，从底层系统架构到上层应用的共同进步来实现的。火山引擎希望帮助企业和开发者更便捷、更低门槛地使用大模型技术，促进AI技术的普惠性，把蛋糕做大。
火山引擎数据显示，近三个月，豆宝大模型调用次数在信息处理场景增长了39倍，在客服和销售场景增长了16倍，在硬件助手场景增长了13倍，在硬件助手场景增长了9倍。在AI工具场景中。 B端，汽车、金融、教育领域拥有大量合作伙伴，如奔驰、广汽集团、华泰证券、招商银行、浙江大学等。
自2022年11月底推出以来，大机型的火已经在全球燃烧了两年多。两年后的今天，大模型市场格局已经发生了翻天覆地的变化。尤其是在to B领域，越来越多的企业摘掉了大模型的“过滤器”，转向现实的应用场景和经济价值。开始思考。
火山引擎如何通过技术创新降低大型模型的实现成本？大模型给云计算行业带来哪些影响和机遇？下一个十年我们将迎来什么样的AI云原生架构？针对这些备受业界关注的话题，2024冬季FORCE原动力大会期间，火山引擎总裁谭代与36氪CEO冯大刚进行了深入对话。
以下为谈话实录。
01.过去一年最重要的事情是什么？
冯大刚：虽然我们今天提问的核心内容是我们自己制作的，但是也导致了豆宝版的出现，我觉得还是蛮有趣的。比如今天的第一个问题：我们都知道您在技术领域有着深厚的知识和丰富的经验。您从百度这样的巨头跳槽到字节跳动，拿起火山引擎开拓企业市场，最初的契机是什么？重要的任务呢？
谭代：这段经历非常重要。我在百度一直扮演的是技术角色，在这个过程中我也逐渐承担了一些新的角色。
（从技术转向市场开发）这件事并不容易。作为一个纯粹的技术人，如果你没有大团队的管理经验和业务背景，那么大家往往会认为你应该继续从事技术工作。但从另一个角度来看，虽然我没有直接的经验，但可能我的想法和方法与前人完全不同。幸运的是，我在Byte得到了这个机会。
冯大刚：你今天应该花更多的时间在内部管理上还是在外部竞争上？
谭代：我认为我们不应该从内部和外部分开来看待这个问题。或者我们可以这样理解：首先要解决生产力问题，其次要解决生产关系问题，包括内部生产关系和外部生产关系。关系。
管理者的重要职责是首先解决关键问题，其次解决只有他们能处理的问题。有些事情不一定能解决，所以不要在上面花费太多的精力。相反，专注于只有你自己的水平才能解决的问题。
冯大刚：这个问题是什么？例如，过去一年你要解决的问题是什么？
谭代：我今年花的精力主要是在如何给B建立一个好的模型，无论是内部还是外部。对于内部产品来说，我们不仅需要考虑如何提高模型的效果，还需要考虑如何降低工程架构成本，提高产品的适用性。对外也是如此，如何让更多的人使用并带回他们的反馈。 ，提高您产品的性能。此外，还要明确采用什么样的服务团队、编队、组织形式，才能为客户提供好服务，实现良好的联系。
这里有很多不确定性。产品还处于0-1阶段，客户需求存在很多不确定性，模型能力也在快速提升。同时，市场、技术、产品完成后，还需要搭建相应的组织架构来承接。 。这些对我来说是最重要的事情，也是只有我才能解决的事情。
02、大模型之前，所有B/C端技术都是分离的。
冯大刚：您如何看待目前大模型to B和to C之间的争议？
谭代：大型模型与以往所有技术都不一样。过去，技术是分开的，B和C。比如，使用抖音并不意味着个人使用火山引擎；而使用抖音并不意味着个人使用火山引擎。淘宝购物并不代表就一定会使用阿里云。两者完全不同。但如今的大模型，to B 和 to C 之间仍然是高度耦合的，应用背后的能力主要来自于模型。无论是to C还是to B，大模型技术的核心都不会像以前那么清晰。
但也有好处。以前B端很重要的一点就是决策者和用户是分离的，我们不知道用户是怎么用的。许多 CRM 和 ERP 产品也是如此。做出决定的人不是使用它们的人。他们无法亲自体验它们。他们只能通过看PPT、讲解案例来了解别人是如何使用的。
然而，大型模型则不同。首先，大型模型可以充分体验。其次，决策者和用户在很多场景下是相连的。我们现在遇到的每一个客户，包括董事长、CEO，我第一个建议就是让他先下载豆宝APP，因为负责人和决策者都知道人工智能，每天都在使用它，那么他就能了解哪些环境您的企业中可以使用大型模型进行优化。
我觉得这不仅仅是大模型技术本身的改变，也会给整个to B、to C的商业模式带来很大的改变。过去，业务方不知道云是如何使用的。真正和云打交道的是运维人员，而研发人员只能看到一堆数字，只有出事的时候才能感觉到。然而，大模型则不同。每个人首先都是用户，能够在日常生活中感知到产品的优缺点；其次，讨论如何利用它作为提高生产效率的工具。
冯大刚：不同大车型之间C端产品差距大吗？
谭黛：C端产品的差距可能更大，比如怎么写，怎么优化产品设计交互等等，这些都会有加分，另外模型本身的效果也有差距。
我通常不会直接告诉人们豆袋椅有多么有用，只是告诉人们我们有这些功能。光看参数其实是没有意义的，或者说参数只是片面的信息。使用后有何感想？您使用其他产品吗？您自己使用后感觉如何？当我们讨论大模型是否好用时，单靠一张PPT是无法欺骗你日常感受的。你会有一个清晰的判断——这个产品真的很好用。很多人告诉我，他们认为豆宝很好用，最重要的是豆宝的进度非常快，（模型学习的）斜率非常高，这一点非常重要。
03.谁是第一？
冯大刚：如果讨论大模型领域谁是“第一”，您认为最关键的指标是什么？
谭代：从消费数量来看，消费代币的数量是最重要的，代表着推理的多少。项目金额不是一个好的维度，因为集成项目太多。如果该项目更加私有化，它将包括许多组成部分，例如硬件、软件、应用程序开发和人力外包。大型车型的比例是多少？不同的统计口径会得出不同的结论。
冯大刚：您认为火山现在处于什么位置？
谭代：虽然没有第三方数据，但看业内大家公布的数据，我认为火山处于非常高的位置。但每个人的口径不同。比如我们直接讲代币数量，而有的人不讲代币数量。他们只谈论通话次数。目前所有型号的定价模型都是基于代币收费的。虽然我认为这是一个比较初级的商业模式，但我不否认这种模式可能会存在很长一段时间。最终可能会演变为不再以象征性的方式结算，而是以结算方式结算。超值收费模式。
比如原来的订阅费是200美元，他想做一个2000美元的产品。因为他的AI能力得到了显着的提升，他可以为你提供更高的价值。这是长期商业模式的演变。
冯大刚：你提到的按价值收费的方式，目前在各大互联网公司中似乎还没有实行。
谭代：这是模型能力逐步增强的结果。该模型需要实现一个功能非常复杂的代理，以便按价值收费。我希望25年内会有一些试点。
冯大刚：您如何定义基于价值的收费？
谭代：这种模式在火山爆发之初就存在。我们在多个领域采取端到端的方式，为企业解决更棘手的问题，帮助企业省钱，帮助您盈利。比如我们在霍山最初的产品就是提供推荐服务。通过AB测试，我可以很清楚的告诉你我的服务可以帮你赚多少钱，然后我就拿一部分。我们还需要在大型模型中实现这一点。按价值收费的核心是AI必须深入到业务端，未来大车型也有机会这样做。
冯大刚：现在很多人开始说，比如Kimi，新增的不重要，保留更重要。您认为保留率取决于什么？
谭代：C端留存需要保证用户体验，B端也是如此。我们现在非常注重保留。如果用户这周使用了，下周还会使用吗？虽然我们没有使用C端留存率和活跃率的指标体系，但是如果第二周或者第二个月用户没有进来，说明你没有做好。
04.AI云原生时代
冯大刚：您认为本次（冬季FORCE动力大会）豆袋更新最值得关注的是什么？
谭代：豆袋模型此次的全新发布和升级，其核心在于两个方面：
首先，豆宝Pro作为我们最强的语言模型，将会升级到更大的版本。该版本与GPT-4o完全一致，可以解决更多问题。同时，我们发布了豆宝视觉理解模型。视觉是人类认识世界最重要的手段，对于大型模型来说也是如此。
除了模型本身之外，第二个亮点是推出了一系列模型实现所需的代理开发平台和工具，其中包括火山方舟的新能力，例如使用大型模型进行多模态搜索和推荐。我们还提供了100+已开发的行业应用模板，帮助企业低成本完成这些事情。
接下来，我们将致力于开发更强大的模型、更低的成本和更易于实施的解决方案。如今，大机型在企业IT负载中所占比例越来越大，整个企业的IT架构已经到了变革的地步。最初我们讨论传统IT架构，然后我们讨论云原生。我们相信，随着AI的到来，行业将成为AI云原生。
冯大刚：如何理解这个AI云原生？和云原生有什么区别？
谭代：虽然有人提到AI原生，但我认为“AI云原生”是更准确的表达。 AI背后的逻辑是算力驱动的，因此云算力的消耗无疑会更大。云原生带来的弹性和架构冗余将被AI云原生继承。但与此同时，人工智能的出现给计算和数据安全带来了巨大的变化。过去我们所有的计算架构都是针对CPU进行优化的，但是现在单独在CPU上加一个GPU，就需要针对GPU进行重建。传统的以太网架构已经不能满足计算网络和数据层面的新需求。我们需要重新构建一个以GPU为核心的数据流系统。
而在数据层面，大模型带来的最大价值之一就是我们终于可以轻松地处理非结构化数据。过去，数字化转型的第一个难点是如何将非结构化数据转换为结构化数据。在这个过程中很容易丢失大量信息并且无法找回。接下来，如何提取非结构化数据也是一件非常困难的事情。但有了大模型，非结构化数据，比如语音、视频，就可以直接被大模型处理。
另一方面，我们还需要考虑如何在数据库中统一存储和管理结构化数据和非结构化数据。我不能把一份数据放在大数据中，另一份放在模型处理中，这样数据就会积累太多，而这个改变就会涉及到整个数据架构的重新设计。
安全也是如此。在本次FORCE会议上，我们还讨论了如何利用AI解决隐私问题的私有计算解决方案。我们提供的是云上的解决方案，可以解决更通用的需求，比如知识库、推理等领域。以前安全和运维有大量的日志和告警，都是人工处理的，但其实这些都可以通过安全和运维的AI来控制。
总的来说，AI在IT系统设计、数据、安全等方面带来了很多变化，这次我们围绕AI扩展发布了一系列产品，这也是Cloud 2.0带来的变化。云原生技术已经存在十多年了。它是在2013年和2014年提出的。未来10年或20年，行业将变成AI云原生。
05.AI技术具有普惠性
冯大刚：目前豆宝的很多工具和AI已经被字节内部使用了。使用效果如何？
谭代：很好。现在当我在飞书上提问时，它会自动帮我总结。如果数据有异常，它也会给我检查原因。此外，我们现在正在分析客户工单。总结了结构性和非结构性数据后，我们还可以了解他们对我们的产品是否满意。从经理的角度来看，这可以让你更好地掌握全局。 IT架构也是如此。例如，我们目前的豆袋模型是有效且低成本的，因为它首先在公司内部平台上推出。我们使用AI云原生计算和网络优化。否则，我们就无法实现持续的低价、低成本的人工智能产品。利润。
冯大刚：豆宝视觉理解模型如何定价？
谭岱：大豆宝模型的定价是为了让AI普惠。
我们推出大模型，就是希望它能够真正落地，帮助更多的开发者和企业通过AI提高效率，特别是中小企业。因为开发者和中小企业之前缺乏各种资源，但通过大型模型，他们可以生成自己的代码，自动创建内容，完成各种复杂的任务。事实上，它可以极大地提高开发者和中小企业的水平。中小企业的生产力。
想要达到这个目标，一是模型能力要好，二是成本要低，这样大家才能积极创新，才能涌现出越来越多的应用来解决实际问题。
豆袋大型号的定价全部合理透明，一步到位。并不是“高正价+折扣”的做法。我们希望推动大模型的普惠，让更多的中小企业和个人开发者释放生产力，帮助他们做更多的创新。这也是一个可持续的事情。不仅大豆袋款降低了使用成本，而且从全球范围来看，它们的价格也在不断降低。事实上，他们都在使用类似的方法。
冯大刚：但是有些人还是认为你们在打价格战。
谭代：对于企业级市场来说，商业模式是基于可持续发展的。任何产品都必须能够盈利，不能靠补贴来降低价格。如果降价导致亏损，规模越大，亏损就越大，这不是一个合理的商业模式。
即使豆宝视觉理解模型定价只有千分钱3毛钱，我们仍然保持正的毛利润，作为补贴也不亏钱。
冯大刚：为什么能达到这样的价格？
谭代：大豆宝模型做了很多技术优化，通过技术创新降低了成本。这不仅实现了AI技术的普惠，也让我们的业务能够盈利、可持续。
具体做法是算法、软件工程和硬件相结合的解决方案：比如在算法中采用更好的模型结构，可以以更低的成本完成复杂的推理。相比之下，人脑（对应GPU功能）实际上只消耗5瓦电力，成本非常低。大型模型还存在很大的优化空间，这可能会使其在保持相同智能水平的同时使用起来越来越昂贵。越低。此外，算法团队从一开始在设计模型结构时就考虑到了豆包大模型巨大的推理需求，并在预训练阶段对KV缓存机制进行了创新性的优化。不仅保持了模型的智能水平，而且对推理极其友好，可以有效降低推理成本。
另一方面，工程中非常重要的一点是规模。因为规模越大，不同的负载就越多，不同的负载可以混合调度。例如，一些科研任务需要在半夜进行大量的模型推理；办公场景，白天使用高峰；有些负载是娱乐场景，可能是早晚高峰。因此，当大车型的客户越来越多、企业的工作量越来越多元化时，通过大规模调度可以成倍降低成本。
火山引擎正在全力推广豆袋模式，实际上已经积累了这样的规模优势。另外，我们在软硬件结合的具体解决方案上也做了很多工作。比如我们应该是国内第一个大规模使用PD分离推理。因为推理的不同阶段对计算能力和带宽的要求不同。这样，我们就可以将模型推理分阶段分开，放入不同的池化资源池中，然后匹配不同的硬件选择。因为有的硬件计算能力强，有的硬件带宽大，适应不同的推理阶段。这样一来，成本也可以降低很多。除了运营管理层面，我们还做库存管理和供应链管理。综合以上因素，每个环节都有多次成本优化，整体提升非常大。
冯大刚：霍山云在传统云领域并不是首创。能否依靠AI云占别人便宜？
谭代：我们云发展的逻辑是云一定是一个非常大的市场。是用GDP x数字份额x渗透率来计算的，所以空间非常大。第二，企业必须是多云，所以市场必须能够容纳多家企业，而不是仅限于一两家企业。因为企业从供应安全的角度肯定会使用多云，从容灾的角度也是如此。第三，不同的云能力有不同的特点，可以发挥各个公司的优势。从数据的角度来看，一个企业的云占比和数量也可以得到印证。云的本质是规模。服务器越多，带宽越大，成本越低，弹性越好，可以以更好的价格提供更多的服务，拥有更多的客户。
对于云计算来说，AI是一个很大的变数。 AI加入之后，云的性质发生了变化，能够更好的服务于业务侧。所有云产品都将发生重大变化。与过去10年没有变化的云产品不同，未来10年云产品将发生巨大变化。刚才我们讲了AI云原生这个概念。只要有变化，新产品就能差异化，更好地服务客户。这是一个很好的机会。首先我们对传统云平台的规模非常有信心，对AI部分更加有信心。我们的目标是成为第一。
冯大刚：我观察到，今年机场的广告普遍都是云厂商、AI厂商不断“秀肌肉”，贴客户名单。您认为明年还会做什么？
谭代：我最近一直在和团队沟通。我们的机场广告需要稍微修改一下吗？以前的逻辑是告诉大家很多人都在用，但现在我觉得客户关注的是有没有人在深度使用，带来了什么效果。所以从我们的角度来看，未来我们可能会朝这个方向发展。
冯大刚：谢谢谭先生，我们今天聊得很愉快。我们以豆宝问的最后一个问题结束。豆宝问：忙碌的工作之余，您的个人爱好和独特的放松方式是什么？这些对管理有何影响？
谭代：我放松的时候喜欢玩两个游戏。一个是《足球经理》，这是一款模拟经营游戏；另一个是《文明》，这是一款策略游戏。这两款游戏每次都需要很长时间才能玩。首先，我喜欢历史和足球。其次，或许还可以了解一些管理理念，进行沙盘练习等操作。我想你每天思考的问题，比如你今天思考了很长时间的管理问题，无论你是在看书还是在玩游戏，你在这个过程中一定会想到这些问题。而且这两款游戏都是可以保存的单机版本，这意味着你总是可以赢（笑）。
