随着大规模模型的投入使用，文胜图无疑是最热门的应用方向之一。
自诞生以来，国内外大型文胜图模型层出不穷，给人一种“神仙打架”的感觉，短短几个月，“最强AI画师”的头衔几经易手，每次技术迭代都不断刷新着AI图像生成质量和速度的上限。
所以现在，我们只要输入几个单词，就能得到任何想要的图片。无论是专业级的商业海报，还是超现实主义的照片，AI 图像的真实度已经让我们惊叹不已。甚至 AI 还获得了 2023 年索尼世界摄影奖。在奖项公布之前，这张照片已经在伦敦萨默塞特宫展出——如果不是作者公开声明，可能没人发现这张照片其实是 AI 拍摄的。
以及他的人工智能作品《电工》
如何让AI绘制的图更加美观，需要AI技术人员持之以恒的努力，第六期《AIGC体验会》邀请到了斗宝文胜图技术专家李亮、解决方案架构师赵轶嘉，为我们深入解析了文胜图模型背后的技术环节，让其能够绘制出更美观、更快速、更人性化的图。
直播伊始，李良首先详细拆解了近期国内大型“顶流”模型——字节跳动豆包大模型在文图模型领域的技术升级。
李亮表示，豆包团队想要解决的问题主要包括三个方面：第一，如何实现更强的图文匹配，满足用户的设计思路；第二，如何生成更具美感的图片，提供更极致的用户体验；第三，如何更快地产出图片，满足超大规模的服务调用。
在图文匹配方面，豆包团队从数据入手，对海量图文数据进行精心筛选和过滤，最终存储了数千亿张优质图片，此外团队还专门训练了一套多模态语言模型，将图片中图像的物理关系描述得更加全面客观。
在拥有了优质详实的图文数据之后，为了更好地发挥模型的能力，我们还需要提升文本理解模块的能力。团队采用原生双语大语言模型作为文本编码器，显著提升了模型的理解能力。因此，在面对“唐朝”、“元宵节”等国风元素时，豆包文胜图模型也表现出了更深入的理解。
在模型架构上，豆包团队也加入了自己的“秘诀”，他们有效利用了 UNet，通过增加参数数量，豆包-文本模型进一步提升了图文对的理解和高保真生成能力。
针对用户最直观能感受到的审美风格，豆宝团队引入了专业的审美指导，时刻关注用户和大众的审美喜好。同时，团队也在数据和模型架构上投入了大量精力。获取到的图片和demo的对比，就像是“买家秀”和“卖家秀”，其实给出的图片对于模型来说还不够细致清晰。豆宝文胜图模型引入了一个“”。在不忘用户初衷的同时，在提示词中加入了更详细的描述，让所有用户体验到更完美的生成效果。
为了让模型以更快的速度、更低的每张图片成本产出图像，豆宝团队还在模型的蒸馏方法上提供了解决问题的新思路，其中一个代表性成果是 Hyber-SD，这是一种新颖的扩散模型蒸馏框架，在保持近乎无损的性能的同时压缩了去噪步骤的数量。
接下来，解决方案架构师赵轶嘉从底层技术出发，讲解了文胜图最主流的两种基于Unet的SD、DIT模型架构及其对应特点，并介绍了的、-LLM、Nemo等工具如何为模型部署提供支持，帮助大模型更高效地推理。
赵艺嘉首先分享了背后模型原理的详细讲解，详细阐述了Clip、VAE、Unet等关键组件的工作原理，随着Sora的火爆，其背后的DiT（扩散）架构也随之火爆，赵艺嘉进一步对模型结构进行了讲解，从模型结构、特点、资源消耗三个方面对SD和DiT的优势进行了全面的对比。
在使用生成图像时，经常会感觉生成结果中呈现出了提示词的内容，但图像却不是自己想要的，这是因为基于文字的图像并不擅长控制图像的细节，比如构图、动作、面部特征、空间关系等。因此，基于 的工作原理，研究人员设计了很多控制模块来弥补 的不足。赵艺嘉补充了具有代表性的 IP- 和 。
的技术支持在加速计算密集型文胜图模型的推理方面起着关键作用，赵轶嘉介绍了He-LLM工具，这些工具优化了模型推理能力，同时的Ada以及即将推出的硬件架构已经支持FP8的训练和推理，将为模型训练带来更流畅的体验。
经过六场精彩的直播，由火山引擎、链机心、CMO CLUB联合推出的《AIGC体验会》圆满落下帷幕，通过这六期节目，相信大家对于AIGC是如何从“有趣”到“精彩”有了更深入的了解，也希望AIGC体验会不仅仅停留在节目的讨论上，更能在实践中加速营销领域智能化升级的进程。
《AIGC体验会》全6期回顾地址：
