据郑为民介绍，保证Kimi对话AI顺利运行背后的大模型推理框架名为“月之暗面”，是清华大学与月之暗面联合开发的推理系统解决方案。
郑为民指出，Kimi研发遵循的基本原则是：更多的数据、更大的模型、更长的上下文窗口一定会带来更好的结果。因为kimi支持200万字的上下文，所以效果非常好，很多人喜欢用。
不过，在Kimi上线初期，遇到大规模服务中断时采用的应对策略是购买算力卡。但买了五次卡后，仍然死机，并没有彻底解决问题。其背后的原因是，更高的推理负载意味着购买更多的推理卡，但推理卡越多，内存就会不够用，使用的人越多，问题就越大。
据郑为民介绍，月之暗面与清华大学合作开发了一个技术框架，用于提取和存储不同用户与Kimi之间对话的公开内容。用户下次提问时，可以直接阅读回复，减少了每次提问的次数。每次用户提问时重新生成的过程节省了大量的计算能力，从此机器就没有死机过。
“利用好内存，还可以省下不少卡牌。”郑伟民说道。 （文猛）
海量信息、精准解读，尽在新浪财经APP
