还紧记年头爆火的龙虾吗？这类可本质的智能体，正偷偷爬进产业，在实业场景里爆发。在鲲鹏昇腾开导者大会 2026 现场，给我一种不谈智能体径直过期的嗅觉。

中科大团队让 Agent 担任机器化学家，自主啃下上万篇化学文件，以至自主遐想实验、优化有计算，让科研不再是试错苦旅。

企业事业领域，曩昔分析师团队耗时半个月的行业研报、竞品分析与数据建模责任，如今数十个 Agent 协同单干，几天就能措置。

而智能体的每一次自主决策、每一轮迭代优化，齐在驱动 Token 破钞量攀升。万亿 Token 时期如故到来，总共行业、总共企业齐不得不直面一场 AI infra 的才调大考：AI 基础门径，咱们确实准备好了吗？

一方面是业务场景的极致复杂度。在推选、交互等极致低时延场景下，毫秒级的延伸差距好像径直影响到产物体验与商场竞争力，超低延伸、超高隐约的推理需求成为刚需。

而与此同期，多量企业聚焦模子与诳骗层创新，却冷落了算力调理、推理优化等底层基建的决定性作用，AI infra 的中枢价值被低估。

在全行业机遇和挑战并存的要津期，我在大会现场深度采访了国产推理引擎 xLLM 神色负责东谈主刘童璇。从这支扎根国产化赛谈的期间团队身上，看到了 AI infra 的破局谜底，也看到了托举智能中国的根源力量。

它独处地站在那边

显得独处而又倔强

似乎行将倾跌进平川里

却又像是要展翅翱游……

——《峭壁边的树》

xLLM 为什么罕见？海量 Token 的激增需求，重复居高不下的算力资本、国外算力生态的不笃定性，让算力优化成为 AI 落地的最要津问题。而推理引擎，下接硬件，通过深度优化来普及芯片的模子运行性能，压缩大模子的推理耗时；上接诳骗，高效联络万亿 Token 级的海量肯求。

适配国产芯片、高性能的国产推理引擎寥如晨星。xLLM 的出现，填补了行业空缺。而这，源于一个峭壁边的禁受。

期间拨回 2024 年下半年，xLLM 立项之初，国外算力框架占据十足主流，行业内简直莫得东谈主闲逸 all in 国产推理引擎的原生研发。其时，摆在 xLLM 团队眼前的，是一谈终极禁受题：究竟是依附老练的国外开源框架，神圣适配国产芯片，作念浅层增量矫正，照旧从零起步，原生自研一套纯国产推理引擎，走一条充满未知的绝壁之路。

xLLM 团队作念出了坚韧的抉择，从零搭建宇宙产推理体系，不作念混得当配、不依附国外框架，澈底扎根国产算力生态。

刘童璇反复而笃定地强调，要是径直在国外框架上复古国产芯片，会受到很大治理，因为国产芯片生态与 CUDA 生态不同，优化技能也不相同。强行适配会受到已有框架的治理，永远无法挖掘国产算力的极致性能。同期，企业作念 AI 必须要有算力压舱石，唯有原生自研，才能信得过为国产算力量身打造最优推理底座，也为企业业务提供可靠可执续的保险。

从零起步的抉择，换来的是极致的期间目田，却也伴跟着难以联想的困境。

期间上的挑战首当其冲。国产芯片生态碎屑化，各样国产芯片架构迥异，莫得长入、通用的编程模子，无法复刻 CUDA 体系的老练适配逻辑。团结大模子，需要针对不同芯片架构单独重写、深度调优，适配资本极高。更辣手的是，其时国产芯片在 FP16、INT8 等精度的复古不够，极易出现各样 BUG，优化效果没东谈主敢打保票。

同期，国内缺乏原生国产高性能推理引擎的通用有计算，这支以 95 后工程师为中枢的年青团队，成员大多莫得从 0 到 1 建造推理引擎的陶冶，面临复杂的底层架构遐想与全链路优化责任，不免缺乏信心。

起步阶段，是整个研发周期中最劳作时期。面临峭壁绝境般的困境，团队废弃广撒网的适配想路，莫得盲目铺开试水，联络锚定 DeepSeekV3/R1 模子，死磕单一模子的国产化推理优化。

于峭壁边扎根，在困境中滋长，xLLM 恰如崖柏，展现出卤莽的期间人命力。神色认真开源之前，团队终于对自建宇宙产推理引擎这件事有了信心。

一棵树，彼此孤离地直立着……但在土壤的粉饰下，它们的根伸长着。在看不见的深处，它们把根须纠缠在整个——艾青《树》

认定宇宙产这条路能跑通的转念点，出当今神色开源之前的性能攻坚阶段。

在长达数月的全链路深耕与芯片联调后，xLLM 的优化才调迎来了质的飞跃，将蓝本毫秒级的调理罅隙压缩至百微秒以下，让国产硬件的性能得以极致开释。

在此之前，行业精深感知到，国产芯片的性能与 N 卡存在自然差距，约莫唯有国外先进芯片的 60% — 70%。但 xLLM 澈底冲突了这一判辨。在同等模子、同等部署条目下，xLLM 赋能昇腾芯片跑出的推感性能，好像达到 H200 的 80% — 90%。

在刘童璇看来，这一性能阐发，是国产软硬件深度协同的系统性胜利。既源于 xLLM 框架层的架构篡改与算法优化，也成绩于与国产芯片厂商的高超融合，优化涵盖了从上到下的整个链路，包括推理引擎框架层的优化和底层计较标准的改进。

比如说，昇腾 CANN、Mind 系列开源软件栈，具备完善的算子适配、模子兼容才调，好像高效匹配 xLLM 的自研架构，大幅裁汰原生推理引擎的适配资本与矫正难度。

此外，xLLM 也得到了昇腾社区的高效反馈。两边建造了常态化深度协同机制，通过每周期间例会同步迭代程度、攻克期间难题，昇腾以至派团队常驻亦庄，与 xLLM 团队结伴办公，从有计算打磨、期间攻坚到场景落地全经过共建，杀青期间迭代无缝衔尾。

限度便是，xLLM 的原生架构遐想与昇腾超节点的期间特色高度契合，酿成唯一无二的软硬协同上风，基于昇腾在推感性能上得到更优阐发，在散播式推理、高并发隐约场景下，能杀青性能最大化。

随后，xLLM 慢慢完成了其他主流国产芯片的深度适配与优化，以及与 DeepSeek、Qwen、GLM 等头部模子厂商的深度协同。

通过推理引擎，衰败的国产芯片厂商、期间团队、模子生态被串联在整个，根系相连，才调互补，开云足球世界杯中国官网入口酿成产业协力。不错说，xLLM 的性能突破之路，亦然国产 AI 生态聚力共生、聚木成林的一个缩影。

与国际顶尖硬件掰手腕的实测限度，给了 xLLM 团队极大的信心，国产化自研门道完全可行。一个新的命题随之而来：一项原生期间，若何信得过走出代码，走进的确产业场景？开源，成了唯一亦然最好的谜底。

2025 年 8 月，xLLM 认真在 Github 开源，绽开给全行业共同使用和创新。但上传源代码仅仅运行，信得过的挑战是若何被开导者用起来，蛊惑更多的东谈主参与到神色中，以至成为社区孝敬者？

深耕产业多年的刘童璇，相配知晓期间研发与业务落地之间，存在巨大的 gap。比如说，产业分娩环境复杂多变、需求碎屑化，对框架的适应性要求极致严苛；开导者从早已风俗老练的 CUDA 生态向国产 CANN 生态切换时精深存在资本挂牵。

这些问题不明决，xLLM 在开源社区的竞争力和人命力就无从谈起。

下定决心作念大生态，xLLM 走出了最为要津的三步：

第一步，性能，性能，照旧性能。

刘童璇合计，推理引擎的性能是芯片厂商、模子厂商与行业客户齐最介意的计算，亦然推理引擎最刚性的竞争力地方。以国产芯片厂商为例，齐以客户需求为导向，需要适配各家企业的专有框架，多量框架无法开释国产芯片极致算力，导致国产硬件空有硬件底座，却难以跑出匹配产业需求的推理效率。

xLLM 永久将性能优化行为中枢底色，执续压缩推理时延、拉高隐约上限，坚韧冲刺 1 毫秒以下超低推理耗时标的，在生成式推选、大模子对话、多模态生成、工业智能巡检等刚需场景中，杀青数十倍的性能普及。团队主动联动头部模子厂商，首发适配 GLM4.6V、GLM4.7 等主流国产模子，让各样国产大模子齐能在国产芯片上开释最优性能。

第二步，得到来自的确业务考据的才调背书。

开源期间的最大短板，在于穷乏大范畴线上分娩环境的打磨。纯实验室、纯社区驱动的框架，一朝落地到复杂集群、低容错的产业场景中，可能出现各样问题，这亦然产业用户不敢径直使用开源版块的挂牵。

xLLM 与生俱来的上风，便是出生于产业，依托海量的确业务场景完玉成链路打磨。相较于传统推选模子，新一代大模子结构的生成式推选模子泛化才调更强，好像权臣普及商品推选精确度与用户购买滚动率。但大模子的超大参数，也导致推理耗时激增，并发承载困难，严重制约产业落地。xLLM 将超大模子的推理时延极致压缩，拉升电商滚动率的同期，机器硬件资本裁汰 90%。

与此同期，这套有计算如故成为浩繁运营商、大型央国企、互联网企业的禁受。

第三步，依托昇腾生态，买通期间落地的引申 gap。

xLLM 立项之初便原生适配昇腾 CANN 体系，消解了生态挪动资本，澈底解决了行业最头疼的兼容适配难题，大幅裁汰全产业落地门槛，赶快融入国产算力中枢生态体系，两边协力打造标准化行业解决有计算。昇腾老练的产业渠谈、客户体系、生态伙伴资源，为 xLLM 提供了盛大的落地场景。如今，xLLM 已宽泛落地电力、动力、政务、交通等要津领域。

当昇腾依托开源的 xLLM 框架，将大模子推理才调封装进智能一体机，见效部署至辽阔地区电站并落地电力智能巡检场景时，刘童璇长远感受到了代码督察民生国计的力量。

xLLM 从一株峭壁边的崖柏，乘开源之风，聚开导者之力，成长成一派产学研用共同参与的丛林。xLLM 的成长过程，亦然填平期间与产业断层、加快国产 AI 生态升空的过程，中国的 AI 产业已为迎接智能体与万亿 Token 时期的全面爆发作念好了准备。

xLLM 推理引擎，股东国产模子与国产芯片的适配，让行业 AI 诳骗紧紧扎根在自主创新的算力底座之上，为智能体时期的到来筑实了根基。

如今，多模态普及、智能体自主协同、亿级超长高下文场景落地，正在倒逼整个推理体系重构。刘童璇合计，国产推理引擎必须解决几个新的难题，一是延伸。智能体畅通决策、及时交互、生成式推选等场景，1 毫秒以下以至百微秒级超低延伸成为产业标配，对推理时延提议极致要求。二是全模态。AI 诳骗从单一文本生成，走向图文、音视频、三维本体会通的全模态时期，推理框架必须复古全模态的输入输出才调。三是亿级高下文。行业向亿级超长高下文演进，对推理系统酿玉成新锻练。

万亿 Token 带来了行业的结构性机遇，而收拢机遇的前提，是搪塞好期间趋势对推理架构的挑战。生态共建，成为中国 AI 破解总共难题的要津。

国产算力、模子与 AI 东谈主才，是驱动国内产业智能化必不成少的三驾马车。生态好像麇集不同芯片厂商、模子团队、行业开导者共同参与，执续减弱与国外 AI 软硬件的差距。此外，单一团队、单一企业无法联络时期级的产业变革，国产 AI 东谈主才是千行百业诳骗创新的起源。

因此，xLLM 一方面深度联动清华、北大、北航、中科大、北邮、天大等十余所顶尖高校，联动数十位高校导师、近五十名实习生共建研发。同期，结伴昇腾生态，打造社区 + 高校 + 产业三位一体的东谈主才培植体系，在华为 ICT 大赛等官方赛事，抛出"百微秒级推理耗时优化"等产业命题，荧惑后生开导者在实战中历练才调，挖掘具备产业后劲的创新东谈主才。后续，xLLM 社区将执续加翻绽开力度，裁汰参与门槛，通过任务拆解、计算公开、轻量化入局的模式，让学生开导者、中小企业研发团队，即使莫得盛大算力与东谈主力资源，也能参与到国产 AI 期间的发展中来。

也曾空缺的国产推理引擎，已根深叶茂；也曾辛劳的国产算力，已厚植沃土；也曾各利己战的国产 AI 生态，也有了根系交汇、勃勃期许的模式。当咱们站在智能体 AI 时期的大门之前，终于有了底气。

每一个开导者，齐是中国 AI 产业的种子，扎根在各自的领域与岗亭，让国产软硬件生根发芽。当无数诳骗之花在行业怒放，期间将会铭刻，这是总共中国开导者用一滑行代码写就的，起义的春天。

那就用《种子的梦》来扫尾吧：

为了冲破那土层的压力，

我少许一滴地积存遵守气。

我想念那明媚的阳光，

我想念那开朗的地面……

开云世界杯官网