返回首页
您的位置:首页 > 新闻 > CCF新闻 > CNCC

从实时全模态交互到自主智能体,端侧大模型如何迈向真正的端侧智能?清华刘知远、姚远等专家邀你共论 | CNCC2026

阅读量:1 2026-09-22 收藏本文

如何突破算力、存储与能耗约束,实现高效训推?如何从“能对话”走向实时全模态交互、自主感知、推理与行动?本论坛聚焦端侧大模型的关键技术与落地实践,探讨端云协同、智能体、芯片级定制及语音生成等前沿方向,共话端侧智能的发展趋势与未来挑战。



图片



论坛简介


2022年底ChatGPT发布以来,大模型技术快速发展,模型规模持续扩张,AI对模型架构、训练框架和数据合成等研发环节的深度参与,也推动大模型向更高能力密度演进。随着大模型能力不断增强,强大的智能正加速从云端走向端侧,端侧大模型逐渐成为智能终端的重要技术底座,并由“能对话”向“能感知、能推理、能行动”的端侧智能演进。


然而,端侧大模型的实际落地仍面临诸多挑战。一方面,端侧设备受到算力、存储和能耗等资源约束,需要在有限资源下实现更高的模型能力密度和更高效的训推;另一方面,现有大模型在实时感知、多模态交互和自主行动方面仍存在不足。同时,不同端侧芯片的架构与资源约束差异显著,模型与软硬件系统的高效协同也成为重要问题。


本论坛将围绕端侧大模型的关键技术与发展方向展开讨论,重点关注自主智能体、实时全模态交互、高能力密度模型构建、芯片级训推定制以及语音生成等前沿问题,探讨端侧智能的技术演进路径与应用前景。



日程安排



顺序

主题

主讲嘉宾

单位

1

面向通用智能的大模型自主智能体

林衍凯

中国人民大学

2

迈向类人交互的实时全模态大模型

姚  远

清华大学

3

AI制造AI:Forge Engineering驱动端侧大模型的芯片级训推定制

李宇轩

面壁智能

4

浅谈端侧大模型的变化趋势和方向

韩  旭

清华大学

5

高能力密度大模型的高效构建

肖朝军

清华大学

6

VoxCPM:连续自回归的语音生成模型

曾国洋

面壁智能

圆桌引导发言



论坛主席:



刘知远



CCF杰出会员,清华大学长聘教授

图片

个人简介|CCF杰出会员,清华大学计算机系长聘教授,主要研究方向为大模型、自然语言处理与知识图谱。在Nature子刊、ACL、EMNLP等发表论文300余篇,Google Scholar引用超9.6万次。入选Elsevier中国高被引学者、中国科协青年人才托举工程等。曾获教育部自然科学一等奖、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖、世界互联网领先科技成果奖及2025年度吴文俊人工智能科学技术奖科技进步一等奖。




共同主席:



姚远



清华大学助理教授

图片

个人简介|清华大学人工智能学院助理教授,主要研究多模态大模型。在Nature Communications、CVPR、ACL、ICML等顶会顶刊发表论文30余篇,谷歌学术引用1万余次。主导构建MiniCPM-V、MiniCPM-o等高效多模态模型,连续多天在HuggingFace Trending, GitHub Trending 和 Papers With Code Trending Research 排名第一。开源项目总星标3.9万余次,模型总下载量超3400万次。曾获吴文俊人工智能科学技术奖优秀博士学位论文奖、英特尔中国学术成就奖等荣誉。



论坛讲者:



林衍凯



中国人民大学预聘副教授

图片

个人简介|CCF NOI科学委员会委员,中国人民大学高瓴人工智能学院预聘副教授,主要研究方向为大模型智能体。Google Scholar引用超3万次,2020—2025年连续六年入选爱思唯尔(Elsevier)中国高被引学者及斯坦福大学全球前2%顶尖科学家年度榜单。研究成果曾获教育部自然科学一等奖、世界互联网领先科技成果、入选北京市科技新星、吴文俊人工智能青年科技奖、《麻省理工科技评论》中国与 DeepTech 联合发布的“AI100青年先锋”等。


报告题目|面向通用智能的大模型自主智能体


报告摘要|近年来,大模型在理解与推理方面展现出巨大潜力,从被动“大脑”走向主动“行动者”,构建自主智能体是迈向通用智能的关键。智能体需要具备工具使用、环境交互和复杂任务自主执行能力。本报告聚焦大模型自主智能体,探讨泛化性、长程规划与自主性等核心挑战,梳理从模仿学习到探索学习的演进路径,重点介绍通过强化学习与标准化协议提升长程规划和环境泛化能力的方法,并展望智能体从“被动工具”向“主动助手”的发展方向。

姚远



清华大学助理教授

图片

个人简介|清华大学人工智能学院助理教授,主要研究多模态大模型。在Nature Communications、CVPR、ACL、ICML等顶会顶刊发表论文30余篇,谷歌学术引用1万余次。主导构建MiniCPM-V、MiniCPM-o等高效多模态模型,连续多天在HuggingFace Trending, GitHub Trending 和 Papers With Code Trending Research 排名第一。开源项目总星标3.9万余次,模型总下载量超3400万次。曾获吴文俊人工智能科学技术奖优秀博士学位论文奖、英特尔中国学术成就奖等荣誉。


报告题目|迈向类人交互的实时全模态大模型


报告摘要|当前多模态大模型主要面向离线数据理解和轮次交互,难以满足现实世界实时动态交互需求。实时全模态大模型因此成为迈向通用多模态人工智能的重要路径。本报告将介绍MiniCPM-o 4.5,其具备类人交互能力,可在实时对话中同步实现看、听、说,并基于持续场景理解主动发起提醒和动态描述。依托高效结构设计与系统级优化,模型可流畅运行于端侧设备。报告将围绕模型架构、运行机制和训练方法,探讨关键挑战与核心设计,并展望未来发展趋势与应用前景。

李宇轩



面壁智能技术合伙人、智能进化首席科学家

图片

个人简介|面壁智能技术合伙人、智能进化首席科学家,主要研究方向为智能计算系统、高性能计算、量子计算和气候模式,在相关领域高水平国际会议及期刊发表论文十余篇,Google Scholar引用4000余次,曾是神威·太湖之光主要技术负责人之一,多次获得世界超级计算竞赛冠军。曾获中国青年五四奖章(集体)等国家级荣誉。


报告题目|AI制造AI:Forge Engineering驱动端侧大模型的芯片级训推定制


报告摘要|"AI制造AI"从愿景走向现实——大模型赖以运转的软件栈,开始由AI自己来编写。这对于芯片种类繁多、约束各异的端侧尤为关键:人工为每款芯片适配软硬件栈成本极高,唯有AI自主锻造才可能实现芯片级定制。本报告介绍AI制造AI的工程范式——锻造工程(Forge Engineering),以首个完全由AI编写并反超人工的生产级训练框架ForgeTrain为例,展示将数月的框架开发缩短至数天的突破。报告将围绕锻造方法论、正确性保障与性能反超机制展开,展望加速端侧智能进化的路径。

韩旭



清华大学助理研究员

图片

个人简介|入选CCF优博激励计划,清华大学计算机系助理研究员,研究方向为人工智能、自然语言处理、智能计算系统,在国际顶级学术会议及期刊发表论文百余篇,引用2万余次,大模型开源社区OpenBMB创建者之一,相关开源项目在全球最大开源社区Github上累计获得数万星标。曾与团队获得教育部自然科学一等奖、世界互联网大会领先科技奖、钱伟长中文信息处理科学技术奖、英特尔中国学术成就奖,入选博士后创新人才支持计划。


报告题目|浅谈端侧大模型的变化趋势和方向


报告摘要|报告围绕端侧大模型的发展趋势与未来方向,从模型架构、学习方法、能力边界和芯片适配等维度,系统分析大模型从云侧集中推理向端云协同及端侧自主智能演进的技术路径。报告重点探讨模型轻量化、端侧持续学习和个性化适配等关键能力的发展趋势,并结合算力、存储和能耗等现实约束,分析软硬件协同优化方向,进一步提升端侧大模型的本地感知、推理与决策能力,为智能终端提供更加高效、可靠、个性化的智能服务。

肖朝军



清华大学助理研究员

图片

个人简介|清华大学计算机系助理研究员,研究方向为高效大模型架构,在Nature Machine Intelligence、ICML、ICLR、NeurIPS、ACL等人工智能顶级期刊与会议发表多篇论文;同时负责 MiniCPM 系列文本开源模型和UltraData系列开源数据建设,相关模型和数据累计下载超数百万次, 产生了较为广泛的学术与产业影响。曾获得钱伟长中文信息处理科学技术奖一等奖、教育部高等学校科学研究优秀成果奖二等奖、博士后创新人才支持计划、中国人工智能学会潜力清源学者等荣誉。


报告题目|高能力密度大模型的高效构建


报告摘要|大语言模型规模的扩张导致高昂计算与部署成本成为制约端侧智能落地的瓶颈。如何在有限参数规模与算力约束下实现高能力密度,已成为大模型研究的重要方向。本报告以 MiniCPM 端侧大模型为例,阐述“高能力密度大模型”的高效制备技术体系,围绕模型架构、数据治理与学习方法三个核心问题,探讨计算高效的架构设计、高知识密度的数据构建以及促进智能高效涌现的方法,并结合技术方案与实践经验,展望端侧大模型高效化、普惠化发展路径。

曾国洋



面壁智能联合创始人 & CTO

图片

个人简介|获CCF NOI金牌,于2020年毕业于清华大学计算机系。2022 年作为联合创始人创立面壁智能并担任CTO,致力于推动大模型技术的落地应用。2017 年加入清华大学自然语言处理实验室,从事自然语言处理研究工作,在 2020 年以团队骨干成员身份加入“悟道·文源”中文预训练大模型团队,参与 CPM 系列模型的训练和研发工作,编写了大模型高效训练和推理工具 BMTrain、BMInf 等,同时荣获多项发明专利。2021 年曾担任智源研究院语言大模型加速技术创新中心副主任。


报告题目|VoxCPM:连续自回归的语音生成模型


报告摘要|语音合成是端侧智能的重要技术,是人与机器交互的桥梁和媒介。近年来,语音合成正从"读得清"迈向"说得像",如何在多语言、跨音色场景下实现真正自然、可控且高保真的语音生成,成为人机自然交互的关键。报告将聚焦开源的 VoxCPM 系列模型,介绍一条不同于主流"离散语音 Token"的技术路线——无分词器(Tokenizer-Free)语音合成。报告将介绍 VoxCPM 模型的技术架构、实际效果以及在前沿研究中存在的问题。探讨未来 VoxCPM 系列以及语音生成模型的发展方向。


欢迎参加CNCC2026

CNCC是一个宏观论述技术趋势的大会,具有规格高、规模大、内容丰富等特点,会议形式包括大会特邀报告、大会论坛、专题论坛、特色活动及展览。大会汇聚两院院士、国内外顶尖学者、知名企业家等亲临大会,展望前沿趋势,分享创新成果。ACM、IEEE CS、IPSJ、KIISE等国际计算机组织的代表也多次获邀现场参加这一盛会。CNCC2026将于10月21-24日在四川省成都市举办,大会主题是“数聚驱动,智算未来”,欢迎各界前来参会。

图片


本站为 ccf.org.cn 的非官方反代站