今年会jinnianhui-手机端AI耗电真凶曝光！超六成能量用于数据搬运

2026-10-25

　　【今年会jinnianhui科技消息】近日，据外媒报道，上海交通大学、苏黎世联邦理工学院等机构研究人员提出一套名为COSM的新型协同调度框架，试图解决手机运行端侧大模型时的高功耗问题。研究显示，当前智能手机进行AI推理时，超过60%的能量并非用于实际计算，而是消耗在处理器与内存之间的数据传输上。

　　随着大模型逐渐从云端进入手机，本地AI既要保证响应速度，又受到功耗、散热和内存带宽限制。研究指出，运行约70亿参数模型时，需要持续将存储在内存中的大量数值数据传输到计算设备，既增加功耗，也容易造成发热以及生成速度波动。

　　COSM的思路是引入PIM，也就是“存内处理”。这类方案把部分计算能力放到内存附近，让数据尽量在原地完成处理，减少反复送往CPU、NPU的次数。不过手机空间和成本有限，CPU与PIM往往需要共享同一片内存，两者同时访问时又容易产生资源冲突。

手机端AI耗电真凶曝光！超六成能量用于数据搬运

　　据今年会jinnianhui科技了解，为解决这个问题，COSM加入了可中断的PIM指令和空闲时段感知调度机制。当CPU需要访问内存时，PIM可以暂时让路；系统同时判断CPU访问中的空档，再把PIM任务塞入这些时间窗口，从而尽量减少双方互相抢占资源。

　　论文实验结果显示，与基线调度方式相比，COSM最高可将PIM吞吐量提升2.8倍，同时把CPU性能损失控制在2%以内。在大模型与普通手机任务并行运行时，AI推理吞吐量最高提升2.6倍，其他任务性能下降不足2.2%，单个Token所需能量也得到明显降低。

-今年会jinnianhui

热门资讯

企业数字化智能体：打造企业数智化AI底座

2024-04-02

TitanIDE（社区版）重磅免费开放使用！

2023-09-26

CloudOS：落地平台工程，实现真正的DevOps

2023-08-16

热门标签

企业数字化智能体 Agent AI 智能体企业智能体数智化AI底座 TitanIDE（社区版）免费在线代码编辑器 CloudIDE免费 TitanIDE免费云端IDE 平台工程 DevOps CloudOS 云原生开发平台落地平台工程云原生物联网开发平台云原生物联网物联网容器云 cloudos 微服务容器编排边端交付 TITANIDE 在线IDE 云原生开发远程研发 IDE TitanIDE 云端开发环境模板 K8s 不懂K8s也能用K8s