张凌豪Linghao Zhang
EN
回到论文列表UAV 150 m · LEO 550 km
1/4 面向多模态 AIGC 推理的三层架构(图 1)。
2/4 推理流水线与端到端流式时延模型(图 2)。
3/4 双时间尺度优化框架(图 3)。
4/4 首页

IEEE TMC2026Early Access第一作者

Token-Aware QoE Optimization for Multimodal AIGC Inference Tasks in Space-Air-Ground Integrated Networks

Linghao Zhang, Bo Xu, Haitao Zhao, Jinlong Sun, Jun Xiong, Xianbin Wang

IEEE Transactions on Mobile Computing, pp. 1–18, 2026

+31.9%
单用户 QoE,相对 TD3
+69.2%
单用户 QoE,相对 Greedy

摘要

The space-air-ground integrated network (SAGIN) can provide ubiquitous multimodal artificial intelligence-generated content (AIGC) services. In SAGIN, lightweight task-specific models hosted on uncrewed aerial vehicles (UAVs) provide low-latency inference, while full-scale foundation models deployed on low Earth orbit (LEO) satellites provide high-quality inference. However, efficient AIGC inference in SAGIN is hindered by the tight coupling between computation and cross-tier transmission under multi-timescale network dynamics. In this paper, we maximize the long-term per-user quality of experience (QoE), which captures both the generation quality and the end-to-end streaming latency of heterogeneous multimodal AIGC requests. To this end, we develop a unified token-level latency model that characterizes the time-to-first-token (TTFT) and the time-per-output-token (TPOT) along multi-tier offloading paths. We then formulate the joint optimization of model caching, UAV deployment, inference offloading, semantic compression, and resource allocation as a two-timescale mixed-integer nonlinear program (MINLP). For the slow-timescale subproblem, a knowledge-driven planner generates and evaluates candidate UAV deployment and model caching configurations from historical demand priors. For the fast-timescale subproblem, we propose a conditional diffusion twin delayed deep deterministic policy gradient (CD-TD3) algorithm with a hybrid action space, which optimizes offloading decisions, compression ratios, and resource allocation in real time. Simulation results show that the proposed framework improves the per-user QoE by 31.9% over TD3 and by 69.2% over the Greedy heuristic.

引用

Linghao Zhang, Bo Xu, Haitao Zhao, Jinlong Sun, Jun Xiong, Xianbin Wang, “Token-Aware QoE Optimization for Multimodal AIGC Inference Tasks in Space-Air-Ground Integrated Networks”, IEEE Transactions on Mobile Computing, pp. 1–18, 2026, doi: 10.1109/TMC.2026.3743972.

© IEEE。图片仅供个人使用。

深入解读

把通算协同从任务级细化到 Token 级。

面向跨无人机和低轨卫星的多模态请求,建立基于 TTFT 和 TPOT 的 Token 级时延模型,并在此基础上设计双时间尺度调度器。

问题在哪

生成式 AI 的回答是一个 token 一个 token 产生的,所以用户感受到两种时延:第一个 token 什么时候出现(TTFT),后面每个 token 要等多久(TPOT)。多数卸载研究把请求当作比特流,只做本地还是远端的选择,这样就看不到提示词长度如何同时影响两种时延,也看不到一段很长的图像或视频提示里有多少是冗余的。

在没有基站的偏远地区,这个选择很实际。无人机上的小模型回答快,质量偏低;低轨卫星上的完整基础模型回答好,但更晚;而一架无人机只能缓存少数几个模型。

图版 1 三层架构:完整基础模型在轨,轻量模型和语义编码器缓存在无人机上,多模态请求来自地面。论文图 1。

关键想法

把一切都看成 token。一个连续的比率 η 压缩整段输入,因此它同时决定上行负载和 prefill 工作量,也就决定了 TTFT。压缩有质量代价,调度器可以给这个代价定价。

一个比率压缩全部输入,同时决定链路上的负载和 prefill 的工作量。

第一个 token 要串行穿过整条链路。后面的 token 以流水线方式传输,速度取决于最慢的一环。

首 token 时延是串行求和,逐 token 时延是流水线瓶颈。
质量收益是凹函数,边际递减,再减去两种时延的惩罚。
图版 2 推理流水线与端到端流式时延模型,分别对应无人机侧和卫星侧推理。论文图 2。

动手算一算

同一个请求,同时发给两层

无人机 · 150 m

首 token
每 token
质量
QoE

低轨卫星 · 550 km

首 token
每 token
质量
QoE

这里实时计算的是论文的解析模型,参数取自论文表 I、表 II 和补充材料(各类请求取 token 范围的中值)。为便于演示,只算一个用户,信道取均值,链路速率取名义值,不含星间路由。它不是学习到的调度器,这里的数字也不是论文结果。论文仿真里的调度器把发往卫星的视觉输入压到 η ≈ 0.44。

系统怎么运转

三层网络,两个时间尺度。每 120 秒,知识驱动的规划器根据近期需求提出无人机部署和模型缓存的候选方案,用快速调度器推演打分,再做交替搜索。每个 2.4 秒的时隙,条件扩散 TD3 调度器(CD-TD3)为每个用户选择卸载层和压缩率,带宽和算力由闭式规则分配。

图版 3 快时间尺度的 CD-TD3 调度器(左)和慢时间尺度的知识驱动规划器(右),通过配置下发和价值反馈耦合。论文图 3。

结果

评估是仿真:5 架无人机、30 个用户、6 颗卫星、10 个无人机侧模型,解码开销按 NVIDIA Jetson AGX Thor 的速率设定,质量系数来自模型卡。结果在 30 个留出配置上统计。所提框架的人均 QoE 最高,比 TD3 高 31.9%,比 Greedy 启发式高 69.2%。

人均 QoE
  1. 本文方案1.798
  2. CD-TD3-Fixed1.507
  3. TD31.363
  4. PPO1.174
  5. Greedy1.063

数据来自论文表 III 对应的评估文件。

方案QoE首 token (s)每 token (s)质量
本文方案1.7980.8730.02720.811
CD-TD3-Fixed1.5071.2250.02710.833
TD31.3630.8060.05220.727
PPO1.1740.9170.03630.638
Greedy1.0630.9030.03680.599

增益的来源在表里看得见。相比固定配置的变体,所提方案把 TTFT 从 1.225 秒降到 0.873 秒。从学到的行为看,已缓存模型的请求里仍有 35.7% 主动发往卫星,发往卫星的视觉输入被压缩到 η ≈ 0.44。

每次去掉一个组件,就能看出什么在起作用:逐用户分解影响最大,其次是扩散 actor,然后是压缩。

去掉单个组件后的 QoE 损失
  1. w/o Per-User−22.8%
  2. w/o Diffusion−15.8%
  3. w/o Compression−9.2%
  4. w/o Refinement−4.6%
  5. w/o ConfigGen−0.9%

重新训练的变体,数据来自论文图 7 对应的评估文件。

资源越紧,优势越大。无人机存储只有 10 GB 时,所提方案比 Greedy 高 67.3%;到 30 GB 时收窄到 37.7%。

时隙总 QoE 随无人机存储容量的变化
102030401015202530无人机存储容量 (GB)QoE本文方案GreedyTD3PPO

数据来自论文图 8(b) 对应的灵敏度扫描。

调度器足够轻,可以实时运行。在单个 CPU 核(Apple M3 Max,PyTorch)上,为全部 30 个用户做一次决策平均耗时 0.67 毫秒,99 分位为 0.93 毫秒。

100%

↑↓ 选择↵ 打开