Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes 精读
青海大学与清华大学（含北京脑所）团队发布 RealSSA 真实场景音视频目标说话人提取基准，并提出单遍多尺度流式分离器 Falcon：用一次编码-解码遍历覆盖四个时频尺度，替代轻量模型多轮循环调用小分离器的范式，以 0.5M 参数在四个基准上超越全部因果基线；配合零推理开销的编码空间说话人对比损失显式推开近场干扰，且可迁移到 SwiftNet、Dolphin 等其他骨干。相对最强因果基线 AV-TF-GridNet，参数省 91.9%、计算省 20.2 倍、GPU 延迟降 11.1 倍。本精读深挖单遍多尺度与多轮循环的机制差异、对比损失为何推理零开销、RealSSA 基准设计与 20.2 倍效率提升的根源。