任意视角生成！港科广实现真实场景下的心电全景｜ICLR'26

---

  新智元报道  

如果把人体比作一台精密的机器，那么心脏就是这台机器的能量核心。

心脏每一次收缩背后，都伴随着有序的电活动传播；这些电活动在体表形成可观测的电位分布，也就是心脏电场。从不同空间视角去观测这一电场，就得到不同导联的心电信号——它们分别反映心脏不同区域的电生理状态。

临床最常用的标准十二导联心电图体系在20世纪中期逐步定型，并在1942年随着Goldberger增强肢体导联的引入而形成今天广泛使用的12导联框架。

这套系统在大多数心血管疾病诊断中非常关键，但固定且有限的视角也带来盲区：例如后壁心梗常需要额外的V7–V9才能更敏感地捕捉改变；而Brugada 综合征往往需要将胸前导联上移到第2/3肋间隙，才能更容易呈现典型波形。

换个更直观的类比——就像相机从不同角度拍同一物体：相近角度的信息冗余度更高，而足够多、足够分散的视角可以拼出更完整的「3D 全貌」；因此在理论上，只要能学到这些视角之间的映射关系，就有机会从有限导联推断并生成任意视角下的心电信号。

香港科技大学（广州）陈晋泰助理教授研究团队曾提出了心电全景图的概念：利用记录的导联信号合成任意空间角度的虚拟导联ECG，让医生从不同的视角观察心脏电活动，但前序工作（Nef-Net v1）是理想条件下的概念验证，具有以下缺陷：

视角信息混叠：Nef-Net将多视角特征平均融合来建立心脏电生理场，从而合成全景图。这种方式容易造成波形细节被抹平，尤其在监督导联较少时更明显。

设备域差：现实中不同心电信号采集设备域差导致采样分布漂移。

视角偏移：信号采集过程存在电极贴片位置误差、病人个体解剖差异，存在视角偏差。

全景验证不足：缺乏密集视角数据集验证新视角合成能力：公开数据多是12导联，无法系统验证全景合成能力。

鉴于上述问题，香港科技大学（广州）人工智能学域陈晋泰教授团队和中山大学生物医学工程学院吴万庆教授团队针对以上四个核心瓶颈进行了改进，该成果发表在ICLR 2026上。

论文链接：https://arxiv.org/pdf/2511.02880

代码链接：https://github.com/HKUSTGZ-ML4Health-Lab/NEFNET-v2

主要创新点：

1. 不再显式建模心脏电生理场，而是采用view-to-view transformation的方式合成新视角。这种模型结构更直接，通过几何关系让模型学会哪些输入导联对目标导联最相关，解决Nef-Net v1版本的特征平均融合的缺陷。

2. 针对临床应用中的难点提出三阶段训练&部署：首先通过 Any-pairs 预训练在多数据源上学习稳定的跨视角映射先验；随后用 Device Calibration 对齐不同采集设备域差；最后引入 On-the-fly Calibration 在推理时显式估计并校正电极贴放误差与个体解剖差异导致的视角偏移，使模型能够在每次检查中快速自适配并输出诊断级一致的虚拟导联，从而系统性解决了跨设备、跨个体两类部署瓶颈。

3. 建立 Panobench高密度心电数据集，用于验证心电全景生成能力；数据集中每个视角的位置均由CT标注并计算得到对应的角度。

NEF-NET v2模型分成三个部分。

Angle Embedding： 输入导联、目标导联都用球坐标角度 (θ, φ) 表示；角度编码把不同导联的角度映射到可学习空间。

View Encoder： 每条单导联ECG先过1D-ResNet提特征，然后用目标导联的查询特征做类似 FiLM 的仿射调制：增强与目标角度一致的成分，抑制不相关成分。这一步等价于把「选择性」前置，而不是最后再平均。

Geometric View Transformer (GeoVT)：

• MGAA（Geometric Angular Attention）：用cross-attention 比较目标角度嵌入与输入角度嵌入，得到几何相似度权重。

• View Transformation Blocks（堆叠L层）：逐层把输入特征投影到目标视角的潜空间，并用一个可学习门控Gi做coarse-to-fine融合。

• Reconstruction Head：将从输入导联中提取到的特征上采样回目标导联时域信号。

NEF-NET v2采用三阶段训练部署：

1. Any-Pairs Pretraining：用多数据集、多设备来源的 ECG 做「任意记录-任意目标」的动态采样训练，让模型学到稳健的跨视角变换。

2. Device Calibration：针对特定设备做微调：不同信号采集设备之间具有域差，校准训练让模型「对齐本地设备域」。

3. On-the-fly Calibration：针对每次实验贴电极产生的视角偏差及不同个体心脏位置的个体差异，引入可学习角度偏差参数 (dθ, dφ)，并规定每条 ECG 的前 5 秒用于快速自校准角度相关模块，后5秒用于实际应用。这使模型能在每次检查中做病人级适配。

在Tianchi、ChinaDB、CPSC2018和PTB-XL四个数据集上，研究人员分别评估了多种主流模型在重建与合成两类任务中的表现。在合成任务中，括号内依次给出了输入视角数、用于重建监督的视角数以及最终用于合成生成的视角数。最佳结果以粗体标出。

重建任务与合成任务的对比实验

在Panobench数据集上，研究人员比较了Nef-Net与NEF-NET v2在心电全景合成（ECG panoramic synthesis）任务中的性能，并系统考察了输入导联数量与监督导联数量变化对结果的影响。

NEF-NET v2将ECG合成重构为直接的视角到视角变换，利用导联间角度关系显式建模依赖并选择性增强几何一致的特征，相较于Nef-Net能更好保留诊断相关细节，即使在少导联监督条件下也能维持较高的合成精度。

监督导联数与输入导联数对合成任务性能的影响

在Tianchi、ChinaDB、CPSC2018和PTB-XL四个数据集上，研究人员进一步验证了三阶段部署流程对视角合成任务的贡献：从Any-pairs预训练开始，模型先学习稳定的跨视角映射先验；随后通过Device Calibration适配不同采集设备采集信号导致的域差；最后引入On-the-fly Calibration在推理时对电极贴放误差与个体解剖差异导致的视角偏移进行快速自校准，从而显著提升真实场景下的合成质量。

不同训练阶段下视角合成任务性能的变化

以CPSC2018的代表性案例为例，NEF-NET v2在不同训练阶段对V5导联的合成效果呈现「逐级变好」的趋势：绿色圆圈标注真实信号中具有临床诊断意义的关键细节（如特定波形拐点/形态特征），而红色圆圈展示这些细节在合成信号中随训练阶段推进被越来越准确地恢复，直观说明多阶段训练不仅提升整体相似度，更强化了对诊断级波形特征的保真。

NEF-NET v2在不同训练阶段对V5视角进行逐步合成的过程

心脏在不同疾病状态下，其心电活动分布会发生系统性改变，这些改变在不同导联/视角上的可见性并不一致：有的异常在特定胸导联（如 V1–V4 的前壁视角）会非常突出，而在其他视角可能并不明显甚至难以察觉。

因此，能否在多种疾病条件下稳定合成出保留关键病理特征的心电波形，是NEF-NET v2实际临床意义的核心——它决定了模型能够在真实诊断场景中提供可靠的虚拟视角信号。

为此，研究人员在涵盖九类心律/心肌异常的 CPSC2018 数据集上进行系统评估。

定量结果显示，NEF-NET v2在所有病理类别上均取得更高的重建保真度：平均PSNR提升6.9dB，SSIM亦保持一致增益；其中在房颤（AF）信号上的 PSNR 提升达到7.3dB。

与此同时，正常与异常节律之间的性能差距被进一步缩小，体现出更强的疾病自适应与跨病种泛化能力，支持NEF-NET v2在多样化临床诊断场景下生成更可信的ECG全景波形。

在不同疾病上的CPSC2018视图合成性能表现

该研究将心电全景合成从受控实验环境推进到真实世界应用。

针对Nef-Net中特征平均融合带来的视角信息混叠问题，研究人员采用更直接的view-to-view transformation 架构，显式利用导联间的冗余与几何关联，动态选择并强化对目标导联最相关的视角特征，从而更好保留诊断级波形细节。

进一步针对真实场景中的设备域差与视角偏移（电极贴放误差与个体解剖差异），提出三阶段开发–部署流程：大规模预训练学习稳健先验、设备级校准对齐采集链路差异、在线自适应校正病例级角度偏移，实现跨设备与跨个体的稳定泛化。

最后，研究人员构建Panobench高密度多视角基准数据集，为心电全景合成提供系统化、全面的验证平台。