j9.comj9.com

　　高时空分辨率遥感图像在植被监测、作物估产、大气环境监测、蒸散发估算及土壤水分分析等领域具有广泛需求。然而，由于传感器像素尺寸与扫描幅宽之间的固有矛盾，单颗卫星传感器难以同时获取高空间分辨率与高时间分辨率（HSHT）的遥感数据。现有卫星系统通常分为两类：一类是高空间分辨率低时间分辨率（HSLT）传感器，如Landsat系列（30m空间分辨率，16天重访周期）；另一类是高时间分辨率低空间分辨率（HTLS）传感器，如MODIS系列（250–1000m空间分辨率，每日全球覆盖）。为克服单一传感器的限制，时空融合（spatio-temporal fusion, STF）技术应运而生，旨在通过融合不同来源的遥感数据生成同时具备高空间与高时间分辨率的图像。

　　现有STF方法主要分为四类：基于权重的方法（如STARFM、ESTARFM）、基于解混的方法（如MMT、STDFA、FSDAF）、基于贝叶斯的方法（如BME）以及基于学习的方法（包括CNN、Transformer、GAN和扩散模型）。尽管这些方法取得了一定进展，但仍存在不足：基于权重的方法在异质区域或高动态变化区域表现不佳，易受噪声影响；基于解混的方法存在块效应；基于贝叶斯的方法计算复杂度高，依赖准确的先验信息；基于CNN的方法感受野有限，难以捕捉全局信息；基于Transformer的方法虽能捕获全局依赖，但细节特征提取能力较弱，计算复杂度高且训练数据需求大；基于GAN的方法训练不稳定，易出现模式崩溃；基于扩散模型的方法结构复杂且计算效率低。

　　为克服上述局限性，研究人员提出了一种新颖的混合网络STCAFormer，首次将Transformer与CNN的多层结构集成并应用于STF领域。该研究旨在实现更有效的时空特征融合，提升融合图像的重建精度和跨区域、跨传感器迁移能力。论文发表在《Remote Sensing of Environment》。

　　研究采用了一种U型网络架构，包含特征提取、特征融合和特征重建三个阶段。关键技术创新包括三个模块：1）Swin-时间融合块（Swin-Temporal Fusion block, STF），利用滑动窗口交叉注意力机制（window multi-head cross-attention, W-MHCA）和移位窗口交叉注意力机制（shifted window multi-head cross-attention, SW-MHCA）来融合粗图像的时相信息与细图像的空间信息；2）多尺度空间融合块（Multi-Scale Spatial Fusion block, MSSF），通过多尺度特征提取和通道-空间注意力加权融合空间细节；3）双路径上采样块（Dual-Path Upsample block, DPU），结合卷积与双线性插值路径以及点采样路径（采样点生成器SPG）以减少伪影、保留细节。实验数据来自亚洲、澳大利亚和美洲的多个区域，包括Landsat 8/MODIS数据集（DAXING、CIA、BR_LM）和Sentinel-2/Sentinel-3数据集（BR），共构建了4个数据集。训练与测试比例约为4:1，并设计了跨区域、跨传感器及联合跨区域与跨传感器的迁移实验。

　　在长时序CIA数据集上，所有方法的MAE呈现先下降后上升的趋势，与物候变化周期一致。STCAFormer在多数预测日期上取得最优平均MAE，尤其当预测日期与输入日期地表特征相似时表现更佳。跨传感器迁移（BR→CIA）性能略低于跨区域迁移（DAXING→CIA），原因在于分辨率差距不匹配导致的过专业化映射。

　　配对t检验显示，STCAFormer在大多数实验场景和测试日期上相对于基线方法具有统计显著改善（p

　　0.05）。与gan-stfm相比，95.7%的对比（45/47）显著；与swinstfm相比，66.0%显著（31/47）。在联合跨区域与跨传感器任务中，显著性比率下降至50%，表明stcaformer与swinstfm在此场景下统计性能相当。

　　在DAXING和BR上分别移除STF、MSSF或DPU模块，完整STCAFormer在所有指标上均最优。STF模块对结构相似性贡献显著，MSSF提升PSNR和SSIM，DPU改善PSNR、RMSE和MAE。可视化结果表明，缺少任一模块都会导致光谱失真、颜色偏差或细节丢失。

　　实验比较了头维度为8、12、16、24时的性能。头维度为24时在PSNR、RMSE、MAE上达到最优，且SSIM与较低维度接近，因此默认设置为24。

　　STCAFormer在跨传感器迁移中存在细节丢失和光谱不一致，主要因为DPU的网格采样机制和线性层对不同传感器空间分辨率与光谱响应函数的差异敏感。此外，模型复杂度较高，注意力机制增加了FLOPs和参数量，需进一步轻量化。模型可解释性不足，需开发可视化工具阐明内部机制。数据集质量对训练和测试至关重要，需仔细筛选和预处理遥感影像。

　　本研究提出了一种新颖的基于Transformer的时空融合方法STCAFormer，用于遥感图像融合，解决了现有时空融合方法的局限性。STCAFormer框架采用了创新的融合模块，即Swin-时间融合块（STF）和多尺度空间融合块（MSSF），协同融合全局时间与空间特征，实现了优越的图像重建和时间一致性。在Landsat 8/MODIS、Sentinel-2/3等多个数据集上的综合实验表明，该模型在RMSE、PSNR和SSIM等指标上相比基线方法有显著提升。跨区域、跨传感器及联合跨区域与跨传感器的迁移实验表明，STCAFormer相比基线方法具有更强的迁移能力，其中跨区域迁移略优于跨传感器迁移。无论是短期还是长期间隔的数据融合，STCAFormer均优于基线方法。结果表明，STCAFormer在多种光学传感器配置和不同土地覆盖领域具有良好的泛化能力，在Landsat 8/MODIS和Sentinel-2/3数据集上得到了验证。未来工作可进一步优化模型以适用于实时应用，并将其扩展到其他遥感挑战，如动态环境监测和大规模土地利用分析。同时，可视化Swin-时间融合块的中间注意力图将有助于解释不同卫星图像之间时空对应关系的建立。