SkySense-蚂蚁集团开发的多模态遥感基础模型

SkySense是什么？

SkySense是一个由蚂蚁集团开发的20亿参数的多模态遥感基础模型，SkySense是蚂蚁百灵大模型在多模态领域最新的研发成果。SkySense能够处理多种模态的遥感影像，支持土地利用监测、目标识别等任务，并已在支付宝等场景中得到应用。

蚂蚁集团计划开放该模型参数，以促进智能遥感技术的发展。

SkySense的主要特点

1. 多模态处理能力：能够处理和分析多种遥感数据模态，包括文本、红外光、可见光和SAR雷达等。
2. 高参数规模：拥有20亿参数，是目前国际上参数规模最大的多模态遥感模型。
3. 全面的任务覆盖：覆盖了土地利用监测、高分辨率目标识别、地物变化检测等多种遥感感知任务。
4. 高精度识别：在17项测试场景中的指标均超过国际同类产品，识别精度高。
5. 时序遥感影像建模：实现了多分辨率的时序遥感影像建模，提升了在海量数据和多种任务中的泛化能力。
6. 数据集预训练：基于蚂蚁集团内部构建的19亿遥感影像数据集进行预训练。
7. 实际应用：已在支付宝五福节AI互动、蚂蚁医疗数字人等场景中得到应用。
8. 开放合作：蚂蚁集团计划开放SkySense模型参数，与行业共建，推动智能遥感技术的应用发展。

这些特点使得SkySense成为一个强大的遥感数据处理工具，适用于城市规划、森林保护、应急救灾、绿色金融和农业监测等多个重要领域。

SkySense的评测结果

SkySense在总计17项国际权威公开数据集进行了测评，其测试任务类型包括了土地利用监测、高分辨率目标识别、地物变化检测等7种常见遥感感知任务，并与国际上已发布的包括IBM和NASA联合研发的Prithvi等共18个全球主流同类模型做了测试结果比较。数据显示，17项测评中SkySense均名列第一。譬如，在国际高清遥感地物检测榜单FAIR1M 2.0中，SkySense平均精度(mAP)领先第二名超3%。

在刚刚公布的CVPR2024论文入选结果上，SkySense的研究成果亦被收录。CVPR是由IEEE举办的计算机视觉和模式识别领域的顶级会议，是国际计算机视觉三大顶会之一。

SkySense的应用场景

SkySense模型的应用场景包括：

1. 土地利用监测：监测土地覆盖变化，评估城市扩张、农业用地变化等。
2. 农作物观测：分析农作物生长情况，辅助农业生产和资源管理。
3. 地物变化检测：识别和监测自然灾害后的变化，如洪水、地震等对地表的影响。
4. 城市规划：辅助城市规划和管理，通过遥感数据进行城市基础设施分析。
5. 森林保护：监测森林覆盖率、植被健康状况，支持环境保护工作。
6. 应急救灾：在灾害发生时快速评估受灾区域，为救援行动提供决策支持。
7. 绿色金融：评估环境项目的环境效益，为绿色投资提供数据支持。
8. 农业监测：监测农田健康状况，预测产量，为农业保险和精准农业提供服务。
9. 数字人和AI互动：在支付宝等平台的数字人和AI互动场景中提供技术支持。
10. 科学研究：支持地理学、气候学、生态学等领域的遥感数据研究。

SkySense模型的多模态处理能力和高精度识别使其在这些领域具有广泛的应用潜力。随着技术的进一步发展和模型参数的开放，其应用场景可能会进一步扩展。