将FastSAM中的TextPrompt迁移到MobileSAM中

  • 开发
  • 40

本博文简单介绍了SAM、FastSAM与MobileSAM，主要关注于TextPrompt功能的使用。从性能上看MobileSAM是最实用的，但其没有提供TextPrompt功能，故而参考FastSAM中的实现，在MobileSAM中嵌入TextPrompt类。并将TextPrompt能力嵌入到MobileSAM官方项目提供的gradio.py部署代码中，实现效果如下图所示，由于FastSAM全景实列分割比MobileSAM略差，故MobileSAM的text prompt分割效果比FastSAM要好很多。
在这里插入图片描述
在这里插入图片描述

1、 SAM系列模型介绍

1.1 SAM

SAM项目代码：https://github.com/facebookresearch/segment-anything
SAM是一个项目体系，而非某个网络模型。其核心是对数据的利用，对模型输入输出格式的调整。其网络模型均依赖VIT模型，其结构体系为提示分割模型（与普通语义分割模型多了提示这一层）。SAM参考NLP，认为其具备强大的下游泛化能力是因为提示输入，其认为分割任务的提示输入为点、推荐框、mask和文本（对于文本输入的理解使用CLIP编码器），通过给定提示输

阅读全部

相关推荐

  2. 将Windows中的Anaconda虚拟环境迁移到Linux系统

    2024-03-18 05:56:06       55 阅读

  6. 如何将已有的docker服务迁移至Kubernetes集群中

    2024-03-18 05:56:06       25 阅读

  7. 【文本到上下文 #9】NLP中的BERT和迁移学习

    2024-03-18 05:56:06       57 阅读

  10. 将android assets中的2个文件拷贝到sdcard中的sentry目录下

    2024-03-18 05:56:06       39 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-18 05:56:06       94 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-18 05:56:06       101 阅读

  9. 在Django里面运行非项目文件

    2024-03-18 05:56:06       82 阅读

  19. Python语言-面向对象

    2024-03-18 05:56:06       91 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-03-18 05:56:06       85 阅读

热门阅读

  2. web前端之小功能聚集、简单交互效果

    2024-03-18 05:56:06       41 阅读

  7. centos firewalld 封禁某个ip

    2024-03-18 05:56:06       32 阅读

  10. c++中的类型转换(4种转换方式)

    2024-03-18 05:56:06       37 阅读

  11. docker快速安装和详细安装-保姆教程

    2024-03-18 05:56:06       39 阅读

  16. 数值分析复习：Newton插值

    2024-03-18 05:56:06       41 阅读

  20. JVM学习——类的加载器以及类的加载过程

    2024-03-18 05:56:06       38 阅读

  28. rust - 一个日志缓存记录的通用实现

    2024-03-18 05:56:06       35 阅读

  29. 前端框架的发展历程

    2024-03-18 05:56:06       36 阅读