2024-04-28 17:53:41,
FunClip是什么?
FunClip是一款完全开源、本地部署的自动化视频剪辑工具,通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别,随后用户可以自由选择识别结果中的文本片段或说话人,点击裁剪按钮即可获取对应片段的视频。
- GitHub项目地址:https://github.com/alibaba-damo-academy/FunClip
- 在线体验地址:https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary
FunClip的功能特色
- FunClip集成了阿里巴巴开源的工业级模型Paraformer-Large,是当前识别效果最优的开源中文ASR模型之一,Modelscope下载量1300w+次,并且能够一体化的准确预测时间戳。
- FunClip集成了SeACo-Paraformer的热词定制化功能,在ASR过程中可以指定一些实体词、人名等作为热词,提升识别效果。
- FunClip集成了CAM++说话人识别模型,用户可以将自动识别出的说话人ID作为裁剪目标,将某一说话人的段落裁剪出来。
- 通过Gradio交互实现上述功能,安装简单使用方便,并且可以在服务端搭建服务通过浏览器使用。
- FunClip支持多段自由剪辑,并且会自动返回全视频SRT字幕、目标段落SRT字幕,使用简单方便。
如何使用FunClip?
方法一:在线体验魔搭社区demo
访问魔搭社区体验链接:https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary,按照下方步骤使用:
- Step1: 上传视频或音频文件(或使用下方的用例体验),点击 识别 按钮
- Step2: 复制识别结果中所需的文字至右上方,或者右设置说话人标识,设置偏移与字幕配置(可选)
- Step3: 点击 裁剪 按钮或 裁剪并添加字幕 按钮获得结果
方法二:在本地启动Gradio服务
确保本地已安装Python和Git,在电脑终端执行以下命令。
git clone https://github.com/alibaba-damo-academy/FunClip.git
cd FunClip
python funclip/launch.py
随后在浏览器中访问localhost:7860
即可看到如下图所示的界面,按如下步骤即可进行视频剪辑
- 上传你的视频(或使用下方的视频用例)
- (可选)设置热词,勾选是否使用说话人识别功能
- 点击识别按钮获取识别结果
- 将识别结果中的选段复制到对应位置,或者将说话人ID输入到对应为止
- (可选)配置剪辑参数,偏移量与字幕设置等
- 点击“裁剪”或“裁剪并添加字幕”按钮