引言

最近开始研究视频制作，发现剪映的智能字幕居然有每个月限免次数！本着能免费解决，就绝不花钱的开源精神，就研究了一下和语音识别相关的开源项目。发现OpenAI的Whisper项目相当好用，所以就在这里给大家推荐一下。不得不说，OpenAI推出的Whisper模型作为一款强大的开源语音识别工具，可以轻松胜任字幕识别的任务。本文将简单介绍Whisper的功能特点、技术原理以及如何在Google Colab上实现Whisper的使用，为大家提供一个全面的了解和实践指南。

Whisper的主要功能和特点

Whisper是OpenAI开发的一款通用语音识别模型，项目地址：https://github.com/openai/whisper，它具有以下主要功能和特点：

1. 多语言支持：Whisper能够识别和转录多种语言的语音，这使得它在跨语言交流和国际化应用中具有巨大潜力。

2. 语音转文字：Whisper可以将音频文件转换为准确的文字记录，适用于会议记录、字幕生成等场景。

3. 语音翻译：除了转录，Whisper还能将语音直接翻译成英文文本，为跨语言交流提供便利。

4. 语言识别：Whisper能够自动检测音频中使用的语言，无需用户手动指定。

5. 开源免费：作为一个开源项目，Whisper可以被自由使用和修改，这大大促进了其在各种应用场景中的推广。

6. 多种模型大小：Whisper提供了从tiny到large不同大小的模型，用户可以根据自己的需求和硬件条件选择合适的版本。

根据OpenAI的官方介绍，Whisper的性能在某些语言上甚至可以与人工转录相媲美。例如，在英语语音识别任务中，Whisper的单词错误率（WER）可以低至1-2%，这是一个非常令人印象深刻的成绩。之前有网友测试过，称在中文识别方面，Whisper 与我们常用的剪映以及飞书妙记不相上下。

Whisper的技术原理

Whisper的核心是一个基于Transformer的序列到序列模型，其工作原理如下：

1. 音频预处理：首先，Whisper将输入的音频信号转换为频谱图。

2. 编码器处理：频谱图被送入编码器，编码器使用自注意力机制提取音频的关键特征。

3. 解码器生成：解码器根据编码器的输出，逐步生成对应的文本序列。

4. 多任务学习：Whisper在训练过程中同时学习了多个任务，包括语音识别、语言识别和语音翻译，这使得模型具有更强的泛化能力。

5. 大规模训练：Whisper使用了大量的多语言音频数据进行训练，这是其性能优异的关键因素之一。

Whisper的创新之处在于它采用了"弱监督"的训练方法。这意味着模型不仅仅依赖于精确标注的数据，还能从大量未标注或部分标注的数据中学习。这种方法大大增加了可用于训练的数据量，从而提高了模型的性能和鲁棒性。下图就是官方对模型以及训练方法的展示，不明觉厉。

在Google Colab上运行Whisper

本着实用主义的精神，咱们直接介绍如何在Google Colab上运行Whisper。正如我在之前文章《为啥有了Jupyter Notebook，还建议大家熟悉Google Colab》中提到的那样，Colab提供了GPU支持，非常适合运行Whisper这样的深度学习模型。如下图所示，官网也展示了不同参数模型需要的VRAM大小，Colab妥妥的胜任啊。

以下就是在Colab上使用Whisper的详细步骤：

1. 创建新的Colab笔记本：首先，访问Google Colab网站（https://colab.research.google.com/），创建一个新的笔记本。

2. 安装FFmpeg：Whisper依赖FFmpeg来处理音频文件。在Colab中，我们可以使用以下命令安装FFmpeg：

   !apt update && apt install ffmpeg
   

3. 安装Whisper：在笔记本的下一个代码单元中，输入并运行以下命令来安装Whisper：

   !pip install git+https://github.com/openai/whisper.git
   

4. 导入必要的库：

   import whisper
   import torch
   from google.colab import files
   import os
   

5. 检查GPU是否可用：

   print(f"CUDA is available: {torch.cuda.is_available()}")
   if torch.cuda.is_available():
       print(f"GPU: {torch.cuda.get_device_name(0)}")
   

6. 上传音频文件：使用Colab的文件上传功能上传您想要转录的音频文件。

   uploaded = files.upload()
   file_name = list(uploaded.keys())[0]
   

7. 加载Whisper模型：

   model = whisper.load_model("medium")
   

   注意：Whisper提供了不同大小的模型，从"tiny"到"large"。"medium"模型通常能在性能和速度之间取得良好的平衡，如需最好效果，可选择“large”模型。

8. 转录音频文件：

   result = model.transcribe(file_name)
   

9. 输出转录结果：

   print(result["text"])
   

10. 生成SRT格式字幕（可选）：如果需要生成SRT格式的字幕文件，可以使用以下代码：

    def format_time(seconds):
        hours = int(seconds / 3600)
        minutes = int((seconds % 3600) / 60)
        secs = seconds % 60
        return f"{hours:02d}:{minutes:02d}:{secs:06.3f}".replace('.', ',')
    
    def write_srt(result, output_file):
        with open(output_file, 'w', encoding='utf-8') as f:
            for i, segment in enumerate(result['segments'], start=1):
                print(f"{i}", file=f)
                print(f"{format_time(segment['start'])} --> {format_time(segment['end'])}", file=f)
                print(f"{segment['text'].strip()}\n", file=f)
    
    output_file = os.path.splitext(file_name)[0] + "_subtitles.srt"
    write_srt(result, output_file)
    print(f"SRT文件已生成: {output_file}")
    

11. 下载生成的SRT文件：

    files.download(output_file)
    

搞定！通过以上步骤，大家就可以在Google Colab上轻松使用Whisper进行语音识别和字幕生成。这种方法的优势在于不需要本地安装任何软件，也不需要高性能的硬件，只要有网络连接就可以使用强大的GPU资源来运行Whisper模型。

Whisper的应用方向

Whisper的开源和强大性能使其在多个领域都可以得到应用，以下是一些可能的应用方向：

1. 视频字幕生成：对于视频创作者来说，Whisper可以自动为视频内容生成准确的字幕，大大提高了工作效率。例如，YouTube创作者可以使用Whisper快速为他们的视频添加多语言字幕，提升视频的可访问性和国际化程度。

2. 会议记录转写：在商业环境中，Whisper可以用于自动转写会议内容。这不仅节省了人工记录的时间和成本，还能确保记录的准确性和完整性。

3. 语言学习辅助：语言学习者可以使用Whisper来转录外语音频，帮助理解口语内容，同时还可以利用其翻译功能进行对比学习。

4. 新闻媒体内容处理：新闻机构可以使用Whisper快速处理大量的音频和视频新闻内容，生成文字稿或字幕，提高内容的可检索性和可访问性。

5. 辅助技术：对于听障人士，Whisper可以实现实时的语音转文字，帮助他们更好地理解周围的声音环境。

6. 多语言交流：在国际会议或跨国公司中，Whisper可以用于实时翻译，促进不同语言背景的人之间的交流。

结论

Whisper作为一款开源的语音识别工具，凭借其强大的性能和广泛的应用前景，正在改变我们处理音频信息的方式。它不仅在准确性上接近人工水平，还支持多语言处理，为全球化交流提供了有力支持。通过在Google Colab上的简单实现，Whisper变得更加易于使用，使得即使没有专业技术背景和昂贵GPU的用户也能够轻松地进行语音识别和字幕生成。

随着技术的不断进步和应用场景的拓展，我们可以期待Whisper在未来会有更广泛的应用，并在提高效率、促进交流和辅助决策等方面发挥更大的作用。无论是在商业、教育、还是日常生活中，Whisper都展现出了巨大的潜力，有望成为推动语音技术发展的重要力量。