AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


利用AI技术实现Medium文章的高效中文翻译
发布日期:2024-05-28 11:06:27 浏览次数: 2130 来源:加加笔记


在深入学习大模型的过程中,我们常常需要查阅Medium上的技术文章。Medium作为一个流行的内容发布平台,汇集了大量高质量的技术和科学文章,对于希望紧跟技术前沿的学习者来说,是一个宝贵的知识库。然而,这些文章大多为英文,对于非英语母语的读者来说,阅读和理解可能存在障碍。英文文章的阅读不仅需要较高的语言能力,而且在理解专业术语和复杂概念时可能会遇到困难,这无疑增加了学习的难度和时间成本。即便使用一般的翻译软件,文章中的类似图片和链接也会丢失掉一些重要信息,这对于我来说,也是不能接受的。

因此,开发一个高效的翻译工具,将这些文章翻译成中文,对于提升学习效率和理解深度具有重要意义。这样的工具不仅可以帮助读者快速获取信息,还能促进知识的传播和共享,使得更多的人能够受益于这些优质内容。通过利用人工智能技术,特别是LLM大模型开发,我们可以实现文本的自动翻译,从而打破语言障碍,让知识无国界,更可贵的是,我要保留文章中的图片和链接的有效。

概念解释

在深入探讨如何实现这一高效的翻译工具之前,我们先来了解几个关键的技术概念:

Streamlit

Streamlit是一个强大的Python库,专门用于快速构建和共享数据应用程序。它提供了一个简单直观的界面,使得开发者可以轻松地创建交互式的Web应用,这对于展示和操作数据非常有用。详细介绍可参阅我的另一篇文章:全面对比dify、coze、streamlit、chainlit

LangChain

LangChain是一个框架,用于构建和集成多种语言模型。它支持多种预训练的语言模型,使得开发者可以根据需要选择合适的模型来处理不同的语言任务,如文本翻译、摘要生成等。详细可以了解我的这个合集:LangChain入门

通过结合这些技术,我们可以构建一个既高效又用户友好的翻译工具,帮助用户轻松地翻译Medium上的技术文章。

实现思路

获取文章内容

首先,我们需要通过Medium API获取指定ID的文章Markdown内容。这一步骤是整个翻译流程的起点,确保我们能够获取到原始的文章内容。

文本分割

由于文章可能较长,直接翻译整个文档可能会影响翻译质量和效率。因此,我们使用文本分割器将长篇文章分割成适合处理的小块,这样可以更高效地进行翻译。

翻译处理

接下来,我们利用预训练的语言模型对每个文本块进行翻译。这一步骤是核心,它涉及到将英文文本转换为中文,同时保持原文的语义和结构。

输出翻译结果

最后,我们将翻译后的文本块整合,保持原有的Markdown格式输出。这样,用户可以方便地阅读翻译后的文章,同时保持原文的格式和结构。

通过这一系列的步骤,我们能够实现一个既准确又高效的翻译工具,帮助用户跨越语言障碍,更好地学习和理解技术文章。

代码实现解析

环境配置与API密钥设置

在构建高效的AI翻译工具之前,首先需要确保环境配置正确,特别是API密钥的设置。API密钥是访问外部服务,如Medium API和翻译服务的关键。在代码中,我们通过环境变量DEEPSEEK_API_KEY来管理API密钥,这样可以确保密钥的安全性,避免直接暴露在代码中。

with st.sidebar:
    if os.environ.get("DEEPSEEK_API_KEY"is None:
        openai_api_key = st.text_input("Deepseek API Key", type="password")
        "[Get an Deepseek API key](https://platform.deepseek.com/)"
    else
        openai_api_key = os.environ.get("DEEPSEEK_API_KEY")

界面构建

使用Streamlit创建用户界面是实现交互性的关键步骤。我们的界面包括一个输入框和一个提交按钮,用户可以在这里输入Medium文章的ID,并触发翻译过程。

with st.form("my_form"):
    text = st.text_input("id:", placeholder="请输入medium文章的id")
    submitted = st.form_submit_button("Submit")

核心翻译函数

generate_response函数是实现文章翻译的核心。它首先通过Medium API获取文章的Markdown内容,这里我使用了rapidapi开放接口封装成tool来获取文章内容,然后使用文本分割器将文章分割成小块,最后利用预训练的语言模型对每个文本块进行翻译,并将翻译结果整合输出。

@traceable
def generate_response(input_text):
    llm = LLMs(model_name="glm-3-turbo", temprature=0.7).get_llm()
 system_prompt = """你是一位专业的技术文章翻译专家。我们将进行一次多轮对话,你需要将一篇英文 Markdown 文章翻译成中文。
请按照以下规则进行:
1. 我会每次提供文章的一部分内容,你需要将其翻译成中文。
2. 请不要添加任何其他文字即可。
 """

 prompt = PromptTemplate(input_variables=["context"], template="{context}")
 # 如果article.md存在,就直接读取,如果不存在,则写入
 if os.path.exists(f"articles/{input_text}.md"):
  with open(f"articles/{input_text}.md""r"as f:
   article_markdown = f.read()
 else:
  with open(f"articles/{input_text}.md""w"as f:
   medium_tool = med_art.GetMediumTool()
   article_markdown = medium_tool.run(input_text)
   f.write(article_markdown)
   
 memory = ConversationBufferMemory()

chain = LLMChain(llm=llm, prompt=prompt, memory=memory)
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=0, separators=["\n\n"])
    texts = text_splitter.split_text(article_markdown)
    chinese_translation = ''
    for text in texts:
        result = chain.run(text)
        chinese_translation += "\n\n" + result
        st.write(result)
    return

获取文章的tool即:GetMediumTool,通过调用rapidapi的接口,来获取文章,该接口免费版本每月有一定的额度,需要自行解决网络问题才能使用。

class GetMediumTool(BaseTool):
    name = "custom_api_tool"
    description = "一个用于根据文章id获取medium文章的工具"
    args_schema: Type[BaseModel] = Input

    def _run(self, article_id: str) -> str:
        """使用该工具调用API"""
        base_url = "https://medium2.p.rapidapi.com"
        headers = {
            "X-RapidAPI-Key": os.environ.get("RAPID_API_KEY"),
            "X-RapidAPI-Host""medium2.p.rapidapi.com"
        }
        url = f"{base_url}/article/{article_id}/markdown"
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        result = response.json()['markdown']
        print(type(result))
        return result

    def run(self, article_id: str, verbose: bool = False, color: str = 'black', callbacks=None, llm_prefix='', observation_prefix='') -> str:
        """调用工具的入口函数"""
        if 'Observation:' in article_id:
            import json
            dict_data = json.loads(article_id.replace('\nObservation:''').replace("'""\""))
            article_id = dict_data['article_id']
        # 判断article_id是个json字符串
        if isinstance(article_id, dict):
            article_id = article_id['article_id']
        return self._run(article_id)

多轮对话翻译

为了提高翻译的连贯性和准确性,我们引入了多轮对话翻译机制。通过对话记忆,系统可以记住之前的翻译内容,从而在后续的翻译中保持上下文的连贯性。

memory = ConversationBufferMemory()
chain = LLMChain(llm=llm, prompt=prompt, memory=memory)

通过上述步骤,我们不仅实现了文章的自动翻译,还确保了翻译的质量和用户体验。这种结合AI技术和编程工具的方法,为解决实际问题提供了有效的解决方案。

文本分割与处理

generate_response函数中,我们使用了RecursiveCharacterTextSplitter来分割文章。这种分割器能够根据文本中的自然分隔符(如换行符)来分割文本,确保每个文本块在语义上相对独立,便于后续的翻译处理。

text_splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=0, separators=["\n\n"])
texts = text_splitter.split_text(article_markdown)

这里,chunk_size设置为2000字符,确保每个文本块不会过大,以便于翻译模型处理。chunk_overlap设置为0,意味着每个文本块之间没有重叠,这样可以减少翻译时的冗余。

翻译与输出

翻译过程中,我们利用预训练的语言模型对每个文本块进行翻译,并将翻译结果实时显示在Streamlit界面上。这不仅让用户能够即时看到翻译进度,也便于用户对翻译结果进行实时检查和反馈。

for text in texts:
    result = chain.run(text)
    chinese_translation += "\n\n" + result
    st.write(result)

每次翻译完成后,翻译结果会被添加到chinese_translation变量中,并显示在界面上。这样,用户可以逐步查看翻译结果,确保翻译的准确性和连贯性。

多轮对话翻译的实现

多轮对话翻译通过ConversationBufferMemory实现,它允许系统记住之前的对话内容,从而在后续的翻译中保持上下文的连贯性。这种机制特别适用于处理长篇文章,可以确保翻译的整体一致性。

memory = ConversationBufferMemory()
chain = LLMChain(llm=llm, prompt=prompt, memory=memory)

通过这种方式,系统能够在翻译过程中不断学习和调整,以适应文章的特定风格和术语,从而提供更加精准和自然的翻译结果。

总结

通过本项目,我们不仅实现了一个高效的Medium文章翻译工具,还深入了解了如何结合AI技术和编程工具来解决实际问题。这不仅提升了个人学习效率,也为其他需要翻译服务的场景提供了参考和启示。通过Streamlit构建的交互式界面,用户可以轻松地输入文章ID并获取翻译结果,整个过程直观且高效。此外,多轮对话翻译机制的引入,进一步提高了翻译的质量和用户体验,使得翻译结果更加准确和自然。

如果对我的内容感兴趣欢迎关注我,并与我联系,非常乐意与志同道合的人沟通交流,共同进步。

随着我们对AI翻译工具的深入开发和优化,我们见证了技术如何无缝地融入日常学习和工作流程中。这一工具的成功应用不仅展示了技术的力量,也启发了我们对于未来技术应用的无限想象。如果您希望进一步探索这些技术的潜力,或想要体验更多高效便捷的云服务,不妨访问盘古云:http://cloud.panguidc.com/aff/LRJHVTYE,开启您的智能技术之旅。


END



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询