微信扫码
与创始人交个朋友
我要投稿
在深入学习大模型的过程中,我们常常需要查阅Medium上的技术文章。Medium作为一个流行的内容发布平台,汇集了大量高质量的技术和科学文章,对于希望紧跟技术前沿的学习者来说,是一个宝贵的知识库。然而,这些文章大多为英文,对于非英语母语的读者来说,阅读和理解可能存在障碍。英文文章的阅读不仅需要较高的语言能力,而且在理解专业术语和复杂概念时可能会遇到困难,这无疑增加了学习的难度和时间成本。即便使用一般的翻译软件,文章中的类似图片和链接也会丢失掉一些重要信息,这对于我来说,也是不能接受的。
因此,开发一个高效的翻译工具,将这些文章翻译成中文,对于提升学习效率和理解深度具有重要意义。这样的工具不仅可以帮助读者快速获取信息,还能促进知识的传播和共享,使得更多的人能够受益于这些优质内容。通过利用人工智能技术,特别是LLM大模型开发,我们可以实现文本的自动翻译,从而打破语言障碍,让知识无国界,更可贵的是,我要保留文章中的图片和链接的有效。
在深入探讨如何实现这一高效的翻译工具之前,我们先来了解几个关键的技术概念:
Streamlit是一个强大的Python库,专门用于快速构建和共享数据应用程序。它提供了一个简单直观的界面,使得开发者可以轻松地创建交互式的Web应用,这对于展示和操作数据非常有用。详细介绍可参阅我的另一篇文章:全面对比dify、coze、streamlit、chainlit
LangChain是一个框架,用于构建和集成多种语言模型。它支持多种预训练的语言模型,使得开发者可以根据需要选择合适的模型来处理不同的语言任务,如文本翻译、摘要生成等。详细可以了解我的这个合集:LangChain入门
通过结合这些技术,我们可以构建一个既高效又用户友好的翻译工具,帮助用户轻松地翻译Medium上的技术文章。
首先,我们需要通过Medium API获取指定ID的文章Markdown内容。这一步骤是整个翻译流程的起点,确保我们能够获取到原始的文章内容。
由于文章可能较长,直接翻译整个文档可能会影响翻译质量和效率。因此,我们使用文本分割器将长篇文章分割成适合处理的小块,这样可以更高效地进行翻译。
接下来,我们利用预训练的语言模型对每个文本块进行翻译。这一步骤是核心,它涉及到将英文文本转换为中文,同时保持原文的语义和结构。
最后,我们将翻译后的文本块整合,保持原有的Markdown格式输出。这样,用户可以方便地阅读翻译后的文章,同时保持原文的格式和结构。
通过这一系列的步骤,我们能够实现一个既准确又高效的翻译工具,帮助用户跨越语言障碍,更好地学习和理解技术文章。
在构建高效的AI翻译工具之前,首先需要确保环境配置正确,特别是API密钥的设置。API密钥是访问外部服务,如Medium API和翻译服务的关键。在代码中,我们通过环境变量DEEPSEEK_API_KEY
来管理API密钥,这样可以确保密钥的安全性,避免直接暴露在代码中。
with st.sidebar:
if os.environ.get("DEEPSEEK_API_KEY") is None:
openai_api_key = st.text_input("Deepseek API Key", type="password")
"[Get an Deepseek API key](https://platform.deepseek.com/)"
else:
openai_api_key = os.environ.get("DEEPSEEK_API_KEY")
使用Streamlit创建用户界面是实现交互性的关键步骤。我们的界面包括一个输入框和一个提交按钮,用户可以在这里输入Medium文章的ID,并触发翻译过程。
with st.form("my_form"):
text = st.text_input("id:", placeholder="请输入medium文章的id")
submitted = st.form_submit_button("Submit")
generate_response
函数是实现文章翻译的核心。它首先通过Medium API获取文章的Markdown内容,这里我使用了rapidapi开放接口封装成tool来获取文章内容,然后使用文本分割器将文章分割成小块,最后利用预训练的语言模型对每个文本块进行翻译,并将翻译结果整合输出。
@traceable
def generate_response(input_text):
llm = LLMs(model_name="glm-3-turbo", temprature=0.7).get_llm()
system_prompt = """你是一位专业的技术文章翻译专家。我们将进行一次多轮对话,你需要将一篇英文 Markdown 文章翻译成中文。
请按照以下规则进行:
1. 我会每次提供文章的一部分内容,你需要将其翻译成中文。
2. 请不要添加任何其他文字即可。
"""
prompt = PromptTemplate(input_variables=["context"], template="{context}")
# 如果article.md存在,就直接读取,如果不存在,则写入
if os.path.exists(f"articles/{input_text}.md"):
with open(f"articles/{input_text}.md", "r") as f:
article_markdown = f.read()
else:
with open(f"articles/{input_text}.md", "w") as f:
medium_tool = med_art.GetMediumTool()
article_markdown = medium_tool.run(input_text)
f.write(article_markdown)
memory = ConversationBufferMemory()
chain = LLMChain(llm=llm, prompt=prompt, memory=memory)
text_splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=0, separators=["\n\n"])
texts = text_splitter.split_text(article_markdown)
chinese_translation = ''
for text in texts:
result = chain.run(text)
chinese_translation += "\n\n" + result
st.write(result)
return
获取文章的tool即:GetMediumTool,通过调用rapidapi的接口,来获取文章,该接口免费版本每月有一定的额度,需要自行解决网络问题才能使用。
class GetMediumTool(BaseTool):
name = "custom_api_tool"
description = "一个用于根据文章id获取medium文章的工具"
args_schema: Type[BaseModel] = Input
def _run(self, article_id: str) -> str:
"""使用该工具调用API"""
base_url = "https://medium2.p.rapidapi.com"
headers = {
"X-RapidAPI-Key": os.environ.get("RAPID_API_KEY"),
"X-RapidAPI-Host": "medium2.p.rapidapi.com"
}
url = f"{base_url}/article/{article_id}/markdown"
response = requests.get(url, headers=headers)
response.raise_for_status()
result = response.json()['markdown']
print(type(result))
return result
def run(self, article_id: str, verbose: bool = False, color: str = 'black', callbacks=None, llm_prefix='', observation_prefix='') -> str:
"""调用工具的入口函数"""
if 'Observation:' in article_id:
import json
dict_data = json.loads(article_id.replace('\nObservation:', '').replace("'", "\""))
article_id = dict_data['article_id']
# 判断article_id是个json字符串
if isinstance(article_id, dict):
article_id = article_id['article_id']
return self._run(article_id)
为了提高翻译的连贯性和准确性,我们引入了多轮对话翻译机制。通过对话记忆,系统可以记住之前的翻译内容,从而在后续的翻译中保持上下文的连贯性。
memory = ConversationBufferMemory()
chain = LLMChain(llm=llm, prompt=prompt, memory=memory)
通过上述步骤,我们不仅实现了文章的自动翻译,还确保了翻译的质量和用户体验。这种结合AI技术和编程工具的方法,为解决实际问题提供了有效的解决方案。
在generate_response
函数中,我们使用了RecursiveCharacterTextSplitter
来分割文章。这种分割器能够根据文本中的自然分隔符(如换行符)来分割文本,确保每个文本块在语义上相对独立,便于后续的翻译处理。
text_splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=0, separators=["\n\n"])
texts = text_splitter.split_text(article_markdown)
这里,chunk_size
设置为2000字符,确保每个文本块不会过大,以便于翻译模型处理。chunk_overlap
设置为0,意味着每个文本块之间没有重叠,这样可以减少翻译时的冗余。
翻译过程中,我们利用预训练的语言模型对每个文本块进行翻译,并将翻译结果实时显示在Streamlit界面上。这不仅让用户能够即时看到翻译进度,也便于用户对翻译结果进行实时检查和反馈。
for text in texts:
result = chain.run(text)
chinese_translation += "\n\n" + result
st.write(result)
每次翻译完成后,翻译结果会被添加到chinese_translation
变量中,并显示在界面上。这样,用户可以逐步查看翻译结果,确保翻译的准确性和连贯性。
多轮对话翻译通过ConversationBufferMemory
实现,它允许系统记住之前的对话内容,从而在后续的翻译中保持上下文的连贯性。这种机制特别适用于处理长篇文章,可以确保翻译的整体一致性。
memory = ConversationBufferMemory()
chain = LLMChain(llm=llm, prompt=prompt, memory=memory)
通过这种方式,系统能够在翻译过程中不断学习和调整,以适应文章的特定风格和术语,从而提供更加精准和自然的翻译结果。
通过本项目,我们不仅实现了一个高效的Medium文章翻译工具,还深入了解了如何结合AI技术和编程工具来解决实际问题。这不仅提升了个人学习效率,也为其他需要翻译服务的场景提供了参考和启示。通过Streamlit构建的交互式界面,用户可以轻松地输入文章ID并获取翻译结果,整个过程直观且高效。此外,多轮对话翻译机制的引入,进一步提高了翻译的质量和用户体验,使得翻译结果更加准确和自然。
如果对我的内容感兴趣欢迎关注我,并与我联系,非常乐意与志同道合的人沟通交流,共同进步。
随着我们对AI翻译工具的深入开发和优化,我们见证了技术如何无缝地融入日常学习和工作流程中。这一工具的成功应用不仅展示了技术的力量,也启发了我们对于未来技术应用的无限想象。如果您希望进一步探索这些技术的潜力,或想要体验更多高效便捷的云服务,不妨访问盘古云:http://cloud.panguidc.com/aff/LRJHVTYE,开启您的智能技术之旅。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-04-26
2024-08-13
2024-08-21
2024-07-09
2024-06-13
2024-08-04
2024-04-11
2024-07-18
2024-07-01