粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
如果你是dify开发者，或者是工作流的狂热爱好者，你难免会遇到这么一个问题：当用户输入一个超长文本内容时，你的工作流没办法一下子处理这么长的内容，或者没办法将这么长的内容按照预期处理的非常精致。
其实这个问题之前也总是困扰我，尤其是我最近在用dify玩超长文本翻译的 工作流时，受大模型的限制，没办法一下子将超长文本一次性处理到位，于是我就想到一个替代方案，就是先将长文本切割成多个短文本，然后使用迭代节点，分批次处理，最后完成结果的拼接。这样我的大模型就有较大的把握处理好这个场景问题。
其实操作起来也很简单，就是在“开始节点”后面接入一个“代码执行”节点，并且这个代码执行节点只写最基础的脚本，不需要处理复杂的逻辑。如下是Python代码参考示例：
def main(input_text: str) -> str:token_limit = 1000overlap = 100chunk_size = int(token_limit * 6 * (4/3))# Initialize variableschunks = []start_index = 0text_length = len(input_text)# Loop until the end of the text is reachedwhile start_index < text_length:# If we are not at the beginning, adjust the start_index to ensure overlapif start_index > 0:start_index -= overlap# Calculate end index for the current chunkend_index = start_index + chunk_sizeif end_index > text_length:end_index = text_length# Add the current chunk to the list:end_index])# Update the start_index for the next chunkstart_index += chunk_sizereturn {: chunks,}
请注意chunks输出变量的类型要选array[string]。
代码节点将 input_text 分成长度为 token_limit 的块。每个块相互重叠，以确保文本的一致性。
代码节点输出一个由 input_texts 分段文本组成的数组 chunks。
当我们切分长文本之后，后面就要跟上一个迭代节点，按照你的实际需要分批次加工了。
迭代逻辑处理完成后，你最终是需要将内容拼接好，并展示出来的，所以你可能会用到“模板转换”节点。当然，你使用代码执行节点，手搓代码进行拼接也是可以的，这个随你的编程能力而定。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-11-23
使用 Dify 搭一个 gpt-o1（山寨版）
2024-11-22
Dify 保姆级教程之：零代码打造个性化记忆助手
2024-11-22
Dify 保姆级教程之：零代码打造图像生成专家（上）
2024-11-22
Dify 保姆级教程之：零代码打造 AI 搜索引擎
2024-11-15
dify案例分享-基于jina和http实现36氪新闻热榜文章
2024-11-10
安装 Dify 并集成 Ollama 和 Xinference
2024-11-05
【附案例源码】把阿里云验证码短信接入到dify中
2024-11-05
Dify 中的 Bearer Token 与 API-Key 鉴权方式
2024-04-25
2024-04-24
2024-07-20
2024-05-08
2024-05-07
2024-07-16
2024-05-09
2024-06-21
2024-04-25
2024-07-08
回到顶部