粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
如果你是dify开发者，或者是工作流的狂热爱好者，你难免会遇到这么一个问题：当用户输入一个超长文本内容时，你的工作流没办法一下子处理这么长的内容，或者没办法将这么长的内容按照预期处理的非常精致。
其实这个问题之前也总是困扰我，尤其是我最近在用dify玩超长文本翻译的 工作流时，受大模型的限制，没办法一下子将超长文本一次性处理到位，于是我就想到一个替代方案，就是先将长文本切割成多个短文本，然后使用迭代节点，分批次处理，最后完成结果的拼接。这样我的大模型就有较大的把握处理好这个场景问题。
其实操作起来也很简单，就是在“开始节点”后面接入一个“代码执行”节点，并且这个代码执行节点只写最基础的脚本，不需要处理复杂的逻辑。如下是Python代码参考示例：
def main(input_text: str) -> str:token_limit = 1000overlap = 100chunk_size = int(token_limit * 6 * (4/3))# Initialize variableschunks = []start_index = 0text_length = len(input_text)# Loop until the end of the text is reachedwhile start_index < text_length:# If we are not at the beginning, adjust the start_index to ensure overlapif start_index > 0:start_index -= overlap# Calculate end index for the current chunkend_index = start_index + chunk_sizeif end_index > text_length:end_index = text_length# Add the current chunk to the list:end_index])# Update the start_index for the next chunkstart_index += chunk_sizereturn {: chunks,}
请注意chunks输出变量的类型要选array[string]。
代码节点将 input_text 分成长度为 token_limit 的块。每个块相互重叠，以确保文本的一致性。
代码节点输出一个由 input_texts 分段文本组成的数组 chunks。
当我们切分长文本之后，后面就要跟上一个迭代节点，按照你的实际需要分批次加工了。
迭代逻辑处理完成后，你最终是需要将内容拼接好，并展示出来的，所以你可能会用到“模板转换”节点。当然，你使用代码执行节点，手搓代码进行拼接也是可以的，这个随你的编程能力而定。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-09-13
Dify v0.8.1：如何使用 OpenAI 的 o1 系列模型构建 LLM 应用？
2024-09-13
六大智能体平台大比拼：Coze如何脱颖而出？
2024-09-12
【AI Agent 教程】本地私有化部署Dify 的准备工作:
2024-09-10
Dify v0.8.0：Workflow 重磅更新 - 通过并行处理多个分支，显著提升速度
2024-09-09
Dify: 最强AI工作流应用开发平台指南
2024-09-05
关于如何理解dify中的异步和并发的概念
2024-09-03
手把手教你用Dify 工作流搭建资讯推送应用
2024-09-03
小红书运营一条龙 Dify 工作流 DSL 分享
2024-04-26
2024-04-25
2024-04-24
2024-05-08
2024-07-07
2024-05-07
2024-04-25
2024-05-08
2024-07-18
2024-07-20
2024-09-13
2024-09-13
2024-08-28
2024-08-06
2024-08-05
2024-07-20
2024-07-19
2024-07-18
回到顶部