AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


支持大模型流式输出的JSON提取工具
发布日期:2024-07-30 18:01:04 浏览次数: 1851 来源:哎呀AIYA


    在我们日常处理大模型的输出时,经常希望输出的结果为结构化的(例如输出json格式),这样有助于我们进行结果的后处理。但是在模型输出超过限制和流式输出时就会遇到问题了,由于答案没完全输出,转json就存在问题。

大型语言模型(LLMs)产生结构化输出的原因包括:
  • 提高可读性:结构化输出使得信息以一种逻辑清晰、易于理解的方式呈现,提高了信息的可读性和用户体验。
  • 便于处理:结构化数据可以更容易地被机器读取和处理,有助于后续的数据分析、存储和检索。
  • 支持自动化:结构化输出可以方便地与自动化工具和流程集成,例如自动填充表格、数据库录入或触发特定的业务流程。
  • 增强一致性:通过规定输出的格式和结构,可以确保不同时间或不同情境下产生的输出具有一致性。
  • 促进数据交换:结构化数据遵循特定的标准和格式,便于在不同的系统和应用程序之间进行数据交换。
  • 改善信息检索:结构化输出使得搜索引擎和检索系统能够更准确地索引和检索信息。
  • 适应多种用途:结构化数据可以根据需要被转换成不同的格式,以适应报告、分析、可视化等多种用途。
  • 减少歧义:明确的结构有助于减少对输出内容的误解或歧义。
  • 促进多模态交互:结构化输出可以支持与视觉、声音等多种模态的交互,提高多模态应用的体验。
  • 提高可维护性:当需要更新或维护输出内容时,结构化数据更容易管理和修改。

工具功能介绍:
  • json补全
  • 配合流式输出
  • 解析markdown格式
  • 字段校验

效果展示

部分输出的

text = '''{"name":"张三", "age":'''print(parse_json_markdown(text))
# {'name': '张三'}

markdown格式

text = '''```json\n{"name":"张三", "age":27'''print(parse_json_markdown(text))
# {'name''张三''age'27}


多维嵌套

text = '''```json\n{"name":"张三", "age": 27, "爱好": ["羽毛球'''print(parse_json_markdown(text))
# {'name': '张三', 'age': 27, '爱好': ['羽毛球']}


核心代码介绍

核心处理代码如下:

new_chars = []stack = []is_inside_string = Falseescaped = False
# Process each character in the string one at a time.for char in s:if is_inside_string:if char == '"' and not escaped:is_inside_string = Falseelif char == "\n" and not escaped:char = "\\n"# Replace the newline character with the escape sequence.elif char == "\\":escaped = not escapedelse:escaped = Falseelse:if char == '"':is_inside_string = Trueescaped = Falseelif char == "{":stack.append("}")elif char == "[":stack.append("]")elif char == "}" or char == "]":if stack and stack[-1] == char:stack.pop()else:# Mismatched closing character; the input is malformed.return None


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询