大模型输出残缺/畸形 JSON 的根本原因剖析与自动化清洗实战

一、痛点：为什么大模型总是“吐不出合法的 JSON”？#

任何正在构建 AI 应用的工程师都会对以下场景深恶痛绝： 在 Prompt 里千叮咛万嘱咐：“只输出严格合法的 JSON，禁止包含任何 Markdown 标记或多余文字”，然而当并发量上升到一定阶段后，生产日志里依旧充斥着各种各样导致服务崩溃的 JSON 解析错误：

bash
SyntaxError: Unexpected token ' in JSON at position 14
SyntaxError: Unexpected end of JSON input
SyntaxError: Expected property name or '}' in JSON at line 42

为什么在逻辑推理上如此强大的大模型，在生成最基础的结构化数据时却频频翻车？

---

二、大模型输出残缺 JSON 的四大核心底层成因#

1. 自回归 Tokenizer 与贪心采样的离散性#

大语言模型是以 Token（词元） 为单位从左往右自回归生成的，它并没有在内存中维护一套“实时运行的语法树解析栈”。 例如：当模型生成了左括号 { 后，如果随着上下文长度拉长，注意力权重发生漂移，模型可能会提前遇到 <|endoftext|> 终止符，从而丢失末尾的闭合括号 }。

2. 输出长度（Max Tokens）意外截断#

当生成的 JSON 数组元素较多（例如请求返回 50 条商品列表）时，一旦命中接口的最大输出 Token 限制，生成会在任意字符处戛然而止（比如停在 "description": "这款产品采用高规格铝合），直接造成字符串未闭合、数组与对象全线崩塌。

3. 系统提示词泄漏与 Markdown 代码块包裹#

许多大模型在预训练时学习了海量的 GitHub 与技术论坛数据，形成了强烈的固有思维习惯：遇到代码和 JSON 必须用三个反引号包裹。即使你明确禁止，它依然会输出：

markdown
好的，这是为您生成的分析结果：

json { "status": 200 }

code
希望对您有帮助！

如果直接丢进 JSON.parse()，第一行中文就直接导致语法报错。

4. 引号转义与中文全角符号污染#

在中文提示词场景下，模型极易混淆半角双引号 " 与中文全角引号 “”、以及中文逗号 ， 与英文逗号 ,，这些在语法规则严格的 JSON 规范中是绝对不允许的。

---

三、工业级解决方案：多层防御与 AST 容错清洗#

要从根本上消除这一隐患，需要采取“提示词层强约束 + 传输层流式校验 + 消费层 AST 自动修复”的三层防御体系：

第一道防线：利用官方 JSON Mode 或 Structured Outputs#

OpenAI、DeepSeek 等主流服务商现已支持在请求参数中直接开启：

json
{
  "response_format": { "type": "json_object" }
}

对于 OpenAI 最新版接口，更推荐使用 JSON Schema 严格模式（json_schema），通过有限状态自动机（FSM）在采样层直接屏蔽非法字符的生成概率。

第二道防线：纯客户端 AST 智能补全与语法容错#

当面对第三方开源模型、本地部署模型或无严格 Schema 支持的模型时，可以使用智能容错算法（如我们站内 [AIJSON 极客工具箱](/tools/json) 所集成的修复引擎）：

typescript
// 简易伪代码：基于状态栈的残缺 JSON 智能闭合算法
function autoFixBrokenJson(raw: string): string {
  // 1. 剔除外层 Markdown 与废话
  let text = raw.replace(/^[sS]*?({|[)/, '$1')
  text = text.replace(/(}|])[sS]*?$/, '$1')

  // 2. 统一中英文符号与全角引号
  text = text.replace(/[“”]/g, '"').replace(/，/g, ',')

  // 3. 统计未闭合的括号栈
  const stack: string[] = []
  let inString = false
  for (let i = 0; i < text.length; i++) {
    const char = text[i]
    if (char === '"' && text[i - 1] !== '\\') inString = !inString
    if (!inString) {
      if (char === '{') stack.push('}')
      else if (char === '[') stack.push(']')
      else if (char === '}' || char === ']') stack.pop()
    }
  }

  // 4. 若字符串末尾未闭合，先补全双引号
  if (inString) text += '"'

  // 5. 逆向出栈补齐所有缺失的括号
  while (stack.length > 0) {
    text += stack.pop()
  }

  return text
}

---

四、总结#

解决大模型输出 JSON 不稳定的问题，不能寄希望于在 Prompt 里反复强调“请务必不要出错”。优秀的工程架构应当假设大模型一定会偶发性输出畸形数据，并在前端接入层和后端消费层配备强大的容错与自动闭合机制，从而将接口可用率提升至 99.99%。