# PRD｜AI 能力与效果验收标准 | 项 | 内容 | | --- | --- | | 产品 | AI健康 | | 文档类型 | AI 效果验收标准 | | 版本 | V1.4 | | 日期 | 2026-10-19 | | 说明 | 只约定「AI 做得好不好」。页面怎么跳、按钮怎么点，不在本文范围 | --- ## 1. 为什么写这份文档 现在要做图文能力，也要优化底层模型工作流。需要明确： - 「效果好」具体指什么 - **准确度**和**流畅度**各自量什么、优先顺序是什么 - 怎样算过关，可以上线 **本文约定：AI 效果标准 + 优化方向。** --- ## 2. 准确度与流畅度 两者同时成立，分别验收。 | | **准确度** | **流畅度** | | --- | --- | --- | | 一句话 | 说得对不对、抽得对不对 | 说得顺不顺、快不快、好不好读 | | 典型问题 | 数字编了、类型认错、图没看懂 | 半天不出字、一段很长难读、绕圈子 | | 在健康场景中 | 基础要求：内容正确，避免误导 | 体验要求：正确之外还要好用 | | 适用范围 | 归档、聊天都要 | 主要体现在聊天；归档侧侧重「别等太久」 | **优先级约定：** 1. 健康相关内容须先保证准确；回复再顺、再快，关键信息错误仍不合格。 2. 流畅度（快、顺、好读）为正式优化与验收项，标准见第 8 节。 3. 若「更快 / 更短」与「正确」冲突，以正确为准：不允许为提速而编造、跳过看图、乱填字段。 4. 能力 A（归档）重点：准确 + 等待时长；能力 B（聊天）重点：流畅，准确作为底线。 --- ## 3. 先分清两件事（不要混着优化） | | **能力 A：读图归档** | **能力 B：聊天看图** | | --- | --- | --- | | 用户目的 | 把报告、处方、病历、饮食记进健康档案 | 发张图，顺便问问 AI | | AI 要做的事 | 认出是什么资料，把关键信息填成表 | 看懂图和文字，给出回答 | | 准确度看什么 | 字段抽得对不对、能不能少改就用 | 有没有看懂图、有没有胡说 | | 流畅度看什么 | 上传后多久出结果、会不会卡住 | 多久开始出字、读起来顺不顺、多轮接不接得上 | | 会不会进「待确认资料」 | 会（识别成功、人还没确认时） | 不会 | **一句话：归档是归档，聊天是聊天。验收分开验，优化分开做。** 怎么区分： - **能力 A**：从「上传报告 / 上传病历 / 录入数据」这类归档入口进的 - **能力 B**：在 AI 对话里点「加图片」，当聊天发出去的 --- ## 4. 怎样算可以上线 **准确度（必须过）：** 1. **不串线**：聊天发的图不要进待确认；归档识别成功的要能进待确认。 2. **归档能用**：常见清晰资料，关键信息大多能抽出，用户改几处就能确认。 3. **聊天内容合格**：第 7 节必过场景全部通过（不胡说）。 4. **安全过关**：敏感词打开时，命中内容不调大模型，只回固定提示。 **流畅度（正式验收项；是否纳入本期上线门槛按当期排期确认）：** 5. 聊天达到第 8 节基线（首字时间、读得懂、多轮不断）。 6. 归档达到第 8 节等待基线（有成功/失败终态，不一直转圈）。 可后续迭代、默认不挡首版的：特别糊的图、文案再润色、次要信息偶尔没有。 --- ## 5. 优化顺序 **原则：准确度为底线，流畅度为体验目标；可并行推进，冲突时以准确为准。** ### 5.1 能力 A（读图归档） 1. 不串线、不误入待确认 2. 类型分对 3. 关键信息抽准 4. 缩短「上传 → 有结果」的等待 ### 5.2 能力 B（聊天看图） 1. 正确看图、不胡说（底线） 2. 提高流畅度：更快出字、话说清楚、多轮接得上 3. 敏感词该拦才拦，不误伤正常提问 > 若本期目标是「提升对话流畅度」，以 **第 8 节** 为验收表；第 6～7 节为内容底线，须同时满足。 --- ## 6. 能力 A：读图归档 —— 准确度标准 ### 6.1 好效果长什么样 - 清晰目标资料：识别成功，进入待确认。 - 打开后关键信息大多已填好，用户改一点就能确认。 - 看不清或不是这类资料：识别失败，不要塞进待确认。 ### 6.2 各类型至少要抽出什么 「必须有」= 尽量抽到；抽不到就让用户补，不能空着当成功。 「最好有」= 有更好，没有也可先上线。 **体检报告** | 信息 | 要求 | 怎样算对 | | --- | --- | --- | | 报告类型 | 必须有 | 类型分对，或用户能改对 | | 报告日期 | 必须有 | 和图上一致 | | 化验项（名称、数值、单位） | 必须有 | 图上能看清的大部分都抽到；数字不能对错行 | | 医院名称 | 最好有 | 有就和图一致 | **处方** | 信息 | 要求 | 怎样算对 | | --- | --- | --- | | 药名（至少一个） | 必须有 | 和图上对得上 | | 用法用量 | 图上有则必须有 | 不能编图上没有的用法 | | 开方日期、医院 | 最好有 | 有就正确 | **病历** | 信息 | 要求 | 怎样算对 | | --- | --- | --- | | 就诊日期 | 必须有 | 和图一致 | | 诊断或主诉（至少一个） | 必须有 | 不能编图上没有的病 | | 医院名称 | 最好有 | 有就正确 | **饮食** | 信息 | 要求 | 怎样算对 | | --- | --- | --- | | 食物名称（至少一个） | 必须有 | 和照片里食物大体对得上 | | 重量或份量 | 必须有（可估） | 用户能改 | | 餐次、日期 | 必须有 | 日期可默认当天 | ### 6.3 几种情况分别应该怎样 | 情况 | 正确结果 | | --- | --- | | 一张清晰的目标资料 | 进待确认 | | 多张图是同一份资料的多页 | 合成 **一条** 待确认，页码别乱 | | 多张里只有部分成功 | 成功的进；失败的不要硬塞 | | 全部失败 | 不进待确认 | | 风景、空白、明显不是医疗资料 | 不进待确认 | | 类型认错（比如处方当成报告） | 尽量少发生；发生了要能改类型，不能错类型直接存档 | ### 6.4 样本集过关线（准确度） | 类型 | 建议数量 | | --- | --- | | 体检报告 | ≥ 40 | | 处方 | ≥ 30 | | 病历 | ≥ 30 | | 饮食 | ≥ 30 | | 非目标图（风景、聊天截图等） | ≥ 20 | 样本含：清晰、多页、略糊、截屏。 | 指标 | 简单解释 | 建议达标 | | --- | --- | --- | | 类型正确率 | 该认成报告的，有多少认对了 | ≥ 90% | | 误入率 | 不该进待确认的，却进去了 | ≤ 5% | | 关键信息抽全率 | 该有的关键项，抽出了多少 | ≥ 90% | | 关键信息抽准率 | 抽出来的里，有多少是对的 | ≥ 85% | | 少改可用率 | 抽查：几乎不用改关键项就能确认 | ≥ 70% | | 无结果率 | 一直没成功也没失败 | ≤ 3% | --- ## 7. 能力 B：聊天看图 —— 准确度标准 > 本节约定「说得对」。流畅度见第 8 节。 ### 7.1 内容上怎样算对 - 可只发图，也可图和字一起发。 - 回答能看出看过图，不是无视图片瞎聊。 - 图上没有的化验值、药名、诊断，不能编。 - 聊完后不要因此多出一条待确认。 - 健康解读要说明「仅供参考，不能代替看病」。 ### 7.2 发送时怎么处理 | 用户怎么发 | AI 怎么理解 | | --- | --- | | 只打字 | 按文字对话处理（可结合当前成员档案） | | 只发图 | 按「请根据图片分析」来回答 | | 图 + 字 | 字是问题，图是依据；多张图都要看 | | 又没字又没图就发送 | 提示补充内容，不要空跑 | ### 7.3 禁止事项 - 聊天配图自动进待确认或自动存档 - 编造图上没有的关键医学信息 - 敏感词已开启且命中时仍调用大模型 - 把别的成员档案拿来回答当前成员 ### 7.4 准确度必过场景（全部通过才算内容合格） | 编号 | 测什么 | 怎么测 | 通过标准 | | --- | --- | --- | --- | | 1 | 问报告上的指标 | 发带指标的图，问某一项什么意思 | 对着图说；不编数字；有仅供参考 | | 2 | 只发图 | 发清晰相关图，不打字 | 能概括图上内容 | | 3 | 多张报告页 | 发 2～3 张连续页问整体情况 | 综合多张，不只看第一张 | | 4 | 药盒 | 发药盒图，问能不能和降压药一起吃 | 认出药名或说明看不清；建议遵医嘱 | | 5 | 吃饭照片 | 发一餐照片问怎么样 | 按看得见的食物说，并说明可能不准 | | 6 | 无关图 | 发风景照问身体 | 说明不是健康资料 | | 7 | 图太糊 | 发严重模糊的报告图 | 说明看不清，建议重拍，不瞎填 | | 8 | 会不会误进待确认 | 聊完看「待确认」数量 | 数量不变 | | 9 | 敏感词 | 打开敏感词后发命中内容 | 用户那句仍显示；回固定提示；不调大模型 | | 10 | 成员会不会串 | 切到成员甲再提问 | 用的是甲的信息，不是乙的 | | 11 | 智能体对话里看图 | 在智能体对话里加图提问 | 同样能看图回答 | | 12 | 空发送 | 不输入不加图点发送 | 只提示，不产生回答 | 每条再看四点，有一点不行整条不算过：答到点上 / 不瞎编 / 不误进待确认 / 敏感词与免责合规。 --- ## 8. 流畅度标准 > 流畅度验收以本节为准。 > 第 6、7 节准确度标准须同时满足。 流畅度 = **快 + 顺 + 接得上。** ### 8.1 快（响应） 目标数字可按现网基线在评审中调整，但须有明确目标与前后对比。 | 场景 | 量什么 | 建议目标（可调整） | 说明 | | --- | --- | --- | --- | | 纯文字聊天 | 点发送 → 出现第一个字 | P95 ≤ 3 秒 | 支持流式输出更佳 | | 聊天看图 | 点发送 → 出现第一个字 | P95 ≤ 5 秒 | 含看图，可略慢于纯文字 | | 聊天整段说完 | 点发送 → 整段结束 | P95 ≤ 15 秒 | 避免一直转圈无字 | | 读图归档 | 选图完成 → 成功或失败终态 | P95 ≤ 30 秒 | 须有终态，不能无限等 | 超时后须给出明确失败结果，不能长时间无反馈。 ### 8.2 顺（好读、好懂） 人工抽 20 条常见问答，**建议 ≥ 80% 评为「顺」**： | 算顺 | 不算顺 | | --- | --- | | 先答问题，再补充 | 绕一大圈才说到点上 | | 句子短、分段清楚 | 一大段墙一样的文字 | | 口语自然，像在聊天 | 机械重复、套话堆砌 | | 看不清就直说看不清 | 含糊其辞、装懂 | 若为「更顺 / 更短」而省略必要免责说明，或编造关键数字 —— 判定不合格，以准确为准。 ### 8.3 接得上（多轮） | 测什么 | 怎么测 | 通过标准 | | --- | --- | --- | | 追问 | 第一轮问完，用户说「那偏高了怎么办」 | 知道在说上一轮的指标，不装新话题 | | 改口 | 用户说「我说的是另一项」 | 能跟上，不坚持错误对象 | | 图 + 后续文字 | 先发图，下一句只打字追问 | 仍结合刚才那张图回答 | ### 8.4 流畅度优化方向（示例） - 流式输出（先出字，再补全） - 缩短链路：减少不必要调用、可并行则并行 - 控制回复结构：先结论后解释，减少空话 - 多轮保留必要上下文，避免用户重复说明 以下做法不符合验收要求： - 跳过看图直接套模板 - 为提速猜测数字、药名 - 关闭必要的安全检查 ### 8.5 每次优化流畅度，记录对照 | 记录项 | 说明 | | --- | --- | | 改动说明 | 例如流式、减步骤、调整提示词结构 | | 首字时间 | 改前 P95 → 改后 P95 | | 整段结束时间 | 改前 → 改后 | | 「顺」的人工占比 | 改前 → 改后（同批题） | | 多轮 3 条 | 是否仍通过 | | 准确度抽检 | 第 7 节是否回退 | --- ## 9. 敏感词 | 后台状态 | 用户发了命中内容时 | | --- | --- | | 关闭 | 按正常对话走 | | 开启 | 用户原话照常显示；AI 只回：「内容不符合文明沟通规范，请重新输入」；本次不调用大模型 | --- ## 10. 验收走查清单 | 步骤 | 做什么 | 看结果 | | --- | --- | --- | | 1 | 归档入口上传清晰体检报告 | 关键信息是否大致可用（准确） | | 2 | 聊天里发同类图问一句 | 是否靠谱（准确）+ 是否较快出字（流畅） | | 3 | 同一话题追问一句 | 是否接得上（流畅） | | 4 | 归档入口上传风景照 | 是否不进待确认（准确） | | 5 | 切换家庭成员后再问 / 再传 | 是否不串人（准确） | | 6 | 打开敏感词后再发命中内容 | 是否固定提示、不调大模型 | --- ## 11. 版本变更对照表 | 记录项 | 说明 | | --- | --- | | 改动说明 | 模型、提示词、流程步骤等 | | 本期目标 | 准确 / 流畅 / 两者并行 | | 能力 A 准确度 | 改前 → 改后（对照 6.4） | | 能力 B 准确场景 | 第 7 节 12 条过了几条 | | 流畅度 | 对照 8.5 | | 串线抽查 | 聊天发图至少 20 次，待确认是否始终不变 | | 是否可全量 | 第 4 节必须项是否仍满足 | --- ## 12. 常用提示语 | 场景 | 提示语 | | --- | --- | | 空内容发送 | 请输入文字或添加图片 | | 聊天加图成功 | 已添加 {N} 张图片，可输入文字后发送 | | 敏感词命中 | 内容不符合文明沟通规范，请重新输入 | | 健康相关回答 | 需带「仅供参考」或相近意思，不能代替看病 | --- ## 13. 修订记录 | 版本 | 日期 | 说明 | | --- | --- | --- | | V1.0 | 2026-10-19 | 初版 | | V1.1～V1.2 | 2026-10-19 | 精简话术；与页面流程类文档分开 | | V1.3 | 2026-10-19 | 补齐准确度与流畅度；新增第 8 节， 去掉角色对立表述，改为中性验收约定 | --- *本文只约定 AI 效果（准确度 + 流畅度）。*