当前首选
93.5Qwen
任务匹配94输出质量90业务适配93可控性94效率97
优势 中文口语分类、结构化输出和批量效率
限制 反讽与行业术语仍需标注集验证
需要人工审核模型评测
用控制变量与可复算权重比较候选模型
01 · 选择评测案例
数据分析演示假设
02 · 控制变量实验固定提示词与业务上下文
唯一变量：模型
固定提示词与业务上下文
固定提示词
按指定 JSON schema 对评论进行主题、情绪、产品部位和使用场景分类。每条保留 comment_id，输出主题分布、代表性证据、异常样本和最多 5 条建议。证据不足时标记 insufficient_evidence。
业务上下文
- 500 条脱敏中文评论
- 100 条人工验证集
- 洞察需引用 comment_id
控制变量
- 相同清洗数据、schema、批次和 few-shot 示例
- 同一人工验证集和盲评 rubric
03 · 人工评审
模型对比研究
| 模型 | 任务匹配 | 输出质量 | 业务适配 | 可控性 | 效率 | 综合分 | 风险 |
|---|---|---|---|---|---|---|---|
| Qwenqwen3-family-demo-snapshot当前权重下首选 | 94 | 90 | 93 | 94 | 97 | 93.5 | 需要人工审核 |
| GPT-5gpt-5-series-demo-snapshot | 95 | 94 | 95 | 96 | 76 | 92.1 | 需要人工审核 |
| DeepSeekdeepseek-v3.2-demo-snapshot | 90 | 88 | 87 | 90 | 96 | 89.9 | 需要人工审核 |
候选 02
92.1GPT-5
任务匹配95输出质量94业务适配95可控性96效率76
优势 复杂语义与洞察质量
限制 全量处理效率维度较弱
需要人工审核候选 03
89.9DeepSeek
任务匹配90输出质量88业务适配87可控性90效率96
优势 推理效率与批处理
限制 需加强 taxonomy 和反讽样本校准
需要人工审核