Evaluating chain-of-thought monitorability | OpenAI
https://openai.com/index/evaluating-chain-of-thought-monitorability/
仔细看了下上面的链接： OpenAI 关于「思维链监控」Chain-of-Thought Monitorability的研究方法，非常有意思。即使聚集了全球最顶尖 AI 人才的公司， 也没能脱离「事前-事中-事后」这种经典方法论的影子。
文章挺好，虽然写的都是量化监控的方法，但对于个人改进提示词和生成想要的答案，我总结了下可以借鉴的三个技巧。这些和我之前使用 chatGPT 的方式也是相同的：
- 利用模型自我坦白model confessions的效果。具体做法是：当模型给出一个答案之后，不要马上接受，而是围绕你最关心的疑点反问一下模型，比如：“你刚才的回答里，有哪些地方是你觉得可能存在问题或不确定的？”或者“你真的用到了我刚才给你的提示词了吗？”、“哪里最站不住脚？”、“请列出你刚才回答中，最有可能出错的三个点，并分别解释可能出错的原因。”、“请用一条尽量不同的推理路径，再回答一次同一个问题，然后比较两次答案有什么不一致。”实践证明，这种方式能让模型进一步暴露出那些本来隐藏在内部的真实想法，尤其是在“思维链”中更容易看到模型真实的”想法”。
- 利用高版本模型对低版本的模型答案进行校验或交叉验证。例如，你先用 GPT-4o 得到了答案，再用 GPT-5.1 来检验这个答案的可靠性。因为更强大的模型在监控和识别错误方面通常表现更优。不过需要注意的是，更大的模型并不总是“绝对正确”，更推荐的方法是：让两个模型独立给出答案，再互相“质疑”对方，这种“交叉验证”比单纯的单向验证效果更好。还有：用“快想版 VS 慢想版”的两套推理互相对比；围绕“谄媚、偏见、投机取巧”等具体风险做属性定向追问；在关键问题上，用“小模型 + 多步详解”换取更高的可监控性；把模型当成“过程法官”，让它只审查推理过程而不是结果本身……这些玩法本质上，都在做一件事——多挖一点模型的“思维链”，让它有机会把更多真实想法暴露出来，这样我们就既能用它的能力，又不至于完全失去对它的理解和控制。
- 观察模型展示更多「思维过程」，把它当作思考训练。不要只看模型给出的最终结论，而是鼓励它完整呈现整个推理过程，比如：「请一步一步解释你的推理逻辑」「你还考虑过哪些其他的方案？」这些步骤本身就是优秀的思维示范，能够启发我们如何更好地拆解复杂问题。
以上三条小技巧，推荐各位试试看。