记一次大模型生成与审核的问题解决思路 原创

“ 大模型并不是无所不能的，在其能力之外我们需要一些工程化能力来解决问题。”

最近有一个功能是根据数据库表结构生成类似于API说明文档的功能；但业务需求是让模型生成文档之后，还需要对文档进行审核，也就是说模型生成，模型审核，最终在人工确认。

关于业务需求的合理性就不多说了，我们只单纯的讨论一下技术实现。

模型生成与审核

从需求端来说，让模型根据库表结构生成说明文档能够大大提升处理效率，并且节约人工成本，这个逻辑是没问题的；但问题主要出在第二步审核上；原因就在于，模型生成本身就不稳定，同一个东西两次生成结果都不一定能完全相同。

因此，在用模型做审核时就出现了一个问题；不论生成的内容质量怎么样，在审核时都会审出问题，哪怕由人工看起来也是没问题的，所以这个是不合理的。

理论上来说，审核的作用是查缺补漏，当发现生成的内容有问题时，在审核的过程中发现其中的问题并给予修正；但每次都有问题这不但不合理，而且也接受不了；可能本身生成的内容是正确的，然后审核修正的时候反而变错的了。

所以，为了解决这个问题，我能想到的唯一的办法就是优化提示词，既然审核有问题，那么我就优化生成的提示词，让其按照标准约束生成内容，并且审核时也按照标准约束进行审核。

但是实际操作下来却发现，不论怎么优化提示词都很难做到审核不出一点问题；哪怕是直接在审核提示词中明确说明只要没有明显的逻辑错误和问题，就是对的；但这依然没解决问题。

所以，从这里我们也能发现从某方面来说，大模型的能力确实是有限的；它就像一个神经病一样，永远理解不了人类的需求，也解决不了问题。

但是，抱怨归抱怨问题还是要解决啊；这时怎么办呢？

经过很多次的提示词优化都解决不了问题，这时作者开始怀疑是不是思路有问题，要么就是需求有问题；但从逻辑上来说，需求虽然感觉有点问题，但整体上也不能说有错。

因此，这时就想起之前同事常说的一句话，既然需求是合理的，那就能做。

所以，这时就考虑换个思路；既然说每次审核都会审出问题，那么在审核之前我先做个判断，先验证一下是否需要审核；之后再对生成的文档进行审核。

说起来可能有点绕，原理就是在审核流程之前加一层判断；让模型根据自己的理解，从常理上来判断一下当前的内容有没有问题，如果有问题在进行审核，如果没有问题就不需要审核了。

所以说，大模型虽然能力很强大，但其也是有能力范围的；当超过其能力范围时，我们只能通过其它方式来避开或者说从结构层面来解决这些问题。

本文转载自​​​​​​AI探索时代​​​​​​ 作者：DFires