利用模型护栏规范GenAI的行为和输出

作者：Gartner研究总监闫斌

当前，许多企业机构都在全力推进生成式人工智能（GenAI）解决方案的设计和实施，希望提升解决方案的通用性和创造性，进而推动业务价值。2023年Gartner企业人工智能（AI）调研揭示了GenAI用例的三种最主要的实现方法，74%的受访者通过对现有GenAI模型进行定制化调整来满足自身用例的需求，65%的受访者尝试自行训练定制GenAI模型。

然而，实施GenAI绝非易事。对于创造性和通用性的追求，往往会增加GenAI解决方案的复杂性、不确定性和生成非预期结果的可能性，而这也成为了GenAI企业采用面临的主要问题。GenAI解决方案的创造性和通用性越强，出现非预期行为和输出（如幻觉、有害内容超出应用范围的内容等）的可能性越高（见图1）。

图1：在创造性与通用性之间取得平衡

选择基于GenAI模型自行构建GenAI解决方案的企业机构，其负责AI工作的数据和分析（D&A）领导者应利用开源护栏、商业护栏和自建护栏这三种护栏工具来控制GenAI模型的输入和输出，验证并矫正GenAI模型的输入和输出，提高模型的可靠性。

评估并优化GenAI解决方案的创造性和通用性

GenAI模型可兼具创造性和通用性。企业机构通常需要在广泛的场景中使用GenAI解决方案，而这些场景对于解决方案创造性和通用性的需求各不相同。因此，必须根据部署目的和具体场景下的功能需求，确定GenAI解决方案的定位，并根据在创造性和通用性两个方面的具体需求，利用护栏工具建立控制策略和机制。

负责AI工作的D&A领导者应基于GenAI解决方案的使用场景和方式，确定相应的业务风险容忍度，具体取决于：

• 业务用例的重要性
• 用于内部用途还是面向客户
• 是否引入了人工监督

而后，应根据业务风险容忍度，利用护栏工具管理模型输入和输出，建立严格或宽松的控制机制，并最终在创造性和通用性之间取得最佳平衡。

利用模型护栏验证和矫正模型的输入和输出

使用护栏工具，是管理GenAI模型创造性和通用性的一个切实可行的方法。护栏（在GenAI模型和应用与最终用户之间建立防护层）可以监控和管理模型的全部流量，包括用户输入和模型/应用输出（见图2）。

图2：护栏部署在用户与GenAI模型之间

以下是两种典型护栏：

• 用于控制最终用户输入的模型护栏：所有用户请求都必须经护栏过滤，以清除非预期的请求，包括超出GenAI解决方案应用范围的请求和违反可接受使用政策的请求。通过这种方式，护栏可以将解决方案的通用性控制在可管理的范围内，就像建立了一个安全围栏。

• 用于控制GenAI输出的模型护栏：所有模型输出都必须经过护栏的验证，但不同的用例对于模型创造性的需求存在差异，因而需要对模型施加不同程度的控制。但是，对于开发GenAl驱动的企业级搜索引擎或面向客户的聊天机器人的情况，必须对模型输出进行更为严格的验证和控制，以调节模型的创造性，并确保最终用户可以得到可靠且符合预期的结果。

需要注意的是，护栏并非“灵丹妙药”，不能完全解决GenAI解决方案的行为和准确性问题。GenAI解决方案必须在准确性与企业机构的风险承受能力之间取得平衡。

此外，伴随GenAI的快速发展，护栏技术也在不断变化和改进。鉴于神经网络的不可预测性，护栏技术目前是验证和矫正GenAI模型输出的一种切实可行的方法。长期来看，在基础GenAI模型变得足够可靠和可信之前，护栏提供了一种过渡解决方案，可以帮助企业机构推动GenAI采用。

关于Gartner

Gartner（纽约证券交易所代码：IT）为企业机构提供可行动的客观洞察，推动企业在最关键的优先事项上作出明智决策，实现卓越业绩。欲了解更多信息，请访问http://www.gartner.com/cn。