Movatterモバイル変換


[0]ホーム

URL:


跳转至

安全防护措施

安全防护措施使你能够对用户输入和智能体输出进行检查与校验。举例来说,假设你有一个使用非常智能(因此也很慢/昂贵)的模型来处理客户请求的智能体。你不希望恶意用户让模型帮他们做数学作业。因此,你可以用一个快速/廉价的模型运行安全防护措施。如果检测到恶意使用,它可以立即抛出错误并阻止昂贵模型运行,从而节省时间和成本(当使用阻塞式安全防护措施时;对于并行安全防护措施,安全防护措施完成前昂贵模型可能已经开始运行。详见下文“执行模式”)。

安全防护措施有两种类型:

  1. 输入安全防护措施运行在初始用户输入上
  2. 输出安全防护措施运行在最终智能体输出上

输入安全防护措施

输入安全防护措施分三步执行:

  1. 首先,安全防护措施接收与智能体相同的输入。
  2. 接着,安全防护函数运行以生成一个GuardrailFunctionOutput,随后被包装成一个InputGuardrailResult
  3. 最后,我们检查.tripwire_triggered是否为 true。若为 true,则会抛出一个InputGuardrailTripwireTriggered异常,以便你适当回应用户或处理该异常。

Note

输入安全防护措施旨在针对用户输入运行,因此仅当该智能体是第一个智能体时才会运行其安全防护措施。你可能会疑惑,为什么guardrails 属性在智能体上,而不是传给Runner.run?这是因为安全防护措施往往与具体的智能体相关——你会为不同的智能体运行不同的安全防护措施,因此将代码放在一起有助于可读性。

执行模式

输入安全防护措施支持两种执行模式:

  • 并行执行(默认,run_in_parallel=True):安全防护与智能体执行并发运行。由于二者同时开始,这提供了最佳延迟。然而,如果安全防护失败,智能体在被取消前可能已经消耗了 tokens 并执行了工具。

  • 阻塞执行run_in_parallel=False):安全防护会在智能体启动之前先运行并完成。如果触发了安全防护的触发线,智能体将不会执行,从而避免 token 消耗和工具执行。这非常适合成本优化,以及在你希望避免工具调用潜在副作用的场景。

输出安全防护措施

输出安全防护措施分三步执行:

  1. 首先,安全防护措施接收智能体生成的输出。
  2. 接着,安全防护函数运行以生成一个GuardrailFunctionOutput,随后被包装成一个OutputGuardrailResult
  3. 最后,我们检查.tripwire_triggered是否为 true。若为 true,则会抛出一个OutputGuardrailTripwireTriggered异常,以便你适当回应用户或处理该异常。

Note

输出安全防护措施旨在针对最终的智能体输出运行,因此仅当该智能体是最后一个智能体时才会运行其安全防护措施。与输入安全防护措施类似,我们这样做是因为安全防护措施往往与具体的智能体相关——你会为不同的智能体运行不同的安全防护措施,因此将代码放在一起有助于可读性。

输出安全防护措施总是在智能体完成后运行,因此不支持run_in_parallel 参数。

触发线

如果输入或输出未通过安全防护措施,安全防护可以通过触发线进行信号通知。一旦我们发现某个安全防护触发了触发线,就会立即抛出{Input,Output}GuardrailTripwireTriggered 异常并停止智能体执行。

实现安全防护措施

你需要提供一个接收输入并返回GuardrailFunctionOutput的函数。在此示例中,我们将通过在底层运行一个智能体来完成。

frompydanticimportBaseModelfromagentsimport(Agent,GuardrailFunctionOutput,InputGuardrailTripwireTriggered,RunContextWrapper,Runner,TResponseInputItem,input_guardrail,)classMathHomeworkOutput(BaseModel):is_math_homework:boolreasoning:strguardrail_agent=Agent(# (1)!name="Guardrail check",instructions="Check if the user is asking you to do their math homework.",output_type=MathHomeworkOutput,)@input_guardrailasyncdefmath_guardrail(# (2)!ctx:RunContextWrapper[None],agent:Agent,input:str|list[TResponseInputItem])->GuardrailFunctionOutput:result=awaitRunner.run(guardrail_agent,input,context=ctx.context)returnGuardrailFunctionOutput(output_info=result.final_output,# (3)!tripwire_triggered=result.final_output.is_math_homework,)agent=Agent(# (4)!name="Customer support agent",instructions="You are a customer support agent. You help customers with their questions.",input_guardrails=[math_guardrail],)asyncdefmain():# This should trip the guardrailtry:awaitRunner.run(agent,"Hello, can you help me solve for x: 2x + 3 = 11?")print("Guardrail didn't trip - this is unexpected")exceptInputGuardrailTripwireTriggered:print("Math homework guardrail tripped")
  1. 我们将在安全防护函数中使用这个智能体。
  2. 这是接收智能体输入/上下文并返回结果的安全防护函数。
  3. 我们可以在安全防护结果中包含额外信息。
  4. 这是定义工作流的实际智能体。

输出安全防护措施与此类似。

frompydanticimportBaseModelfromagentsimport(Agent,GuardrailFunctionOutput,OutputGuardrailTripwireTriggered,RunContextWrapper,Runner,output_guardrail,)classMessageOutput(BaseModel):# (1)!response:strclassMathOutput(BaseModel):# (2)!reasoning:stris_math:boolguardrail_agent=Agent(name="Guardrail check",instructions="Check if the output includes any math.",output_type=MathOutput,)@output_guardrailasyncdefmath_guardrail(# (3)!ctx:RunContextWrapper,agent:Agent,output:MessageOutput)->GuardrailFunctionOutput:result=awaitRunner.run(guardrail_agent,output.response,context=ctx.context)returnGuardrailFunctionOutput(output_info=result.final_output,tripwire_triggered=result.final_output.is_math,)agent=Agent(# (4)!name="Customer support agent",instructions="You are a customer support agent. You help customers with their questions.",output_guardrails=[math_guardrail],output_type=MessageOutput,)asyncdefmain():# This should trip the guardrailtry:awaitRunner.run(agent,"Hello, can you help me solve for x: 2x + 3 = 11?")print("Guardrail didn't trip - this is unexpected")exceptOutputGuardrailTripwireTriggered:print("Math output guardrail tripped")
  1. 这是实际智能体的输出类型。
  2. 这是安全防护的输出类型。
  3. 这是接收智能体输出并返回结果的安全防护函数。
  4. 这是定义工作流的实际智能体。

[8]ページ先頭

©2009-2025 Movatter.jp