부록 · Trustworthy Agents in Practice

🇰🇷 한국어 정리

한 문장 요약

에이전트는 자율적으로 행동하는 만큼 사용자 의도를 잘못 읽거나 prompt injection(에이전트가 읽는 자료 안에 숨겨놓은 악의적 지시문) 공격에 노출될 위험이 커집니다. Anthropic은 2025년 8월에 발표한 신뢰할 수 있는 에이전트 프레임워크(5가지 원칙)를 실전에서 어떻게 적용하는지 풀이합니다.

다섯 가지 원칙

1. 사람의 통제를 유지하는 것 (keeping humans in control)
2. 사람의 가치와 정렬되는 것 (aligning with human values)
3. 에이전트의 상호작용을 보안하는 것 (securing agents’ interactions)
4. 투명성을 유지하는 것 (maintaining transparency)
5. 프라이버시를 보호하는 것 (protecting privacy)

에이전트의 네 구성요소

원문에서 정의하는 에이전트는 자기주도 루프(계획→실행→관찰→조정→반복)를 도는 AI 모델이고, 네 가지 부품으로 이뤄집니다.

원칙이 실전에서 어떻게 모양을 가지는가

원문에서 짚는 세 가지 적용 자리를 짧게 옮깁니다.

① 사람의 통제를 설계로 보장하기 (Designing for Human Control)

• 사용자가 도구별로 권한을 직접 설정.
• Claude Code의 Plan Mode(행동을 시작하기 전 전체 계획을 보여주고 사용자 승인을 받는 모드) — 행동 하나하나 승인 대신, 의도한 계획 전체를 먼저 보여주고 검토·편집·승인.
• 서브에이전트 협업이 늘면서 워크플로우 가시성을 어떻게 유지할지를 탐색 중.

② 에이전트가 자신의 목표를 이해하도록 돕기 (Helping Agents Understand Their Goals)

• “불확실할 때 멈춰서 명확화를 요청한다” — 학습 시나리오에서 가정보다 멈춤을 강화.
• Claude의 헌법(Constitution · Claude가 답할 때 따르는 기본 원칙 문서)이 “우려 제기·명확화 요청·진행 거부”를 가정에 의한 행동보다 위에 둡니다.
• 연구 결과 — 복잡한 작업에서 Claude가 사용자에게 확인하러 들어오는 빈도가 단순한 작업에 비해 약 두 배.

③ 공격에 대한 방어 (Defending Against Attacks)

• prompt injection — 에이전트가 처리할 콘텐츠 안에 숨겨진 악의적 지시문.
• 여러 층의 방어 — 모델 학습 단계의 패턴 인식 + 운영 트래픽 모니터링 + 외부 레드팀 테스트.
• “이런 안전장치는 보장이 아닙니다” — 어떤 도구·데이터·권한·환경을 에이전트에 주는지 고객이 신중히 정해야 합니다.

생태계 차원의 세 가지 과제

🇬🇧 English summary

One-line summary

Autonomy makes agents useful but introduces two new risk classes — misreading user intent and being targeted by prompt injection. Anthropic applies its August 2025 trustworthy-agents framework (five core principles) to real-world product surfaces like Claude Code and Claude Cowork.

Five core principles

1. Keeping humans in control
2. Aligning with human values
3. Securing agents’ interactions
4. Maintaining transparency
5. Protecting privacy

Four components of an agent

An agent runs a self-directed loop (plan → act → observe → adjust → repeat) and is built from four parts:

Principles in practice — three surfaces

① Designing for Human Control

• Per-tool permission configuration in Claude.ai and Claude Desktop.
• Plan Mode in Claude Code — review and approve the whole intended action plan up-front instead of approving step-by-step.
• Coordination patterns for multi-agent workflows are still an open exploration.

② Helping Agents Understand Their Goals

• Training scenarios reinforce pausing over assumption-making in ambiguous situations.
• Claude’s Constitution favors raising concerns, seeking clarification, or declining to proceed.
• Research finding — Claude’s own check-in rate on complex tasks is roughly double that of simple tasks.

③ Defending Against Attacks

• Prompt injections — malicious instructions hidden in content the agent processes.
• Layered defense — pattern-recognition training + production traffic monitoring + external red-team testing.
• “These safeguards are not a guarantee” — customers must think carefully about which tools, data, permissions, and environments they give agents.

Ecosystem-level work