“AI가 AI를 방어하는 시대 대비하는 것이 기업 생존의 핵심”
데일리시큐 주최 국내 최대 인공지능 보안 컨퍼런스 ‘AIS 2025(Artificial Intelligence Security Conference 2025)’가 10월 28일 서울 역삼동 한국과학기술회관 국제회의실에서 성황리에 열렸다. 이날 행사에서 이로운앤컴퍼니 윤두식 대표는 ‘최신 AI보안 이슈와 대응 방안’을 주제로 발표를 진행하며, 인공지능의 폭발적 확산이 불러온 보안 위협과 이에 대한 대응 전략을 구체적으로 제시했다.
■AI의 확산과 함께 커지는 보안 위협
윤 대표는 먼저 “AI가 더 이상 미래 기술이 아닌 현재의 업무 도구로 자리 잡았다”고 강조했다. 그는 2025년 10월 기준 전 세계 기업의 78%가 AI를 일상 업무에 활용하고 있으며, 2026년까지는 85% 이상이 생성형 AI를 도입할 것이라는 통계를 제시했다. 특히 포춘 500대 기업 중 80% 이상이 직원들의 챗GPT 사용을 보고하고 있으며, 앤트로픽(Anthropic)이 32%의 시장 점유율로 LLM API 시장을 선도하고 있다고 설명했다.
그는 AI가 업무 혁신의 중심에 서 있지만 동시에 공격자에게도 새로운 기회를 제공하고 있다고 지적했다. AI를 이용한 자동화된 피싱, 딥페이크 음성 및 영상 사기, 프롬프트 인젝션 등은 이미 실제 피해로 이어지고 있으며, 기업들은 이에 맞는 방어체계를 시급히 구축해야 한다고 강조했다.
■기업의 AI 도입 방식과 보안 전략
윤 대표는 기업의 AI 도입 방식을 ‘온프레미스’, ‘클라우드’, ‘직접 도입’, ‘API 통합’의 네 가지 유형으로 구분했다. 그는 특히 API 통합 방식이 빠르게 확산되고 있다고 분석하며, 이 경우 보안 통제력이 강화되고 감사 추적과 로깅이 용이하다는 장점을 설명했다.
그러나 동시에 OWASP LLM Top 10(2025)에서 새롭게 제시된 시스템 프롬프트 추출, 벡터·임베딩 취약점, MCP 통합 위협, 에이전트의 과도한 권한 문제를 주요 위험요소로 지목했다.
이에 대응하기 위해서는 제로트러스트 인증, 데이터 필터링, 프롬프트 방어, 결과 검증이 통합된 ‘API 보안 게이트웨이’가 필요하다고 제안했다.
직접 도입이나 클라우드 방식의 경우에는 외부 플랫폼에서의 데이터 유출 위험이 높기 때문에, 엔드포인트 DLP와 시큐어 웹 게이트웨이(Secure Web Gateway)를 함께 운영해 내부 데이터 접근을 통제하는 것이 중요하다고 강조했다.
■프롬프트 인젝션, AI 공격의 새로운 창구
이번 발표에서 윤 대표가 가장 비중 있게 다룬 주제는 ‘프롬프트 인젝션(Prompt Injection)’이었다.
그는 “AI 모델에 입력되는 문장이 단순한 명령이 아니라 공격 명령어가 될 수 있다”고 경고했다.
특히 특수문자나 의심스러운 패턴, 악의적인 지시어를 감지하고 필터링하는 입력값 검증 체계가 필수적이며, 단일 방어선이 아닌 다중 레이어 기반의 방어체계를 구축해야 한다고 말했다.
윤 대표는 또한 샌드박스 환경에서 AI 응답을 격리해 위험을 분석하는 체계가 필요하다고 덧붙였다. “AI가 스스로 공격 코드를 실행하지 않도록 격리 환경에서 테스트하고, 표준화된 실행 환경을 갖추는 것이 앞으로의 AI 보안 핵심이 될 것”이라고 강조했다.
■AI 보안 프레임워크와 레드팀 운영의 중요성
이날 윤 대표는 NIST AI 위험관리 프레임워크와 ISO/IEC 42001을 기반으로 한 AI 보안 프레임워크 구축 방안을 제시했다.
그는 “조직 내 모든 AI 시스템, 모델, API, 데이터셋을 식별하고 중요도에 따라 분류해야 한다”며, 고위험 AI 시스템에는 별도의 관리 체계를 적용해야 한다고 설명했다.
또한 접근제어와 인증을 위한 최소권한 원칙, 다중인증(MFA), 세션 관리가 필수라고 강조하며, “AI 시스템의 모든 동작과 입출력, API 호출을 실시간 모니터링하고 이상 징후를 탐지할 수 있어야 한다”고 말했다.
윤 대표는 특히 레드팀(Red Team) 테스트를 통해 실제 공격 시나리오를 모의실험하는 것이 AI 보안 수준을 높이는 핵심이라고 강조했다. 그는 “AI 모델이 업데이트되거나 데이터셋이 변경될 때마다 공격 테스트를 병행해야 한다”며 “이 과정이 반복되어야만 시스템의 내성이 강화된다”고 설명했다.
윤 대표는 마지막으로 “AI 시대의 보안은 더 이상 사람의 속도로는 대응할 수 없다”고 말했다.
그는 AI 자체가 방어 도구로 진화해야 한다며, “AI 모델이 공격을 탐지하고 자동으로 대응하는 ‘AI for Defense’ 체계를 갖추는 것이 궁극적인 방향”이라고 강조했다.
또한 AI 개발 공급망의 취약점을 악용한 공격이 2025년 들어 46% 증가했다며, 오픈소스 라이브러리와 API 종속성, GitHub Actions 등 개발 환경 전반의 보안 검증이 반드시 필요하다고 지적했다.
그는 “AI 보안은 사후 대응이 아닌 선제적이고 다층적인 방어(Defense in Depth)로 전환해야 한다”며, “AI가 AI를 방어하는 시대를 대비하는 것이 기업 생존의 핵심”이라고 결론지었다.
출처 : 데일리시큐(https://www.dailysecu.com) 기사 원문 보기