IPS의 진화와 보안 환경의 변화

By PLURA 2024-12-22

🔐 침입 방지 시스템(IPS, Intrusion Prevention System) 은 오랫동안 보안의 핵심 구성 요소였습니다.
하지만 지금의 보안 환경은 과거와 완전히 달라졌습니다.

가장 큰 변화는 두 가지입니다.

암호화 트래픽의 일반화
퍼블릭 클라우드와 분산 시스템의 확산

이 두 변화는
“어디에서 공격을 봐야 하는가”라는 질문 자체를 바꾸었습니다.

과거에는 네트워크를 보면 충분한 경우가 많았습니다.
하지만 지금은 네트워크만 봐서는 부족한 경우가 점점 더 늘어나고 있습니다.

이 글의 핵심 메시지
평문 중심 네트워크 시대에는 NIPS가 강력했지만,
암호화와 클라우드가 기본이 된 지금은
호스트 기반 HIPS와 실시간 행위 분석의 중요성이 훨씬 커졌습니다.

IPS 분류

1. IPS의 종류부터 다시 정리해 보겠습니다

IPS는 크게 두 가지로 나눌 수 있습니다.

1) NIPS (Network-based IPS)

네트워크 구간에서 트래픽을 보고,
공격 패턴이나 이상 징후를 탐지·차단하는 방식입니다.

장점: 중앙 집중식 운영이 쉬움
장점: 네트워크 경계에서 대량 트래픽을 한 번에 볼 수 있음
한계: 암호화된 트래픽 내부 내용을 보기 어려움
한계: 실제 프로세스, 메모리, 사용자 행위 맥락은 알기 어려움

2) HIPS (Host-based IPS)

개별 서버, PC, 가상머신, 컨테이너 노드 같은
호스트 내부에서 직접 동작하며
운영체제와 프로세스 레벨의 행위를 감시·차단하는 방식입니다.

장점: 실제 실행 행위, 파일, 메모리, 권한 변화 등을 볼 수 있음
장점: 암호화된 트래픽도 호스트 내부에서 복호화된 후 행위로 확인 가능
한계: 에이전트 배포·운영 체계가 필요함
한계: 잘못 설계하면 운영 부담과 성능 이슈가 생길 수 있음

2. 왜 NIPS 중심 보안은 점점 힘을 잃고 있을까요?

과거 NIPS가 강력했던 이유는
네트워크에 평문 트래픽이 많았기 때문입니다.

HTTP, FTP, Telnet, 평문 SMTP처럼
내용을 네트워크 장비가 직접 읽을 수 있으면,
패킷 내부의 공격 패턴을 찾고 차단하는 것이 비교적 효과적이었습니다.

하지만 지금은 상황이 다릅니다.

HTTPS가 사실상 기본이 되었고
API 호출도 대부분 TLS 위에서 이루어지며
SaaS, 클라우드, 모바일 앱, 서비스 간 통신도 암호화가 기본입니다

즉, 이제는
“네트워크에서 내용을 직접 본다”는 전제 자체가 무너진 것입니다.

NIPS가 어려워진 이유

암호화된 패킷 내부 내용을 직접 보기 어려움
분산 시스템에서 동서(East-West) 트래픽까지 모두 보기 어려움
API와 마이크로서비스 구조에서는 단일 경계 개념이 약해짐
정상 HTTPS 세션처럼 보이는 공격을 구분하기 어려움

정리하면
NIPS는 암호화 시대의 핵심 대응 기술이라기보다,
평문 시대의 강력한 기술이었지만 지금은 본질적 한계가 분명한 기술입니다.

3. “그럼 TLS Inspection을 하면 되지 않나요?”라는 질문에 대해

이 질문은 매우 자연스럽습니다.

실제로 많은 조직은
NIPS의 한계를 보완하기 위해
TLS Inspection, SSL 복호화, 프록시 기반 가시성 확보를 시도합니다.

이 방식은 분명 일정 효과가 있습니다.
하지만 비용과 부작용도 매우 큽니다.

TLS Inspection의 현실적 부담

1) 성능 비용

복호화와 재암호화는
CPU, 메모리, 지연 시간에 큰 부담을 줍니다.
특히 대용량 HTTPS 트래픽 환경에서는 병목이 되기 쉽습니다.

2) 운영 복잡성

인증서 배포
신뢰 루트 관리
예외 처리
모바일·에이전트·서드파티 앱 호환성 문제

이 계속 발생합니다.

3) 프라이버시와 규제 문제

모든 트래픽을 들여다보는 방식은
개인정보, 민감정보, 내부 기밀 처리 측면에서
법적·정책적 검토가 필요합니다.

4) 완전한 해결책이 아님

복호화에 성공해도
네트워크에서 보는 정보만으로는
실제 호스트 내부의 프로세스 행위, 권한 상승, 메모리 변조까지 다 보기는 어렵습니다.

즉, TLS Inspection은
NIPS의 한계를 일부 보완하는 수단이지,
현대 보안의 중심 해답은 아닙니다.

4. Snort의 변화가 상징하는 것

과거에는 Snort 같은 오픈소스 NIDS/NIPS가
네트워크 보안의 대표 도구였습니다.

하지만 지금 시점에서 더 중요한 것은
Snort가 계속 존재하느냐가 아니라,
Snort가 잘 작동하던 전제가 더 이상 보안의 중심이 아니라는 점입니다.

즉,

Snort의 지속 개발 여부와 별개로,
평문 패킷 기반 네트워크 탐지 방식 자체는
암호화 시대의 중심 보안 전략에서 점점 밀려나고 있습니다.

네트워크 패킷 분석은 여전히 참고 지표가 될 수 있습니다.
하지만 오늘날 공격은 점점 더

암호화된 흐름 안에 숨어 있고
정상 프로세스를 악용하며
호스트 내부에서 권한을 올리고
컨테이너·클라우드 런타임 안에서 움직입니다

그래서 전체적인 무게중심은
네트워크 패킷만 보는 방식에서
호스트와 워크로드 내부 행위를 함께 보는 방식으로 이동하고 있습니다.

5. 왜 HIPS와 호스트 기반 방어가 더 중요해졌을까요?

HIPS의 강점은 단순합니다.

네트워크에서 안 보이는 것을, 호스트 안에서는 볼 수 있기 때문입니다.

1) 암호화와 무관하게 볼 수 있음

네트워크 구간에서는 TLS로 가려진 데이터라도,
호스트 내부에서는 결국 복호화되어 처리됩니다.

즉, HIPS는 다음을 더 직접 볼 수 있습니다.

실제 프로세스 실행
파일 생성·수정
메모리 변조
권한 상승
계정 사용
외부 연결 생성

2) 클라우드·분산 환경에 더 잘 맞음

현대 IT 환경은

AWS, Azure, GCP
가상머신
컨테이너
쿠버네티스
서버리스 일부 보완 계층

등으로 분산되어 있습니다.

이 구조에서는
“네트워크 한 지점에서 다 본다”보다
각 워크로드 안에서 보는 방식이 더 현실적입니다.

3) 공격의 본질이 ‘행위’ 중심으로 바뀌었음

현대 공격은 점점 더

LOLBins/LOLBAS 악용
파일리스 공격
정상 계정 탈취
런타임 변조

형태로 나타납니다.

이것은
패킷 내용만으로 보기보다
프로세스, 메모리, 사용자, 권한, 흐름을 봐야 더 잘 드러납니다.

6. 현대적 HIPS는 단순한 “옛날 HIPS”와도 다릅니다

요즘의 호스트 기반 방어는
예전처럼 단순한 에이전트형 HIPS만을 뜻하지 않습니다.

현대 환경에서는 다음 같은 형태가 함께 등장합니다.

EDR/XDR 계열의 호스트 행위 분석
클라우드 워크로드 보호(CWPP)
컨테이너 및 쿠버네티스 런타임 보안
eBPF 기반 관측·보안 계층

즉, 오늘날 HIPS를 말할 때는
단순히 “호스트에 설치하는 옛날 보안 프로그램”이 아니라,

호스트/워크로드 내부 행위를 실시간으로 관찰하고 제어하는 현대적 런타임 보안 계층

으로 이해하는 편이 더 정확합니다.

7. 그렇다면 지금의 현실적인 전략은 무엇일까요?

결론은 단순히
“NIPS는 끝났고 HIPS만 쓰자”가 아닙니다.

더 현실적인 답은 다음에 가깝습니다.

현실적 전략

NIPS/NGFW/WAF는 여전히 필요하다
- 외부 경계 방어
- 기본 정책 차단
- 대량 트래픽 제어
- 네트워크 수준 가시성 확보
하지만 중심축은 점점 호스트·워크로드 쪽으로 이동한다
- 암호화 환경
- 클라우드 환경
- 런타임 공격
- 계정/권한 악용
따라서 하이브리드 접근이 필요하다
- 네트워크 기반 방어 + 호스트 기반 방어
- 경계 차단 + 내부 행위 분석
- 패킷 가시성 + 프로세스 가시성

즉, 중요한 것은
NIPS와 HIPS 중 하나를 버리는 것이 아니라,

어디까지를 네트워크에서 보고,
어디부터를 호스트에서 볼 것인가를 재설계하는 것입니다.

8. 보안팀이 지금 점검해야 할 질문

아래 질문에 “예”라고 답하지 못한다면,
여전히 과거형 IPS 사고에 머물러 있을 가능성이 큽니다.

체크리스트

암호화된 트래픽에서 실제 공격 행위를 어디서 볼 것인지 정해져 있는가
NIPS/NGFW/WAF가 못 보는 영역을 HIPS/EDR/XDR이 보완하고 있는가
클라우드 워크로드와 컨테이너 환경에 대한 런타임 보호가 있는가
TLS Inspection 예외, 비용, 정책이 현실적으로 관리되고 있는가
네트워크 이벤트와 호스트 이벤트를 함께 상관 분석할 수 있는가
정상 계정·정상 도구 악용을 탐지할 수 있는가

✍️ 결론 및 요약

오늘날 보안 환경은
암호화 트래픽의 일반화와 퍼블릭 클라우드의 확산이라는
두 가지 큰 변화를 맞았습니다.

과거: NIPS가 평문 중심 네트워크에서 강력한 역할 수행
현재: 암호화와 분산 환경이 기본이 되면서, 호스트/워크로드 내부 방어가 더 중요해짐

따라서 기존에 NIPS 중심으로 운영하던 조직도
이제는 HIPS, EDR, XDR, CWPP, 런타임 보안 같은
호스트 기반 접근을 적극 검토해야 합니다.

✅ 핵심 정리

NIPS는 평문 시대에는 강력했지만, 암호화 시대에는 본질적 한계가 크다
암호화 시대에는 호스트 안에서 보는 능력이 훨씬 중요해졌다
클라우드와 컨테이너 환경에서는 HIPS 계열의 현대적 런타임 보안이 사실상 필수다
현실적인 답은 NIPS vs HIPS가 아니라, 둘의 역할을 재정의하는 하이브리드 전략이다

즉, 이제 보안의 질문은
“네트워크에서 볼 수 있는가?”가 아니라,

“실제 공격 행위를 어디에서 가장 정확하게 볼 수 있는가?”

로 바뀌어야 합니다.