응용프로그램 로그 분석 w/ postfix

응용프로그램 수집을 편리하게 이용하는 방법, 그 중에서 아파치 TOMCAT의 catalina.out 에 대하여

다음 컬럼에서 자세히 설명하고 있습니다.

▶ 응용프로그램 로깅과 분석 w/ 아파치 TOMCAT

이제 또 다른 사례를 통하여 수집된 로그를 정렬하고자 합니다.

수집된 로그의 전체 영역은 msg에 저장됩니다.

msg 포맷을 분석하여 파싱을 거쳐, 마치 비정형 로그 속에서 규칙을 찾아 정형 로그로 정렬하는 것입니다.

절차적 방법은 다음과 같습니다.

1. PLURA-LC (Log Collector) 에서 작업하기

1) 수집된 응용프로그램을 확인하기

□ postfix 로그는 다음과 같은 형태를 갖추고 있습니다.

AF046138BB: to=<lion@plura.test>, relay=ASPMX.L.GOOGLE.com

[192.168.97.27]:25, delay=2.3, delays=0.02/0.01/0.84/1.4, dsn=2.0.0, status=sent (250 2.0.0 OK 1633147606 v9si12074090plg.10 – gsmtp)

우리는 다음과 같이 관심 있는 항목을 컬럼화 시키는 것이 목표입니다.

to, realy, delay, delays, dsn, status

2) 응용프로그램의 grok 패턴을 분석

□ 프루라에서 제공하는 기본 grok 패턴은 다음과 같다.

▶ https://github.com/QubitSecurity/Logstash

3) Logstash와 선택한 grok 패턴을 이용하여 수집된 로그를 규격화하여 신규 로그 생성

□ 관심 항목을 JSON 의 key-value 형태로 추출한다.

{
“@timestamp”: “2021-10-03T02:52:39.464Z”,
“PROCESS”: “smtp”,
“hostname”: “020175-mail”,
“RELAYHOST”: “ASPMX.L.GOOGLE.com”,
“DSN”: “2.0.0”,
“reason”: “(250 2.0.0 OK 1633147606 v9si12074090plg.10 – gsmtp)”,
“PID”: “25962”,
“DELAY”: “1.2”,
“RELAYIP”: “192.168.97.27”,
“QID”: “AF046138BB”,
“TO”: “lion@plura.test”,
“host”: “plura_test”,
“RELAYPORT”: “25”,
“STATUS”: “sent”,
“msg”: “Oct 2 13:06:46 020175-mail postfix/smtp[25962]: AF046138FF: to=<lion@plura.test>, relay=ASPMX.L.GOOGLE.com[192.168.97.27]:25, delay=2.3, delays=0.02/0.01/0.84/1.4, dsn=2.0.0, status=sent (250 2.0.0 OK 1633147606 v9si12074090plg.10 – gsmtp)”,
“timegenerated”: “Oct 2 13:06:46”
}