cleanUrl: /prophet-kr
cherry: true

<aside> 💡 Journey to find abnormal activities from logging data with periodic patterns

</aside>

Background

Monitoring and configuring alerts for a new Single Sign-On service was done easily, but traditional metrics to find abnormal activities remains tough.

Facebook Prophet 시계열 예측 라이브러리를 활용
신규 SSO 세션 모니터링을 위해 수집한 서비스별 시계열 세션 카운트 활용
3시간 예측 데이터 생성: 1시간마다 실행시점 28일간 이전 데이터 기반으로 추출
제일 많이 사용하는 그룹웨어 세션만 예측 적용
기존 Linear 한 절대값으로만 알림을 설정했다면, 예측을 통한 가변적인 알림 설정이 가능

Untitled

Data Collection

데이터 수집 준비

SSO 세션을 1개만 접속하여 Refresh Token 으로 최대한 재사용하고 새로운 세션을 받아오는 로직

#!/bin/bash
 
REFRESH_TOKEN=`cat /var/opt/aerobase/dashboard/refresh_token`
RESULT=`curl --silent --location --request POST '<https://xxxx.co.kr/auth/realms/xxxx/protocol/openid-connect/token>' --header 'Content-Type: application/x-www-form-urlencoded' --data-urlencode 'grant_type=refresh_token' --data-urlencode 'client_id=view' --data-urlencode 'client_secret=************************' --data-urlencode 'refresh_token='$REFRESH_TOKEN''`
if echo ${RESULT} | grep -i "error"; then
    echo "refresh failed, create a new session"
    RESULT=`curl --silent --location --request POST '<https://xxxx.co.kr/auth/realms/xxxx/protocol/openid-connect/token>' --header 'Content-Type: application/x-www-form-urlencoded' --data-urlencode 'grant_type=client_credentials' --data-urlencode 'client_id=view' --data-urlencode 'client_secret=************************'`
fi
echo ${RESULT} | jq '.access_token' | sed -e 's/\\"//g' > /var/opt/aerobase/dashboard/token
echo ${RESULT} | jq '.refresh_token' | sed -e 's/\\"//g' > /var/opt/aerobase/dashboard/refresh_token

데이터 추출, 선처리, InfluxDB 로 저장

#!/bin/bash
DB_NAME='app'
TABLE_NAME='sso-session'
TOKEN=`cat /var/opt/aerobase/dashboard/token`
 
# SSO API 세션정보 요청
curl --silent --location --request GET '<https://xxxx.co.kr/auth/admin/realms/xxxx/client-session-stats>' --header 'Authorization: Bearer '$TOKEN'' > /var/opt/aerobase/dashboard/result
 
# 수신 데이터에서 필요한 데이터만 추출하여 선처리
RESULT=`cat /var/opt/aerobase/dashboard/result | jq '.[] | {(.clientId):.active}'`
DATA=`echo $RESULT | sed -e 's/\\:/\\=/g' | sed -e 's/{\\| //g' | sed -e 's/\\"//g' | sed -e 's/}/,/g' | sed -e 's/.$//'`
 
# InfluxDB 로 저장 요청
curl -s -i -XPOST <http://xxxx:8086/write?db=${DB_NAME}> --data-binary "${TABLE_NAME} ${DATA}" | grep 'HTTP/1.1 204' > /dev/null 2>&1

예제) SSO API 호출 후 수신받은 샘플 데이터

[{"offline":"0","clientId":"idm-client","active":"1","id":"2690c992-bb59-4891-8220-62f86d7a6d33"},{"offline":"0","clientId":"data","active":"28","id":"77cbc073-c6c4-4fd1-92f3-3e2b44ef7912"},{"offline":"0","clientId":"portal","active":"418","id":"9d7f3882-f9be-4584-b16d-1c6c573d7a9d"},{"offline":"0","clientId":"iam-admin","active":"22","id":"5c2edf26-60e7-4ffc-b7d6-4a9a7e4cea82"},{"offline":"0","clientId":"iam","active":"4","id":"309c8cfc-e49e-4303-964a-2e0dfe79e566"}]