인터넷 트래픽 분석을 위한 객관적 평가 및 검증 - NM Lab at Korea ...

2009 년 한국통신학회 추계학술발표대회
인터넷 트래픽 분석을 위한 객관적 평가 및 검증 방법에 관한 연구
윤성호, 박준상, 박진완, 오영석, 김명섭
고려대학교
{sungho_yoon, junsang_park, jinwan_park, youngsuk_oh, tmskim}@korea.ac.kr
A Study of Evaluation and Verification Method
for Internet Traffic Classification
Sung-Ho Yoon, Jun-sang park, Jin-Wan park, Young-Seok oh, Myung-Sup Kim
Korea Univ.
요 약
인터넷 사용의 대중화와 네트워크의 발전은 다양하고 대용량의 인터넷 트래픽을 발생시키고 있다. 효과적인 네트워크
관리를 위하여 트래픽 분석은 필수적인다. 다양한 트래픽 분석 방법론의 연구에 비해 분석 결과를 검증하는 방법은
매우 더딘 것이 현실이다. 본 논문에서는 트래픽 분석 결과를 검증하는 방법론은 제시한다. 다각적인 평가 및 검증
요소를 정의 함으로써 다양한 분석 방법론의 성능을 평가하고 검증함을 물론 여러 다른 방법론과의 성능 비교 역시
가능하게 한다.
Ⅰ. 서 론 1
대용량의 인터넷 회선이 보편화되고 인터넷 서비스를
이용하는 사용자가 급격히 증가 함에 따라 인터넷
트래픽이 급증하고 매우 다양해 졌다. 이는 전통적으로
사용되는 WWW, FTP, e-mail 등의 인터넷 서비스뿐
아니라 통합된 음성 망 서비스, 멀티미디어 파일의
스트리밍 서비스 등의 멀티미디어 서비스를 제공하는
네트워크 기반의 응용 프로그램이 더욱 다양하게
개발됨에 따른 것이다. 따라서 효과적인 네트워크 관리를
위한 트래픽 모니터링 및 분석의 중요성이 커지고
있다[1]. 이러한 트래픽 모니터링 및 분석은 네트워크
관리와 제어 측면에서 많은 이점을 가진다.
인터넷 트래픽 분석은 목표 네트워크 링크로부터
패킷을 수집하여 분석 기준에 맞게 분류하고 이를
수량적으로 보이는 일련의 과정을 의미한다.
인터넷 트래픽 분석을 위한 많은 방법론이 제안되었다.
제안된 방법론들은 다음과 같이 6 가지 카테고리로
분류할 수 있다. Well-known port 기반, 페이로드
시그니쳐 기반, 프로토콜 의미 기반, 통계적 분석 기반,
머신 러닝 기반, 상관관계 기반이 그것이다.
여러 다양한 방법론을 적용한 트래픽 분석에 관한
연구는 활발히 진행되는 반면, 제안하는 분석기와 이를
이용한 분석 결과를 객관적으로 평가하는 기준에 대한
연구는 아직 미비한 실정이다.
객관적인 평가 기준의 부재는 제안한 분석 방법론의
정확한 성능 평가와 다양한 방법론 간의 성능 비교를
어렵게 한다. 따라서 본 논문에서는 트래픽 분석의
객관적인 검증과 평가 방법을 제안한다.
2 장에서는 정답 데이터의 정의를 설명하고, 3 장에서는
다각적인 평가 및 검증 요소를 정의한다. 4 장에서 검증
범위를 5 장에서 결론을 제시한다.
* 이 논문은 2007 년 정부(교육인적자원부)의 재원으로 한국학술
진흥재단의 지원을 받아 수행된 연구임.(KRF-2007-331-D00387)
Ⅱ. 정답 데이터(Ground-truth Data) 생성
본 장에서는 정답 데이터의 의미와 기존 연구의
무분별한 정답 데이터 생성 방법을 보인다. 본 논문은
평가 및 검증 요소에 초점을 맞추기 때문에 구체적인
정답 데이터 생성 방법은 생략한다.
정답 데이터는 실제 분석 대상인 트래픽 중 그 원천이
확인된 트래픽을 의미한다. 이러한 데이터는 실제 분석된
데이터와 비교하여 분석된 결과의 정확도를 측정하는데
사용한다. 따라서 분석 결과의 정확한 검증을 위해서는
정확한 정답 데이터가 필요하다. 하지만, 현재 정답
데이터를 만드는 연구는 정확도와 효율성 측면에서 많은
문제점을 가지고 있다. 예를 들어 다른 분석 방법의 분석
결과를 정답 데이터로 사용한다[2] 던지 혹은
수작업으로 정답 데이터를 생성하는 경우[3]도 있다.
Ⅲ. 평가 및 검증 요소
정확한 정답지 데이터의 중요성과 같은 맥락으로
객관적인 평가 및 검증을 위한 요소를 정의하는 것 또한
매우 중요하다. 이미 [4]에서 일부 평가 및 검증
요소들을 정의 하였지만 본 논문에서는 추가적으로 좀더
체계적이고 자세하게 정의 한다.
3.1 분석기 평가 요소
• 분석기준
트래픽을 분석하는 분석기준을 의미한다. 예로써 응용,
응용 타입, 프로토콜 등이 있다.
• 분석 방법론 타입
분석기가 기반을 둔 방법론의 타입을 의미한다. 예로써
페이로드 시그니쳐 기반, 프로토콜 의미 기반 등이
있다.
• 분석 범위

2009 년 한국통신학회 추계학술발표대회
분석기가 분석 할 수 있는 분석 기준의 개수를
의미한다. 예로써 시그니쳐 기반의 분석기인 경우
시그니쳐를 가지고 있는 분석 기준들의 개수를 의미
한다.
• 분석 용량
분석기가 특정 기간 동안 트래픽의 손실 없이 분석할
수 있는 최대 트래픽 용량을 의미한다.
• 강건성
환경 변화에 따른 분석기의 성능을 의미한다. 세부
항목으로는 a)online/offline b)페킷 손실 가능성 c)
비대칭 라우팅 처리 d) 선행 처리 필요 e) 분석 트래픽
변화에 대한 처리가 있다.
3.2 실험 방법 평가 요소
• 정답 데이터 생성 방법
예로써 수작업, 디바이스 이용 등이 있다.
• online/offline
해당 실험이 online 혹은 offline 으로 진행 되었는지는
나타낸다.
• 트래픽 수집 방법
분석 대상 트래픽을 선택적으로 수집 하였는지 혹은
분석 대상 네트워크에서 발생하는 전체 트래픽을 수집
하였는지를 나타낸다.
• 실험 장비
실험에서 사용한 실험 장비의 사양(CPU, RAM, Disk,
OS 등)을 나타낸다.
3.3 분석 결과 평가 및 검증 요소
앞서 설명한 분석기와 실험 방법을 통하여 얻은 분석
결과에 대한 평가 및 검증 요소 이다.
• 분석율
분석 대상 전체 트래픽 중 분석된 트래픽의 비율을
나타낸다.
• 분석 결과 범위
분석 결과에 속한 분석 기준의 개수를 의미한다.
• 정확도
해당 분석 방법의 결과와 정답지 데이터를 비교하여
얼마나 해당 분석기가 정확하게 분석하는지를 나타낸다.
정확도는 크게 전체 정확도와 개별 정확도로 나뉜다.
정확도(Accuracy)는 다른 평가 요소와 달리 여러 검증
범위를 가진다. 검증 범위에 대한 내용은 평가 요소
설명 후 4 장에서 제시한다.
• 전체 정확도
검증 할 수 있는 검증 데이터 중에서 정확하게 분석된
트래픽의 비율을 나타낸다.
• 개별 정확도(Individual Accuracy)
각 분석 기준 별 검증 할 수 있는 검증 데이터 중에서
정확하게 분석된 트래픽의 비율을 나타낸다. 만약
응용을 분석 기준으로 정하였다면, 각 응용 별,
정확도를 의미한다. 개별 정확도는 FP(False positive),
FN(False Negative)로 계산된다. 응용 X 의 FP 란,
해당 알고리즘이 X 가 아닌 응용을 X 라 분석한 것을
의미한다. 또한 응용 X 의 FN 이란, 해당 알고리즘이
X 를 X 가 아니라고 분석한 것을 의미한다. 특히, FN 은
FN-Unclassified 와 FN-Mis_Classification 으로 나눌
수 있는데, 전자는 해당 알고리즘이 X 를 분석하지
못한 것이고, 후자는 해당 알고리즘이 X 를 다른
응용으로 분석한 것이다. 네트워크 관리의 트래픽
제어의 관점에서 본다면 FN-Unclassified 보다 FN-
Mis_Classification 이 더 큰 위험성을 가진다. 즉, 잘못
분석하는 것은 아니 분석한 만 못하다는 의미이다.
Ⅳ. 검증 범위
실제 네트워크에 개발된 분석 알고리즘을 적용시킬
경우, 전체 트래픽을 검증하지 못한다. 네트워크 내의
모든 호스트에 검증을 위한 에이전트, TMA 를 설치하기
못하기 때문이다. 제한된 검증 데이터로 인해 검증의
범위가 다음과 같이 3 가지로 나뉜다.
• 정답 데이터 영역
발생시킨 응용을 알고 있는 트래픽(정답지 데이터)에
대한 정확도(Accuracy)이다. 분석된 양과 상관없이
트래픽 전체에 대한 정확도(Accuracy)이기 때문에
알고리즘이 분석하지 못한 부분에 대한 정보가
반영된다. 즉, FN-Unclassified 와 FN-
Mis_Classification 모두 포함한다.
• 적용 범위 영역
Answer range 와 비슷하나 범위(Coverage)에 속한
응용에 대해서만 적용된다는 점이 다르다. 시그니쳐
기반의 알고리즘에서는 시그니쳐를 가지는 응용에
한해서 검증을 하게 된다.
• 분석 영역
오직 분석된 트래픽에 한해 정확도(Accuracy)를
구한다. FN 은 FN-Unclassified 를 포함 하지 않는다.
즉, FN 은 FN-Mis_Classification 만을 의미한다.
classified
a
ac
ab
abc
Total Traffic
In-coverage
b
bc
c
ground-truth
Ground-truth Range
{abc, ac, bc, c}
classified
a
ac
ab
abc
Coverage Range
{abc, bc}
Total Traffic
In-coverage
b
bc
c
ground-truth
classified
a
ac
ab
abc
Classification Range
{abc, ac}
Total Traffic
In-coverage
b
bc
c
ground-truth
그림 1. 검증 범위
Ⅴ. 결론
본 논문에서는 트래픽 분석의 필요성을 제시하고
기존의 여러 방법론들의 무분별한 평가 및 검증 방법에
대해 문제점을 제시 하였다. 객관적인 평가 및 검증 기준
부재는 트래픽 분석 연구의 발전을 더디게 만든다.
분석기, 실험 방법, 분석 결과, 각각에 대한 다각적인
평가 및 검증 요소를 정의 하였다. 본 논문에서 제안한
객관적 요소는 다양한 분석 방법론의 성능을 정확히
측정 할 뿐만 아니라, 다른 방법론과의 비교를 가능하게
한다. 향후 연구로는 정확한 정답 데이터 생성이 관한
연구를 계획 중이다.
참 고 문 헌
[1] Myung-Sup Kim, Young J.Won, James Won-Ki
Hong, “ Application-Level Traffic Monitoring and
an Analysis on IP Networks” , ETRI Journal Vol. 27,
No.1, February 2005.
[2] T.Karagiannis, K.P apagiannaki and M.F
aloutsos,“ BLINC: Multilevel Traffic Classification
in the Dark,” in Proc. of ACM SIGCOMM, August
2005.
[3] Moore, A.W., Zuev, D.: Internet traffic
classification using bayesian analysis techniques.
In: Proceedings of ACM SIGMETRICS. (2005) 50–
60.
[4] Risso, F. Baldi, M. Morandi, O. Baldini, A.
Monclus, P. Lightweight, Payload-Based Traffic
Classification: An Experimental Evaluation. In
proceeding of Communications, 2008. ICC '08. IEEE
International Conference, 2008.