레이블이 traffic monitoring인 게시물을 표시합니다. 모든 게시물 표시
레이블이 traffic monitoring인 게시물을 표시합니다. 모든 게시물 표시

2012-09-16

Network] 오픈소스 트레픽 테스트 툴] 시즈(Siege) 사용하기


많은 웹개발자들과 서버 관리자들이 가장 두려워하는 것은 엄청난 트래픽 때문에 웹사이트가 다운되는 사태다. 트래픽 폭주의 원인은 DoS 공격 등 여러가지가 있지만 분명한 것은 더이상 웹사이트를 사용할 수 없도록 만든다는 사실이다.

이런 필요 때문에 등장한 것이 바로 부하 테스트 툴이다. 사이트가 어떤 트래픽 수준에서 다운되는 지를 테스트하는 소프트웨어로, 이미 좋은 툴들이 많이 출시돼 있다. ‘WAPT’라는 상용 소프트웨어는 Builder.com에 서 리뷰하기도 했다. 필자는 무료로 사용할 수 있는 오픈소스 툴을 선호하는데, 오픈소스 부하 테스트 툴 가운데 가장 널리 사용되며 꾸준히 업데이트되는 소프트웨어로는, 이름과도 잘 어울리는 ‘시즈(Siege, 포위공격)’가 있다.

시즈의 특징
‘시 즈’라는 이름은 이 툴의 모든 것을 말한다. 서버를 에워싸 서버가 어떤 이유로 문제를 일으켰는지를 보여주는 것이다. 유닉스 기반의 명령행 기반 툴인 시즈는 GNU GPL 오픈소스 라이선스를 따르기 때문에 사용, 수정, 배포가 모두 무료다.

시즈는 단일 URL의 부하 테스트는 물론 많은 URL을 메모리로 불러들여 사용자가 설정한 시뮬레이션 유저만큼의 부하를 동시에 테스트할 수 있다. 또한 기록된 총히트수와 전송된 바이트수, 반응시간, 병행성(Concurrency), 리턴 상태 등을 보여주며, HTTP 1.0/1.1 프로토콜, GET/POST 디렉티브, 쿠키, 트랜잭션 로깅, 기본적인 인증 등을 지원한다.
1. 다운로드와설치


시 즈 최신버전은 Builder.com 다운로드 사이트에 서 받을 수 있다. 설치는 GNU 오토콘프(autoconf)를 사용해 유닉스 애플리케이션용 컴파일 절차를 따른다. 표준 ANSI C 컴파일러(대부분의 기본 *nix 인스톨의 일부)를 지원하는 최근의 리눅스 시스템이나 다른 *nix 시스템 환경이라면 설치는 매우 간단하다. 먼저 다운로드한 파일의 tar 압축을 다음과 같이 해제한다.
$ tar xvzf siege-latest.tar.gz
이제 다음과 같이 설정한다(디폴트 설정을 추천한다).
$ ./configure

설정에 대한 도움말은 -help 서픽스(suffix)를 이용하면 된다. 필자가 개인적으로 추가한 것은 SSL 지원으로, ‘-with-ssl=/usr/local/ssl’ 서픽스를 통하면 된다. 여기까지 마쳤으면 이제 남은 것은 다음과 같이 컴파일해 설치하는 것이다.
$ make
$ make install

2. 실행하기


시 즈는 웹서버를 테스트하는 다양한 옵션을 제공한다. 가장 간편한 실행 방법은 단일 URL 테스트다. 이것은 특정 페이지가 대량 트래픽에 어떻게 반응하는지를 잘 보여준다. 이때 중요한 옵션 두 가지가 동시 접속자수(-c 옵션, 디폴트는 10)와, 반복 쿼리수 혹은 시간으로 표현되는 테스트 기간(-t)이다. 예를 들어 25명이 동시에 1분간 접속하는 환경이라면 다음과 같이 실행하면 된다

$ siege -c25 -t1M www.example.com

이밖에도 딜레이를 설정하는 -v와 -d 옵션을 자주 사용하는데 기본값은 0 이다
3. 분석결과


여기까지 실행했다면 시즈는 당신의 코드와 서버가 대량 트래픽에 어떻게 반응했는지를 알려준다. 다음은 위의 명령을 실행했을 때의 결과 화면이다.
** Siege 2.59
** Preparing 25 concurrent users for battle.
The server is now under siege...
Lifting the server siege... done.
Transactions: 406 hits
Availability: 99.75 %
Elapsed time: 59.66 secs
Data transferred: 10340918 bytes
Response time: 2.36 secs
Transaction rate: 6.81 trans/sec
Throughput: 173330.84 bytes/sec
Concurrency: 16.07
Successful transactions: 412
Failed transactions: 1

가용성(Availability)은 가장 중요한 요소인데 이것이 100%에 미달했다는 것은 사용자 중의 일부가 사이트에 접속하지 못했다는 것을 의미한다. 따라서 위의 실행결과는 문제가 된다. 1분에 25명이 접속했을 때 가용성이 99.75%에 불과했기 때문이다.

병행성 (Concurrency)은 각 트랜잭션 처리 시간을 경과시간으로 나눈 것이다(이때 트랜잭션이란 모든 인증시도를 포함한 서버의 히트수다). 이를 통해 평균 동시 접속 수준을 알 수 있는데, 병행성이 높을수록 서버가 어려움에 봉착했음을 암시한다. 그 이유는 새로운 트래픽 처리를 위해 소켓을 열어야 하는 상황에서, 서버가 한 트랜잭션을 완료하는데 걸리는 시간이 길면 길수록, 동시에 처리해야 할 트래픽이 많아져 서버 성능이 떨어지기 때문이다.
4. 고급기능


필자가 시즈 초기버전을 사용했을 때는, 서버에 준 부하에 성공과 실패가 서로 뒤섞여 있었다. 단순히 동시 접속자와 테스트 시간을 늘려 결과를 살펴보는 정도였다. 그러나 시즈 최신버전에는 봄바드먼트(Bombardment)라는 툴이 포함돼 있어, 명령어 옵션으로 클라이언트 숫자를 증가시킬 수 있다. 그러나 봄바드먼트(Bombardment)는 버보스(verbose) 출력이나 로깅 기능 등 시즈가 기본적으로 지원하는 사용자 옵션이 없어 제대로 실행되지 않는 단점이 있다.

적당한 회귀 테스팅도 단일 URL 이상에서만 가능하다. 시즈는 과거에 ‘스카우트(Scout)’라는 툴을 이용해, 특정 도메인에서 URL들을 추출한 후 이를 시즈 테스트 목록에 포함시키는 기능을 지원했었다. 현재 스카우트는 더 이상 업데이트되지 않지만 이전 버전은 다운로드해 사용할 수는 있다.

시즈 최신 버전에는 스카우트 대신 새로운 테스팅용 URL 추출기인 ‘스프록시(Sproxy)’가 포함돼 있다. 그러나 필자는 개인적으로 스카우트에 더 후한 점수를 주고 싶다. 스프록시는 옵션을 사용자 브라우저 프록시로 설정하면, 사용자가 방문한 모드 사이트의 링크를 테스트 목록에 추가하기 때문이다. 유일한 추가 옵션은 수동으로 모든 URL을 입력하는 것이다.

시즈는 사이트내에 존재하는 모든 GET/POST, 인증, 쿠키에 대한 부하 테스트를 할 수 있으며, 사용자는 단지 URL을 입력하거나 스프록시나 스카우트 등의 툴을 이용하면 된다. 다수 URL에 -i 옵션을 사용하면 동시 쓰레드 방식으로 URL을 난수화해 보다 실제에 가까운 테스트도 할 수 있다.

5. 가용성가 방응시간 개선방법

시즈는 URL 부하를 테스트하는 간단한 툴일 뿐이다. 따라서 가용성과 반응시간 등을 개선하기 위해서는 이를 결정하는 두 가지 요소, 즉 네트워크적인 요인과 웹 개발자에 의해 좌우되는 웹페이지의 요소들을 살펴봐야 한다.

먼저 네트워크 측면을 보면 호스트 웹서버의 대역폭(처리 능력)과 메모리가 가장 중요하다. 로드 밸런스 환경이라면 호스트 웹서버 대신 서버가 된다. 웹페이지 부분에서는 코드를 효율적으로 개발하는 만큼, 이론적으로는 파일 크기가 작아지기 때문에, 네트워크 자원의 낭비도 줄일 수 있다.
6. 참고사이트
시즈를 받을 수 있는 홈페이지 - http://Builder.com

Network] MRTG를 이용한 트래픽사용량 분석하기


MRTG를 이용한 트래픽사용량 분석하기
 
1. 서버트래픽분석 개론
MRTG에서 서버트래픽을 모니터링하기위해서는 cfg파일을 만들어야한다.
cfg파일을 만드는 방법은 두가기가 있다.
  • 첫째, cfgmaker로 만드는 방법
  • 둘째, 가장유사한 cfg파일 복사후 수정하는 방법
위의 두가지 방법모두 실무에서 사용되고 있는 방법이다.
굳이 구분해 본다면 첫 번째의 경우에는 MRTG서버를 처음구축한후에 이미 사용중인 cfg파일이 존재하지 않으므로 환경파일생성툴인 cfgmaker를 이용하여 생성하는 방법이다.
, MRTG 서버구축초기에 많이 사용되는 방법이며 이방법으로 생성된 cfg파일을 살펴보면 불필요한 내용이 많이 추가되어 있음을 알 수 있다.
두 번째 방법은 MRTG서버를 어느정도 사용하다 보면 생성된 cfg파일이 여러개 존재하게 된다.
새로운 서버의 트래픽사용량이나 자원들(CPU, DISK, MEMORY)의 사용량을 모니터링하기위해서는 새로운 cfg파일이 필요하게 된다.
이때에 이미 사용중인 cfg파일중 가장 유사한 파일을 복사한 후 그 내용을 조금만 수정해 주면 사용이 가능하다.
필자의 경험에 의한다면 MRTG를 처음 사용하는 분이라면 첫 번째 방법을 사용하고, MRTG를 사용중인 분이라면 두 번째 방법으로 cfg파일을 생성하는 것이 일반적이지 않나 생각한다.
다만 여기에서는 앞서 cfgmaker로 환경파일(cfg)을 생성하는 방법에 대해서 배웠으므로 그 사용법을 다시 언급한다는 것은 무의미하므로 두 번째의 방법으로 이미 cfg파일을 생성했다는 가정하에게 설명을 계속진행해 나갈 것이다.
뒤에 나오는 DISK, CPU, MEMORY의 사용량분석의 경우에도 모두 동일하게 적용이 된다.
2. Configuration file 만들기
현재 실습중인 대상장비는 리눅스 서버이다.
이 리눅스서버의 트래픽을 분석하기 위한 cfg파일을 직접 만들어서 보여주고 있다.
물론, 필자가 제시한 cfg파일 포맷을 그대로 사용할 경우에는 수정할 사항들이 있다.
그럼, cfg파일내의 각 항목들에 사용하는 옵션들에 대한 자세한 설명과 함께 수정사항들도 알아보도록 하자.
3. cfg파일 분석
WorkDir
MRTG실행 결과후에 생성되는 웹페이지구성파일들(*.html, *.png, *.log, *.old)이 생성될 위치이다.
이 위치의 디렉토리가 존재하지 않는다면 MRTG실행시 에러가 발생하게된다.
WorkDir에서 지정한 디렉토리가 존재하지 않는다며 반드시 생성을 한후에 실행을 해야한다.
또한 이 디렉토리의 퍼미션(permission) 은 반드시 웹서버 프로세스(대부분 nobody)가 읽을 수 있는 퍼미션이어야한다.
실행이 정상적으로 되었다면 후에 결과페이지를 볼 경우에 이 페이지를 로딩하여 보게된다.
, 현재 서버의 IP Address가 192.168.0.5라면 이 개인별 홈페이지를 로딩되도록 아파치의 httpd.conf파일에서 아래와 같은 설정이 되어 있어야한다.
기본셋팅은 www가 아니라 public_html이지만 필자는 www로 변경하여사용을 하였다.
이렇게 설정을 하였다면 웹브라우즈의 주소창에서 확인이 가능하게된다.
혹은 이 서버에 개별적인 도메인이 www.superuser.co.kr 이라고 가정한다면 웹브라우즈에서 다음과 같이 결과를 확인할 수도 있다.
만약 아파치의 httpd.conf에서 가상호스트 설정을 하여 여러개의 독립도메인이 가능하도록 다음과 같은 설정이 되어있다면 독립적인 도메인의 호출또한 가능하게된다.
이렇게 설정이 되어 있다면 다음과 같은 URL로도 결과를 확인할 수 있다.
물론 얼마든지 다른 URL을 이용하여 다양한 로딩방법이 가능하지만 대부분 필자가 소개한 이런 방법등을 통해서 로딩을 하게된다.
참고로 이 결과페이지를 위와 같은 방법으로 웹브라우즈를 통해서 확인할 때에는 대부분 ID와 패스워드로 암호인증을 하여 로그인하여 사용하게 하는 것이 일반적인다.
이 방법에 대해서는 뒤에 이어서 설명되는 "결과페이지 로딩시 암호인증걸기"편을 보기 바란다.
Language
결과출력시 사용할 언어를 지정한다.
MRTG문서를 보면 지원가능한 언어로 danish, french, english, dutch, brazilian, russian, spanish, greek, italian등이 지원되는 것으로 되어있지만 위의 예처럼 korean으로 설정하면 한국어로 결과페이지를 볼 수가 있다.
Refresh
결과페이지를 몇초(second)에 한번씩 재로딩(expire)시킬 것인가를 지정한다.
단위는 초이므로 위의 예처럼 300을 주면 5분마다 웹브라우즈가 재로딩을 하게된다.
만약 이 옵션을 사용하지 않는다면 기본값으로 300이 지정되며  5분마다 재로딩을 하게된다.
너무 작은 값을 주면 불필요하게 서버부하를 줄 수 있으므로 모니터링의 사용빈도등을 고려하여 적당한 값을 주도록 한다.
WithPeak
MRTG는 원래 대상장비의 모니터링된 송수신값의 평균값만으로 그래프를 그리게 되는데 이 옵션을 사용하게되면 daily, weekly, monthly, yearly의 그래프에서 5분주기의 평균값뿐만아니라 최대전송량까지도 함께 표시가된다.
위의 예처럼 일(day),주 (week),월(month),년(year) 4가지의 그래프중에서 원하는 그래프의 첫문자로 지정하면 된다.
Options
기본적으로 MRTG는 Byte for Second단위, bit 단위에 8을 곱한 단위즉 Byte단위를 사용하여 그래프를 그린다.
하지만 Options에서 bits를 사용하게되면 8을 곱하지 않고 bps(bits per second)를 사용하게 된다.
기본값은 byte단위임에 주의하자.
기본적으로 MRTG는 왼쪽에서부터 오른쪽으로 그래프를 그리게 된다.
, 오른쪽 그래프일수록 예전값이 된다는 것이다.
하지만 growright를 사용하게되면 오른쪽가장자리부터 그래프가 그려지기 시작하여 왼쪽으로 갈수록 이전그래프가 되도록 한다.
기본적으로 이 두가지 옵션을 같이 사용하는 경우가 많다.
이외에도 Options에서 지정할 수 있는 값들은 여러 가지가 있는데 "MRTG Configuration File Format편"에서 자세히 살펴보도록 할 것이다.
Traget
미리 말씀드리는데 cfg파일 설정중에서 가장 중요한 옵션이므로 정확한 이해가 요구되는 키워드이다.
먼저 Target에서 지정하는 것은 대상장비의 IP 주소나 도메인주소, 대상포트번호, community name, 장비이름(lable명)등이 있다.
Target이란 옵션의 용도는 한마디로 MRTG를 통해서 모니터링할 대상장비의 설정이라고 할 수 있다.
참고로 MRTG제작회사에서 배포한 MRTG문서의 원문에서는 Target에 대해서 다음과 같이 알리고 있다.
"The Target keyword you tell mrtg what it should monitor"
[ns.kebia.net_2]
이는 대상장비의 이름이라고 할 수 있다.
, 다른 장비들(내의 포트들)을 구분하기위한 방법이며 mrtg실행결과 생성되는 웹페이지의 파일들이 이 이름으로 생성이된다.
, ns.kebia.net_2.html, ns.kebia.net_2.png등과 같이 생성이 되며 따라서 웹페이지를 볼 때에도 이 이름으로 불러봐야한다.
http://traffic.superuser.co.kr/ns.kebia.net_2.html로 웹브라우즈에서 볼러보면 되는 것이다.
2
대상장비(스위치, 라우터등)의 포트번호이다.
즉 라우터나 스위치에서는 하나의 포터만이 있는 것이 아니라 여러개의 포트(4, 8, 16, 24등 다양함)들이 존재하며 MRTG에서는 주로 이 포트들을 대상으로 모니터링을 하게된다.
여기서 public 앞에 붙은 번호는 라우터나 스위치의 모니터링대상 포트이다.
public
이것은 community name이다.
community name이란 SNMP의 일반적인 보안을 위해서 사용하는 인증암호와 같은 것으로 기본값으로 public을 갖는다.
하지만 보안을 위해서는 다른 값으로 설정할 것을 권한다.
대부분 MRTG의 실행에서 에러가 발생하는 원인이 이 community name이 정확하지 않아서 발생하는 에러이다.
ns.kebia.net
이것은 대상장비의 도메인이거나 ip address이면 된다.
, 모니터링하고자 하는 대상을 정확히 구분하기 위하여 대상장비의 ip 또는 도메인을 정확히 입력하면 된다.
우선 여기서는 Target이란 옵션에 대해서 정확히 이해를 하고 넘어가는 것만을 목표로 삼자.
앞으로 수도없이 나올 cfg파일내에서 Target이란 옵션은 반드시 들어가게 될 것이므로.....
Target옵션에을 설정하는 방법에는 다양한 방법이 있으며 이에 대한 설명을 "MRTG Configuration File Format"에서 하게 될 것이므로 이쯤에서 넘어가기로 하자.
SetEnv
환경변수할당의 일종으로서 외부프로그램이나 스크립트등에서 call 되었을 경우에 넘겨줄 변수와 값들을 설정한 것이다.
이 예는 cfgmaker로 cfg파일을 생성했을 경우에 자동생성된 것이며, 이외에도 다음과 같은 설정이 가능하다.
, 위와 같이 cfg파일에 설정이 되어있었을 경우에 외부프로그램이나 스크립트에서 EMAIL값이나 HOST, URL등의 값을 요구했을 때 각각 할당된 값을 넘겨주게 되는 것이다.
이런 외부환경변수 설정은 MRTG를 이용하여 자체적으로 사용하거나 응용프로그램을 개발시에도 주로 참조가 된다.
MaxBytes
대상장비또는 해당포트(라우터나 스위치의경우)의 최대전송가능 byte수를 지정한다.
, 해당포트가 전송가능한 초당 byte수를 지정하면 된다.
만약, 지정한 수치보다 높은 값이 리턴되어 오면 MRTG는 이값은 무시해버린다.
Title
mrtg실행결과 생성되는 html파일의 <title> 제목</title> 부분에 들어가는 "제목"이다.
, 웹브라우즈의 맨위에 나타나는 제목부분에 나타나는 부분이란 의미이다.
주의 할 것은 바로 뒤에 설명되는 PageTop에서 맨 처음나타나는 부분과 Title부분을 혼돈해서는 안된다.
PageTop은 단지 웹페이지의 최상단에 나타낼 내용임을 주지하기 바란다.
PageTop
mrtg실행결과 생성되는 html파일의 최상단에 출력될 내용이다.
몇 개의 라인으로 구성할 수도 있으며 뒤따르는 모든 라인또한 최상단에 이어서 출력되며, 라인과 라인을 구분할 때에는 "\n"을 사용하면 된다.
참고로 위의 결과 생성되는 MRTG 샘플을 보이면 다음과 같다.
위의 예를 보는 바와 같이 PageTop이하의 내용들이 결과 웹페이지내에서 최상단에 출력됨을 알 수 있다 .
따라서 PageTop에 주로 들어가는 내용들은 MRTG로 분석된 결과페이지들의 제목이나 간략한 설명등이 들어가게 된다.
, 현재 보고 있는 페이지의 대상장비나 대상네트웍에 대한 간략한 소개나 구분정도로 해두면 된다.
MRTG에는 이외에도 다양한 옵션들이 많이 있다.
이들 다양한 옵션에 대해서는 "MRTG Configuration File Format"을 보기 바란다.
4. mrtg 초기실행하기
, 이제 MRTG의 cfg에 관련된 설정들이 모두 끝이났다.
이제 해야할 것은 mrtg를 실행을 시켜서 정상적으로 실행이되는가를 확인하는 작업니다.
물론 mrtg는 cron에 등록되어 자동적으로 주어진 주기(일반적으로는 5분에 1회)에 한번씩 실행이 된다 .
하지만, 아직 cron에 등록되기전이므로 지금까지 만든 cfg파일로 mrtg를 실행시켜보자.
처음 실행은 /usr/local/mrtg/bin/에 있는 실행파일인 mrtg를 이용해서 실행토록 하자.
  • 실행파일 : /usr/local/mrtg/bin/mrtg (가능한 절대경로를 사용하는 것이 에러를 줄이는 지름길이 된다.)
  • 환경파일 : /home/mrtg/conf/kebia_1.cfg (지금까지 고생해서 만든 cfg파일)
  • 실행방법 : /usr/local/mrtg/bin/mrtg /home/mrtg/conf/kebia_1.cfg (쉘프롬프트에서 실행)
아래 실행예를 보기 바란다.
위의 예와 같이 똑같은 명령을 모두 3회를 실행시켰는데 처음실행과 두 번째 실행에서 각각 이상한 경고메시지(WARNING)가 발생을 했다.
그리고 세 번째 실행에서는 경고(WARNING) 가 발생하지를 않았다.
개론부분에서 자세히 설명드린 바와같이 MRTG는 각각 실행한 값들의 비교계산한 값들로 그 수치를 얻어내는데, 처음실행과 두 번째 실행에서는 비교값들이 존재하지 않아서 발생한 메시지이므로 이는 처음실행시에 당연히 발생하는 경고로 걱정할 것은 못된다.
세 번째 실행에서는 에러가 발생하지 않았다는 것은 비교할 값들이 존재하므로 정상적인 mrtg 실행수치를 얻어냈다는 것을 의미한다.
, 그럼 실행결과 생성된 결과 파일들을 보도록 하자.
cfg파일내에서 WorkDir의 값을 /home/mrtg/www/kebia_1로 주었으므로 이 위치로 가서 "ls -l"을 한 결과를 보이고 있는 것이다.
유의해서 볼 것 몇가지만 언급하자.
먼저 html파일의 이름(ns.kebia.net_2)이 cfg파일의 Target부분의 "[ ]"에서 지정된 것임을 확인하자.
그리고, 생성된 파일들의 종류를 보면 html, log, old과 같은 파일들임도 확인토록하자.
앞서 설명을 드렸지만, 이제 생성된 결과를 웹브라우즈에서 불러보면 되며 이때에 불러볼 파일명도한 html파일명(ns.kebia.net_2.html)임도 함께 확인토록 하자.
5. 결과확인 및 분석하기
이제 온전한 결과페이지를 확인해 보자.
정상적인 결과페이지가 생성이 되었다면 아래와 같을 것이다  여기 페이지에  ip address 192.168.0.5로 바꿀것..
결과페이지로 생성된 4개의 결과페이지를 간단히 설명하면 다음과 같다.
일간그래프

   - 5분단위 평균값을 기준으로 하여 생성된 그래프
주간그래프
   - 30분 단위 평균값을 기준으로 하여 생성된 그래프
월간그래프
  - 2시간 단위 평균값을 기준으로 하여 생성된 그래프
년간그래프
  - 일일 단위 평균값을 기준으로 하여 생성된 그래프
그래프에서의 파란색
   - 대상장비에서 외부로 송신된(빠져나간) 트래픽량을 나타냄.
그래프에서의 초록색
   - 외부네트웍에서 대상장비로 수신(들어온) 트래픽량을 나타냄.
6. 결과페이지 로딩시 암호인증걸기
여기까지 해서 mrtg의 설정작업이 마무리되었다.
하지만, 이제 정기적인 mrtg실행을 위한 cron작업과 트래픽정보는 보안사항이므로 관계자외에는 보게해서는 안되므로 mrtg 실행결과 생성되는 웹페이지에 암호인증설정을 해야한다.
암호인증설정하는 방법은 여러 가지가 있지만 여기서는 아파치(Apache)제공 유틸리티인 htpasswd를 이용토록 할 것이다.
이책의 뒷부분에 가면 실무프로젝트를 다루었으며 좀더 강화된 보안을 위한 암호인증을 위해 mysql과 php로 웹프로그래밍을 하여 인증하는 방법에 대해서 소개하고 있으므로 참조바란다.
먼저, htpasswd로 암호인증을 위해서는 다음과 같은 것이 필요하다.
  • .htaccess파일생성
  • htpasswd 유틸리티위치확인
  • htpasswd 로 .htpasswd파일 생성하는 방법
.htaccess파일만들기
mrtg실행결과 생성되는 웹페이지파일들이 존재하는 디렉토리(/home/mrtg/www/)에서 다음과 같은 내용을 가진 .htaccess파일을 생성해준다.
주의할 것은 .htaccess파일이 점(.)으로 시작한다는 것이다.
위의 내용을 간단히 설명하면 다음과 같다.
  • AuthName : 트래픽분석 관리자페이지의 적당한 제목을 임의대로 적는다.
  • AuthType : 인증타입은 일반적으로 Basic으로 한다
  • AuthUserFile : ID와 암호가 존재할 위치와파일명
  • AuthGroupFile : 그룹으로 인증확인을 할경우에 그룹인증파일명을 적는다.
  • <Limit> ~ </Limit> : require valid-user 인증이 유효한 사용자만 접근가능토록한 설정
위와 같이 적당한 .htaccess파일을 만들었으면 이제 .htpasswd파일을 만들어줄 차례이다.
먼저 htpasswd라는 유틸리티가 어디에 존재하나를 확인한다.
확인하는 방법은 "which htpasswd"로 하거나 또는 "find / -name htpasswd -print"로 찾아볼 수도 있다.
대부분은 아파치 설치디렉토리 아래의 bin 디렉토리(/usr/local/apache/bin)에 존재하고 있다.
아래와 같이 htpasswd를 처음 실행할 때에는 반드시 -c (create option)을 사용해야 .htpasswd라는 파일이 만들어 진다.
.htpasswd 파일을 생성한 후에 cat 명령어로 정상적으로 ID와 패스워드가 생성이 되었는가를 확인한 것이다.
이제 웹브라우즈를 통해서 이 페이지를 다시 불러보자.
앞에서와는 달리 ID와 패스워드를 입력하라는 창이 뜨게 된다.
이 창에 좀전에 생성했던 ID와 패스워드를 입력해주면 정상적인 접근이 가능하게 된다.
7.cron에 mrtg주기적인 실행 설정하기
 여기까지 오느라 정말 고생이 많았으리라 생각이 된다.
하지만 이제 MRTG의 실행이 모두 정상적으로 이루어 졌으므로 이제 남은 것은 주기적으로(일반적으로 5분간격) MRTG를 실행시키는 작업만이 남아있을 뿐이다.
따라서 모든 cfg파일이 들어있는 mrtg스크립트파일 mrtg.sh 파일을 아래와 같이 만들어서 이 파일을 cron에 등록하기만 하면 된다.
mrtg.sh파일의 내용
이미 설명을 드렸지만 확인하는 의미에서 말씀드린다면 이파일의 위치는 /home/mrtg/bin/mrtg.sh 파일이다.
이제 이 파일을 root의 crontab에 등록을 할 것이다.
crontab이란 주기적으로 어떤 프로그램을 실행시키기 위해서 등록을하는 cron테이블이다.
crontab에 등록을 하기 위해서는 "crontab -e"란 명령어를 아래와 같이 입력하면 현재 사용중인 사용자의 cron설정을 할 수가 있다.
MRTG의 cron은 root로 설정하거나 mrtg계정의 cron에 등록하나 둘중 하나에 하면 된다.
아래와 같이 "crontab -e"를 하게되면 vi모드와 같이 입력을 할 수 있다.
위의 cron설정은 매 5분마다 /home/mrtg/bin/mrtg.sh 스크립트를 실행하게한 설정이다.
이제 crontab에 등록된 내용을 확인해보도록 하자.
확인은 아래의 예와 같이 "crontab -l"을 하면 현재 사용중인 계정의 crontab등록상황을 보여주게 된다 .
 이제 5분마다 mrtg.sh파일에 등록되어 있는 mrtg가 실행이 되어 cfg파일에 설정되어 있는 WorkDir 디렉토리에 mrtg의 결과인 웹파일들을 저장하게된다.  

2012-09-13

FreeBSD] ntop 설치 및 설정


이번에 ntop 설치와 설정에 관한 내용입니다.. 참조하세요..^^;;

참조한 문서들이 있으니.. 부족하다 생각되시면 해당 문서들은 보시기 바랍니다..

(세부 설명은 해당 문서들을 그대로 카피했음을 미리 알려드립니다.. 제가 설명한것보다 잘 되어 있는 것 같아서요..^^)


#############################################################
ntop은 네트워크에서 관련 호스트들과의 관계를 네트워크 트래픽을 통해 모니터링하는 프로그램이다.

사용 방법은 터미널 방식과 웹 방식이 있는데 웹 방식이 보다 관리하기 편하다. 그리고 ntop에서 보고되는 결과 값은 서브네트에서 발생하는 트래픽을 보여주며 적어도 아래와 같은 내용을 체크 할 수 있다.


1) 네트워크의 모든 프로토콜에 대한 송수신
2) 사용되는 프로토콜의 통계 제공
3) 트래픽 통계 제공
4) IP 트래픽
5) 현재 사용되는 세션(TCP)
6) 트래픽 사용 형태(지역 및 원격여부)
7) 패킷 필터링을 통해서 서버쪽에 연결된 세션(session)을 쉽게 확인

#############################################################



참조 문서 : http://tunelinux.pe.kr/tune/tunning-pse/pse-02.html (설명 위주)
http://kltp.kldp.org/stories.php?story=02/04/25/5169083 (설치 위주)

다운 http://snapshot.ntop.org/ 에서 ntop-2.0-src.tgz (안정 버전) 다운


[root@kan ntop]# ./configure
[root@kan ntop]# mkdir /usr/local/man/man1/intop

-----------------------------------------------------------

이것은 make 후 make install시 redhat7.2 에서는 컴파일 과정 automake 때문에 man 페이지를 생성하지 못해 에러가 발생해서 직접 생성한것임


/bin/sh ./mkinstalldirs /usr/local/man/man1
/usr/bin/install -c -m 644 ./intop/intop.1 /usr/local/man/man1/intop/intop.1
/usr/bin/install: cannot create regular file `/usr/local/man/man1/intop/intop.1': 그런 파일이나 디렉토리가 없음


생성 안하고 make install 할 경우 나타나는 에러 문구
-----------------------------------------------------------
[root@kan ntop]# make
[root@kan ntop]# make install

-----------------------------------------------------------

Libraries have been installed in:

/usr/local/lib



If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,--rpath -Wl,LIBDIR' linker flag
- have your system administrator add LIBDIR to `/etc/ld.so.conf'


See any operating system documentation about shared libraries for
more information, such as the ld(1) and ld.so(8) manual pages.
----------------------------------------------------------



[root@kan ntop]# mkdir /home/kan/html/ntop_conf
[root@kan ntop]# /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 해당아이피 -d



Wait please: ntop is coming up...
15/Jun/2002 13:51:36 Initializing IP services...
15/Jun/2002 13:51:36 Initializing SSL...
15/Jun/2002 13:51:36 Unable to find SSL certificate 'ntop-cert.pem'. SSL support has been disabled

15/Jun/2002 13:51:36 Bye bye: I'm becoming a daemon...



SSL에서 에러가 발생하면.. ntop-cert.pem 을 카피해서 해당 디비 밑으로 이동하면 된다..

[root@kan bin]# pwd
 /usr/local/bin
[root@kan bin]# cp ntop-cert.pem /home/kan/html/ntop_conf/



다시 실행을 하면..

Wait please: ntop is coming up...

15/Jun/2002 14:02:33 Initializing IP services...
15/Jun/2002 14:02:33 Initializing SSL...
15/Jun/2002 14:02:33 SSL initialized successfully
15/Jun/2002 14:02:33 Bye bye: I'm becoming a daemon..

정상적으로 스타팅이 되는것을 볼수 있을것이다..



-w: http 프로토콜의 포트번호
-W: ssl 로 띄울 포트번호
-P: ntop 이 시작될때 생성되는 db 화일이 존재할 디렉토리..꼭 이 옵션을 줘야 함.
-r: refresh 시간입니다. default 는 3초
-m: 모니터링할 네트웍 대역폭.
-d : 는 데몬으로 띄운다는 거죠..처음에 실행하실때는 데몬으로 띄우지 마시고 그냥 띄우면서 어떻게 뜨는지 확인해 보시는 것도 좋을것



웹상에서 https://aaa.co.kr:3000 입력하면 ntop 의 막강한 기능을 웹상에서 볼수 있을 것이다..



ntop의 웹 페이지는 /usr/local/share/ntop/html 이곳에 있다.. ($NTOP_PREFIX/share/ntop/html )


-------------------------------------------------------------

텔넷 모드

ntop은 텔넷 모드를 이용하여 그 순간에 발생되는 트래픽에 대해 쉽게 트래픽을 얻을 수 있다. 터미널 모드는 관리자의 핫키를 선택함으로써 그 값을 얻을 수 있다. 'r'키를 선택하면 통계 데이타를 리셋하게 된다. 'n'키를 선택하게 되면 장비와 장비 주소(Mac address) 그리고 일반 호스트 값을 얻을 수 있으며  'p'키를 선택하면 각 인터페이스 카드에서 받은 트래픽 양을 볼 수 있다. 'l'을 선택하게 되면 현재 호스트 들의 값을 보여주며 'd'는 idle 상태에서 송수신으로 되는 비율을 나타내고 't'는 송수신량에 대해 분류하여 제공한다. 'y'는 각 컬럼을 소트하여 보여주고 일반 스페이스는 각 호스트별 네트워크 사용량을 체크 할 수 있다. 위와 같은 방법을 이용하면 쉽게 터미널 모드에서 원하는 통계 값을 얻을 수 있다.

------------------------------------------------------------


참고 rrdtool 을 사용해서 mrtg 처럼 시간대별로 그래픽화 할수 있다고 함..


[root@kan html]# ps -ax

19612 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19613 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19614 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19615 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19616 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19617 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19618 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19619 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19620 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19621 ? S 0:03 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19622 ? S 0:00 /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d

19970 pts/2 R 0:00 ps -ax

[root@kan html]# kill -9 19612 <== 프로세스 죽일시 맨 위에거 하나만 죽이면 다 죽음..



[root@kan bin]# /usr/local/bin/ntop -W 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d -u kan

Wait please: ntop is coming up...

15/Jun/2002 15:00:44 Initializing IP services...
15/Jun/2002 15:00:44 Initializing SSL...
15/Jun/2002 15:00:44 SSL initialized successfully
15/Jun/2002 15:00:44 Bye bye: I'm becoming a daemon...


[root@kan bin]# /usr/local/bin/ntop -w 3000 -P /home/kan/html/ntop_conf -r 180 -i eth0 -m 12.34.56.78 -d


-W 3000 옵션으로 https:// 를 사용하려고 하였으나 실행시

17/Jun/2002 11:48:56 listen error.

에러가 발생하여.. 사용을 안하고 -w 3000 으로 그냥 http 에서 관리하기로 함..



인증을 하려면.. admin->user에 사용자를 하나 추가하고.. urls 에 전제 경로를 해 주면 된다..



#################################################################
부연 설명
#################################################################



ㅇ Data Rcvd/Data Sent

현재 네트워크에서 주고 받은 네트워크 트래픽을 각 호스트별, 프로토콜별로 모니터링할 수 있고 각 호스트별로 총처리량을 알 수 있다. 호스트명을 클릭하면 해당 호스트에 대한 정보가 나온다. 여기에는 트래픽 일반정보, IP 프로토콜 분포, 연결되어 있는 각 호스트 정보, ip 서비스/포트 사용 현황, IP 세션 히스토리, 활성화되어 있는 TCP 세션 등에 대한 정보를 알 수 있다.



ㅇ Stats

전반적인 네트워크에 대한 통계를 볼 수 있다. 멀티캐스트 통계, 전체 트래픽 현황, 프로토콜별 현황, IP 프로토콜 현황, 호스트별 대역폭 사용량, 최근의 네트워크 평균 처리량 등에 대한 정보를 알 수 있다.



ㅇ IP Traffic/IP Protocols

IP 트래픽은 원격에서 로컬로, 로컬에서 원격으로, 로컬에서 로컬로 IP 트래픽이 어떻게 사용되었는지에 대한 내용을 보여준다. 또한 IP 서브넷별 트래픽 현황을 보여준다. IP 프로토콜은 IP 트래픽을 개별 프로토콜별로 나누어서 상세히 보여준다. 이를 통하여 트래픽 유형이 어떻게 진행되고 있는지에 대하여 상세하게 알 수 있다. 내부 트래픽이 많은지 아니면 내부와 외부 트래픽이 많은지, 각 트래픽별로 어떠한 프로토콜을 많이 사용하고 있는지 분석할 수 있다.

-------------------------------------------------------------

참고로 Data Rcvd-NetFlows 에는 위의 기본설정으로 시작하면 아무런 내용도 나오지 않을 것이다. ?F 옵션을 이용하여 특정할 룰에 맞는 패킷에 대해서 볼 수가 있다. 아래 예제는 love 또는 taejun 이라는 호스트, 그리고 db 라는 호스트에 대한 트래픽 현황을 보기 위한 것이다.



# ntop -w 3000 -F "love='host love or taejun',db='host db'"



Ntop에서 사용하는 필터 옵션은 tcpdump와 유사하며 이에 대해서는 “BPF Packet Filtering Expressions”라는 내용을 참고해야 한다. Ntop에 대한 자료가 아직은 부족한 편이고 맨 페이지도 간략하게만 나와있는데 이에 대한 문서는 ntop 사이트에서 Docs메뉴에 가면 “User's guide (draft and outdated [any volunteer out there?])” 에서 다운받아 사용하면 된다. 여러가지 예제들이 많이 있고 그나마 자세하게 ntop에 대해서 설명하고 있으므로 ntop에 관심이 있다면 많은 도움이 될 것이다.

-------------------------------------------------------------

위에서 본바와 같이 ntop은 네트워크 전반에서 발생하고 있는 트래픽 형태를 파악할 수 있으며 네트워크에 문제가 생길 경우 이에 대한 상세한 기초자료가 될 수 있다.

Ping이나 traceroute 등의 프로그램을 이용해서는 연결과 관련된 단편적인 정보만 알 수 있을 뿐이며 MRTG는 전체적인 트래픽만 확인할 수 있다.

Ntop을 이용하면 예를 들어 특정한 호스트에 백도어나 크래킹 툴이 설치되어 있는 경우 크래킹 당한 호스트를 통해 외부 공격을 하게되고 이로 인해 네트워크의 트래픽이 증가할 수 있는데 이러한 경우 주기적으로 결과를 모니터링해서 평소와 다른 트래픽 유형을 보인다면 쉽게 문제를 파악할 수 있다.

불필요하게 사용되고 있는 프로토콜은 제한을 하여 네트워크 용량을 절약할 수 있으며 이러한 트래픽 결과를 가지고 분석하여 효율적으로 네트워크를 재설계하는데 도움이 될 수 있다.