Azure Network Watcher 및 오픈 소스 도구를 사용하여 네트워크 침입 검색 수행

패킷 캡처는 IDS(네트워크 침입 감지 시스템)를 구현하고 네트워크 보안 모니터링을 수행하기 위한 핵심 구성 요소입니다. 여러 오픈 소스 IDS 도구는 패킷 캡처를 처리하고 가능한 네트워크 침입 및 악의적인 활동의 서명을 찾습니다. Azure Network Watcher에서 제공하는 패킷 캡처를 사용하여 네트워크를 분석하여 유해한 침입 또는 취약성을 분석할 수 있습니다.

이러한 오픈 소스 도구 중 하나는 규칙 집합을 사용하여 네트워크 트래픽을 모니터링하고 의심스러운 이벤트가 발생할 때마다 경고를 트리거하는 IDS 엔진인 Suricata입니다. Suricata는 속도와 효율성을 높이며 네트워크 트래픽 분석을 수행하는 다중 스레드 엔진을 제공합니다. Suricata 및 해당 기능에 대한 자세한 내용은 Suricata 웹 사이트이동하세요.

시나리오

이 문서에서는 Network Watcher, Suricata 및 Elastic Stack을 사용하여 네트워크 침입 검색을 수행하도록 환경을 설정하는 방법을 설명합니다.

Network Watcher는 네트워크 침입 검색을 수행하기 위한 패킷 캡처를 제공합니다. Suricata는 패킷 캡처를 처리하고 해당 규칙 위협 집합과 일치하는 패킷을 기반으로 경고를 트리거합니다. Suricata는 이러한 경고를 로컬 컴퓨터의 로그 파일에 저장합니다.

Elastic Stack을 사용하여 Suricata에서 생성하는 로그를 인덱싱한 다음 이를 사용하여 Kibana 대시보드를 만들 수 있습니다. 대시보드는 로그를 시각적으로 표현하고 잠재적인 네트워크 취약성에 대한 인사이트를 빠르게 얻을 수 있는 방법을 제공합니다.

Diagram that shows a simple web application scenario.

Azure VM(가상 머신)에서 두 오픈 소스 도구를 모두 설정할 수 있으므로 사용자 고유의 Azure 네트워크 환경 내에서 이 분석을 수행할 수 있습니다.

Suricata 설치

  1. VM의 명령줄 터미널에서 다음 명령을 실행합니다.

    sudo add-apt-repository ppa:oisf/suricata-stable
    sudo apt-get update
    sudo apt-get install suricata
    
  2. 설치를 확인하려면 suricata -h 명령을 실행하여 전체 명령 목록을 확인합니다.

다른 설치 방법은 Suricata 설치 빠른 시작 가이드를 참조 하세요.

새로운 위협 규칙 집합 다운로드

이 단계에서는 Suricata를 실행할 규칙이 없습니다. 네트워크에 대한 특정 위협을 감지하려는 경우 고유한 규칙을 만들 수 있습니다. 새로운 위협 또는 Snort의 Talos 규칙과 같은 다양한 공급자의 개발된 규칙 집합을 사용할 수도 있습니다. 이 문서에서는 자유롭게 사용할 수 있는 새로운 위협 규칙 집합을 사용합니다.

규칙 집합을 다운로드하고 디렉터리에 복사합니다.

wget https://rules.emergingthreats.net/open/suricata/emerging.rules.tar.gz
tar zxf emerging.rules.tar.gz
sudo cp -r rules /etc/suricata/

Suricata를 사용하여 패킷 캡처 처리

Suricata를 사용하여 패킷 캡처를 처리하려면 다음 명령을 실행합니다.

sudo suricata -c /etc/suricata/suricata.yaml -r <location_of_pcapfile>

결과 경고를 검사 fast.log 파일을 읽습니다.

tail -f /var/log/suricata/fast.log

탄력적 스택 설정

Suricata에서 생성하는 로그에는 네트워크에서 발생하는 일에 대한 중요한 정보가 포함되어 있지만 이러한 로그 파일은 읽고 이해하기 쉬운 것이 아닙니다. Suricata를 Elastic Stack과 연결하여 Kibana 대시보드를 만들어 로그에서 인사이트를 검색, 그래프, 분석 및 파생할 수 있습니다.

Elasticsearch 설치

  1. Elastic Stack 버전 5.0 이상에는 Java 8이 필요합니다. java -version 명령을 실행하여 버전을 확인합니다. Java가 설치되어 있지 않은 경우 Azure에서 지원하는 Java 개발 키트에 대한 설명서를 참조 하세요.

  2. 시스템에 맞는 이진 패키지를 다운로드합니다.

    curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.0.deb
    sudo dpkg -i elasticsearch-5.2.0.deb
    sudo /etc/init.d/elasticsearch start
    

    Elasticsearch를 설치하기 위한 다른 설치 방법은 Elastic 웹 페이지에서 찾을 수 있습니다.

  3. 다음 명령을 사용하여 Elasticsearch가 실행되고 있는지 확인합니다.

    curl http://127.0.0.1:9200
    

    다음 예제와 유사한 응답을 받아야 합니다.

    {
    "name" : "Angela Del Toro",
    "cluster_name" : "elasticsearch",
    "version" : {
        "number" : "5.2.0",
        "build_hash" : "8ff36d139e16f8720f2947ef62c8167a888992fe",
        "build_timestamp" : "2016-01-27T13:32:39Z",
        "build_snapshot" : false,
        "lucene_version" : "6.1.0"
    },
    "tagline" : "You Know, for Search"
    }
    

Elasticsearch 설치에 대한 자세한 지침은 설치에 대한 Elastic 웹 페이지를 참조하세요.

Logstash 설치

  1. 다음 명령을 실행하여 Logstash를 설치합니다.

    curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-5.2.0.deb
    sudo dpkg -i logstash-5.2.0.deb
    
  2. eve.json 파일의 출력에서 읽도록 Logstash를 구성합니다. 다음 명령을 사용하여 logstash.conf 파일을 만듭니다.

    sudo touch /etc/logstash/conf.d/logstash.conf
    
  3. 파일에 다음 내용을 추가합니다. eve.json 파일의 경로가 올바른지 확인합니다.

    input {
    file {
        path => ["/var/log/suricata/eve.json"]
        codec =>  "json"
        type => "SuricataIDPS"
    }
    
    }
    
    filter {
    if [type] == "SuricataIDPS" {
        date {
        match => [ "timestamp", "ISO8601" ]
        }
        ruby {
        code => "
            if event.get('[event_type]') == 'fileinfo'
            event.set('[fileinfo][type]', event.get('[fileinfo][magic]').to_s.split(',')[0])
            end
        "
        }
    
        ruby{
        code => "
            if event.get('[event_type]') == 'alert'
            sp = event.get('[alert][signature]').to_s.split(' group ')
            if (sp.length == 2) and /\A\d+\z/.match(sp[1])
                event.set('[alert][signature]', sp[0])
            end
            end
            "
        }
    }
    
    if [src_ip]  {
        geoip {
        source => "src_ip"
        target => "geoip"
        #database => "/opt/logstash/vendor/geoip/GeoLiteCity.dat"
        add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
        add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
        }
        mutate {
        convert => [ "[geoip][coordinates]", "float" ]
        }
        if ![geoip.ip] {
        if [dest_ip]  {
            geoip {
            source => "dest_ip"
            target => "geoip"
            #database => "/opt/logstash/vendor/geoip/GeoLiteCity.dat"
            add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
            add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
            }
            mutate {
            convert => [ "[geoip][coordinates]", "float" ]
            }
        }
        }
    }
    }
    
    output {
    elasticsearch {
        hosts => "localhost"
    }
    }
    
  4. Logstash가 파일을 수집할 수 있도록 eve.json 파일에 올바른 권한을 부여합니다.

    sudo chmod 775 /var/log/suricata/eve.json
    
  5. 다음 명령을 실행하여 Logstash를 시작합니다.

    sudo /etc/init.d/logstash start
    

Logstash 설치에 대한 자세한 지침은 공식 Elastic 설명서를 참조 하세요.

Kibana 설치

  1. 다음 명령을 실행하여 Kibana를 설치합니다.

    curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-5.2.0-linux-x86_64.tar.gz
    tar xzvf kibana-5.2.0-linux-x86_64.tar.gz
    
  2. 다음 명령을 사용하여 Kibana를 실행합니다.

    cd kibana-5.2.0-linux-x86_64/
    ./bin/kibana
    
  3. 로 이동하여 Kibana 웹 인터페이스를 http://localhost:5601봅니다.

    이 시나리오의 경우 Suricata 로그에 사용되는 인덱스 패턴은 다음과 같습니다 logstash-*.

  4. Kibana 대시보드를 원격으로 보려면 포트 5601에 대한 액세스를 허용하는 NSG(인바운드 네트워크 보안 그룹) 규칙을 만듭니다.

Kibana 대시보드 만들기

이 문서에서는 경고의 추세 및 세부 정보를 볼 수 있는 샘플 대시보드를 제공합니다. 이를 사용하려면:

  1. 대시보드 파일, 시각화 파일저장된 검색 파일을 다운로드합니다.

  2. Kibana의 관리 탭에서 저장된 개체이동하여 세 개의 파일을 모두 가져옵니다. 그런 다음 대시보드 탭에서 샘플 대시보드를 열고 로드할 수 있습니다.

원하는 메트릭에 맞게 조정된 고유한 시각화 및 대시보드를 만들 수도 있습니다. Kibana의 공식적인 설명서에서 Kibana 시각화 만들기에 대해 자세히 알아보세요.

Screenshot that shows a Kibana dashboard.

IDS 경고 로그 시각화

샘플 대시보드는 Suricata 경고 로그에 대한 다양한 시각화를 제공합니다.

  • GeoIP별 경고: 지리적 위치(IP에 따라 결정됨)에 따라 해당 국가/원본 지역별 경고 분포를 보여 주는 맵입니다.

    Screenshot shows a map for geographic IP alerts.

  • 상위 10개 경고: 가장 자주 트리거되는 10개 경고 및 해당 설명에 대한 요약입니다. 개별 경고를 선택하면 대시보드가 해당 특정 경고와 관련된 정보로 필터링됩니다.

    Screenshot that shows the most frequently triggered alerts.

  • 경고 수: 규칙 집합이 트리거한 총 경고 수입니다.

    Screenshot shows the number of alerts.

  • 상위 20개 ScrIP - 경고, 상위 20개 DestIP - 경고, 상위 20개 SrcPort - 경고, 상위 20개 DestPort - 경고: 상위 20개 IP 및 경고가 트리거된 포트에 대한 원본 및 대상을 표시하는 원형 차트입니다. 특정 IP 또는 포트를 필터링하여 트리거되는 경고의 수와 종류를 확인할 수 있습니다.

    Screenshot that shows pie charts of the top 20 IPs and ports that alerts were triggered on.

  • 경고 요약: 각 경고의 특정 세부 정보를 요약하는 테이블입니다. 각 경고에 대해 관심이 있는 다른 매개 변수를 보여 주도록 이 표를 사용자 지정할 수 있습니다.

    Screenshot shows a summary table with details about individual alerts.

사용자 지정 시각화 및 대시보드를 만드는 방법에 대한 자세한 내용은 Kibana의 공식 설명서를 참조 하세요.

결론

Network Watcher의 패킷 캡처와 Suricata와 같은 오픈 소스 IDS 도구를 결합하여 광범위한 위협에 대한 네트워크 침입 검색을 수행할 수 있습니다.

대시보드를 사용하면 네트워크 내에서 추세 및 변칙을 빠르게 파악할 수 있습니다. 대시보드를 사용하여 데이터를 검사하여 악의적인 사용자 에이전트 또는 취약한 포트와 같은 경고의 근본 원인을 검색할 수도 있습니다. 이 추출된 데이터를 사용하여 다음 방법에 대한 정보에 입각한 결정을 내릴 수 있습니다.

  • 유해한 침입 시도로부터 네트워크에 대응하고 보호합니다.
  • 네트워크에 대한 향후 침입을 방지하는 규칙을 만듭니다.

다음 단계

경고를 기반으로 패킷 캡처를 트리거하는 방법을 알아봅니다.