1

經濟部九十年度科技專案國家資通安全技術服務計劃 入侵偵測系統簡介

陳培德國立成功大學電機所博士候選人TEL ： (06)2757575-62400-675

E-Mail ： peder@crypto.ee.ncku.edu.tw

URL ： http://crypto.ee.ncku.edu.tw

2

Outline 入侵偵測系統原理 IDS v.s. Firewall System IDS 的分類 網路式入侵偵測系統的安置 二個 IDS 實例介紹 網路保全系統 結論

3

入侵與入侵偵測 入侵指試圖破解資訊資源的可用性、保密性和完整性的行動。一般來說，入侵偵測指用以偵測入侵行動的方法。這包括偵測擅自闖入系統的入侵者或誤用系統資源的用戶。 入侵偵測是在一個電腦台系統或者網路中監控入侵的發生，其定義為試圖損害祕密性，完整性，有效性的入侵特徵，並分析他們的入侵事件的過程，或者繞過網路的安全機制的行為。

4

入侵偵測系統與原理 入侵偵測系統是一種監控工具，大都以解讀網路封包與系統日誌內容、網路流量或流向等方式來即時偵測、回報與反應可疑入侵情事，進而適時提出警訊。 入侵偵測系統 ( IDSs ) 是使在電腦系統或者網路中自動化監控事件發生過程作的軟體或者硬體，並攻擊的特性加以分析。 入侵偵測系統亦可用來進行企業內部相關安全性弱點檢測

5

入侵偵測系統的要求 應具備

可更新入侵辨識資料庫 簡易之管理與設定介面 具執行時自身隱藏 (passive monitors) 等功能

即時入侵偵測的功能原理圖

使用者目前的操作

攻擊檢測

攻擊 ?

繼續監測使用者的歷史行為專家系統類神經網路模型NO

YES

中斷連線紀錄其攻擊證據恢復受攻擊的資料

7

IDS 的重要性 防止防火牆和作業系統與應用程式的設定不當 偵測某些被防火牆認為是正常連線的外部入侵 了解和觀察入侵的行為企圖，並蒐集其入侵方式的資訊 監測內部使用者的不當行為

8

IDS v.s. Firewall System 防火牆的弱點

防火牆只能抵檔外部來的入侵行為 防火牆本身可能也存在弱點，以及其他安全性的設定錯誤 即使透過防火牆的保護，合法的使用者仍會非法的使用系統，甚至提昇自己的權限 防火牆僅能拒絕非法的連線請求，但是對於入侵者的攻擊行為仍一無所知

9

IDS 的分類 根據資料蒐集的型態區分

Network-Based IDS Host-Based IDS Application-Based IDS

根據所使用的偵測方式區分 Misuse IDS Anomaly IDS

10

以資料蒐集型態區分 Network-Based IDS

以分析網路封包為主 事先預警

Host-Based IDS 以分析 Logs 為主 事後分析

Application-Based IDS 使用 Application Logs 較易受攻擊

11

Network-Based IDS 網路型式的入侵偵測系統以原始網路封包作為資料來源，它通常運用網路卡於“ promiscuo

us mode” 來偵測及分析所有過往的網路通訊 當偵測到有駭客行為時，防衛系統可採多種反應方式應對，各家產品有不同的應對方式，不過，通常都有提供通知管理者、切斷連線或記錄入侵資料作為法院的證據等

12

網路型式入侵偵測系統的優點 成本較低 可偵測到主機型式入侵偵測系統偵測不到的 駭客消除入侵證據較困難 可偵測到未成功或惡意的入侵攻擊 與作業系統無關

13

網路型式入侵偵測系統的缺點 若網路的型態過大， NIDS往往會 lost掉許多封包，無法完全監控網路上所有流通的封包數 若要擷取大型網路上的流量並分析，往往需要更有效率的 CPU處理速度，以及更大的記憶體空間

14

網路型式入侵偵測系統的缺點 (cont.) 如果封包是已經經由加密過的，則 NIDS就無法調查其中的內容。如此一來，可能會錯失包含在封包中的某些攻擊資訊 Network-based IDS 無法偵測目前是哪一個使用者正坐在主機前面使用該主機

15

Host-Based IDS 主機型式入侵偵測系統發展始於 80 年代早期，當時網路環境不像現在這樣複雜、交錯及普遍，在單純的主機環境中，通常只觀察、稽核系統日誌檔是否有惡意的行為，入侵行為很少，也只作“事後分析”以防止類似事件再發生。

16

Host-Based IDS (cont.) 主機型式入侵偵測系統目前仍是很好的工具，使用稽核日誌檔的技術，但是並納入複雜的偵測反應技術。 主機型式入侵偵測系統在 Window NT環境下通常監測系統，事件及安全日誌檔，在 UNIX環境下，是監測系統日誌。當有事件發生時，它即會作入侵行為的比對，若有符合，即會採取警示系統管理員其它適當的反應。

17

Host-Based IDS (cont.) 主機型式入侵偵測系統也引用新的技術，較常見的是監測重要的系統檔案或執行檔，在正常的時間內是否有不正常行為發生，以採取適當的反應。

18

主機型式 IDS 的優點 確定駭客是否成功入侵 監測特定主機系統的活動 補救網路型式 IDS 錯失偵測的入侵事件 較適合有加密及網路交換器﹝ Switch﹞的環境 近於即時（ Near realtime）的偵測與反應 不需另外增加硬體設備

19

主機型式 IDS 的缺點 所有的主機可能安裝不同版本或完全不同的作業平台，而這些作業系統有各種不同的稽核紀錄檔，因此必須針對各不同主機安裝各種 HID

S 如果入侵者可能經由其他系統漏洞入侵系統並得到系統管理者的權限，那麼將會導致 HIDS失去其效用 Host-based IDSs 可能會因為 denial-of-servic

e 而失去作用

20

主機型式 IDS 的缺點 (cont.) Host-based IDSs 並不能用來做網路的監測與掃描主機所在的整個網域，因為

HIDSs 僅能看到經由該主機所接收到的網路封包資訊 由於當 Host-based IDSs處於監測狀態時也是消耗該主機的系統資源，因此可能會影響被監測主機本身的效能

21

Network-Based 與 Host-Based IDS 之比較 共同點是不論是那種型式，他們「大都」是使用“入侵比對”（ attack signa

tures ）方法，來判斷是否為駭客行為 入侵偵測與預警機制比較 環境限制之比較

22

入侵偵測與預警機制比較 Network-Based IDS 會檢測所有的原始網路封包 Header 以及使用的指令及語法，以判別是否為駭客行為，所以能在偵測攻擊行為的同時，就進行反制作為或提早預警 Host-Based IDS 則以檢查系統日誌檔中確實發生的事件（包括檔案存取、嘗試加入新的執行檔及嘗試使用某特殊系統服務等），能比網路型式 IDS 更精確無誤的衡量駭客是否已經入侵成功，屬事後分析。

23

環境限制之比較 Network-Based IDS 可策略性運用來觀察特定網段或含有多種不同電腦主機所在的網路通訊環境，但不適合有加密及網路交換器（ Switch ）的環境 Host-Based IDS 則是安裝在重要的特定主機上，所以沒有上述之限制

24

25

Application-Based IDSs Application-Based IDSs 是在軟體應用之內分析事件的 Host-Based IDSs 的一特別子集。 對應用界面的能力， 以包括在分析發動機裡的重要領域或者應用專門的知識， 直接允許 Application-Based IDSs 由於超過他們的授權的批准的用戶探查懷疑行為。

26

根據偵測方式的不同區分 Misuse Detection

Anomaly Detection

27

Misuse Detection 採負面表列。 累積已知攻擊行為特徵 (attack pattern) ，符合樣式者表異常 此種技術通常適合偵測如 root 權限被入侵、系統日誌檔被異動或病毒碼程式植入等攻擊 亦會因為正常之行為中有攻擊行為特徵而被誤解為有攻擊行為

28

Advantages of Misuse Detection Misuse detectors are very effective at detecting

attacks without generating an overwhelming number of false alarms.

Misuse detectors can quickly and reliably diagnose the use of a specific attack tool or technique. This can help security managers prioritize corrective measures.

Misuse detectors can allow system managers ， regardless of their level of security expertise ， to track security problems on their systems ， initiating incident handling procedures.

29

Disadvantages of Misuse Detection Misuse detectors can only detect those attack

s they know about – therefore they must be constantly updated with signatures of new attacks.

Many misuse detectors are designed to use tightly defined signatures that prevent them from detecting variants of common attacks. State-based misuse detectors can overcome this limitation ， but are not commonly used in commercial IDSs.

30

Anomaly Detection 採正面表列 正面表列規範網路正常行為，凡不在此正常行為範圍者都視為異常 常造成誤判而拒絕正常網路連線

31

Advantages of Anomaly Detection IDSs based on anomaly detection detec

t unusual behavior and thus have the ability to detect symptoms of attacks without specific knowledge of details.

Anomaly detectors can produce information that can in turn be used to define signatures for misuse detectors.

32

Disadvantages of Anomaly Detection Anomaly detection approaches usually

produce a large number of false alarms due to the unpredictable behaviors of users and networks.

Anomaly detection approaches often require extensive “training sets” of system event records in order to characterize normal behavior patterns.

33

Network-Based IDSs 的安置 Location 1: Behind each external

firewall ， in the network DMZ Location 2: Outside an external firewall Location 3: On major network

backbones Location 4: On critical subnets

34

Location 1Advantages Sees attacks ， originating from the outside

world ， that penetrate the network’s perimeter defenses.

Highlights problems with the network firewall policy or performance

Sees attacks that might target the web server or ftp server ， which commonly reside in this DMZ

Even if the incoming attack is not recognized ， the IDS can sometimes recognize the outgoing traffic that results from the compromised server

35

Location 2Advantages Documents number of attacks

originating on the Internet that target the network.

Documents types of attacks originating on the Internet that target the network

36

Location 3Advantages Monitors a large amount of a network’s

traffic ， thus increasing the possibility of spotting attacks.

Detects unauthorized activity by authorized users within the organization’s security perimeter.

37

Location 4Advantages Detects attacks targeting critical

systems and resources. Allows focusing of limited resources to

the network assets considered of greatest value.

38

兩種網路式入侵偵測系統實例 成大密碼與網路安全研究室所發展的兩種 Network-based IDS

RD-NIDS (Distributed Network Intrusion Detection System with the Reconnaissance ability )

Neuro-IDS(Neural Network based Intrusion Detection System)

39

RD-NIDS 的架構R econ n aiss.

A gen tC I D ML I D E

Packetcatcher

Packetparser

Prim aryinference

engine

Intrusionsignaturedatabase

configurator

R D -N I D S

Recinnaiss.launching

agent

Reconnaiss.functions

Inform ationreceiver

Intrusionsignaturedatabase

configurator

Networkfact

databaseconfigurator

Advancedinference

engine

Alertm anager

40

Pack etcap tu rin g/Fi l terim g

Request forauthenticat.

V eri fy th eid en tifi cation

of C I D M

I n form ationen cry p tion

E xtract th esession k ey

C I D M E nd L I D E E nd

L I D E I S Dcon fi gu ration

P attern M atchtestin gE n cryp ted

I n form ationreceived

N FDcon fi gu ration

C I D M I S Dcon fi gu ration

A d van cedin tru siond etecti on

R econ n aiss.lau n ch in g

A lertm an agem en t

T C P /I Pd em u ltip lex

S ession k eygen erat, an d

en cryp t.

S ign I D L I D E an den cryp t th esign atu re

P rim ary in tru siond etction

D ercry p tion

SYSTEM OPERATION

41

Administrationnetwork

Subnet 3

L I D E 3

ServerW orkStation

PC

Subnet 1

W orkStation

PC

Server

L I D E 1

Gateway or Hub

Subnet 2

W orkStation

L I D E 2PC

Server

Subnet 4

Server

PCL I D E 4

WorkStation

Gateway or Hub

C I D M an dR econ n aissan ce

A gen t

Gateway or Hub

Internet

M onitoring DataNetwork Flow

Intrusion Network FlowFrom Outside

Intrusion InfromationNetwork Flow Log into

Network M anage. CenterIntrusion Network Flow

From Inside

42

RD-NIDS NSM DIDS NetSTAT Distributed Architecture

X

Secure Communication

X X X

Active Response

X X X

Intrusion Detection Mechanisms

RD-NIDS

In LIDE, the pattern matching ID is based on pattern matching mechanism that compares the network packets to existing intrusion signatures to detect the deterministic intrusions. In CIDM, both the pattern matching mechanisms and statistical approaches are applied. The pattern matching mechanisms compares the reduced data from LIDEs to known advanced intrusion signatures. Also the statistical approach is applied in CIDM to detect the ambiguous intrusions such as the distributed information intrusions and the distributed denial of service intrusions.

NSM NSM applies a simple expert system combining current traffic and expected traffic behavior to detect anomalous behavior on the network

DIDS DIDS applies a rule-based expert system derived from a hierarchical intrusion detection model. A collection of managers such as host managers and LAN manager collects suspicious data and transfer them to the central manager so that the expert system can further analyze the suspicious data to detect the intrusions.

NetSTAT The NetSTAT approach extends the state transition analysis technique to network-based intrusion detection in order to represent attack scenarios in a networked environment.

COMPARISONS OF EXISTING IDSs

43

# x86 named buffer overflow alert tcp any any -> 140.116.163.24/24 53 (msg:"named Buffer Overflow!"; content:"|CD80 E8D7 FFFF FF|/bin/sh"; flags: PA;)

# New buffer overflows submitted by Martin Markgraf alert tcp any any -> 140.116.163.24/24 110 (msg:"QPOP Buffer Overflow!"; content:"|E8 D9FF FFFF|/bin/sh"; flags: PA;)

# CGI Probes alert tcp any any -> 140.116.163.24/24 80 (msg:"PHF CGI access attempt"; content:"/cgi-bin/phf"; flags: PA;)

alert tcp any any -> 140.116.163.24/24 80 (msg:"PHP CGI access attempt"; content:"/cgi-bin/php.cgi"; flags: PA;)

# Backdoor Default Ports (not useful on networks with outgoing traffic) alert udp any any -> 140.116.163.24/24 31 (msg:"Hackers Paradise";)

alert udp any any -> 140.116.163.24/24 456 (msg:"Hackers Paradise";)

[**]TELNET - Login Incorrect [**] 06/04-17:39:45.053124 140.116.5.20:23 140.116.163.233:4037

TCP TTL:253 TOS:0x0 ID:25397 DF

***PA* Seq: 0x92E1F38F Ack: 0xD11AC097 Win: 0x2238

RD-NIDS 的偵測實例

44

# look for stealth port scans/sweeps alert tcp any any -> 140.116.163.24/24 any (msg:"SYN FIN Scan"; flags: SF;)

alert tcp any any -> 140.116.163.24/24 any (msg:"FIN Scan"; flags: F;)

# detect fingerprinting attempts alert tcp any any -> 140.116.163.24/24 any (msg:"Possible NMAP Fingerprint attempt"; flags: SFPU;)

alert tcp any any -> 140.116.163.24/24 any (msg:"Possible Queso Fingerprint att\empt"; flags: S12;)

adv-signature portscan : 140.116.163.24/24 7 2 /var/log/portscan.log

05/29-07:25:49.053356 [**]portscan status from 140.116.163.233: 917 connects across 2 hosts: TCP(917), UDP(0) [**] 05/29-07:25:52.052618 [**]portscan status from 140.116.163.233: 887 connects across 2 hosts: TCP(887), UDP(0) [**]

RD-NIDS 的偵測實例 (cont.)

45

Interesting ports on (140.116.163.232): Port State Protocol Service

21 open tcp ftp 23 open tcp telnet 25 open tcp smtp 53 open tcp domain 79 open tcp finger 111 open tcp sunrpc 513 open tcp login 514 open tcp shell 1023 open tcp unknown 6000 open tcp X11

TCP Sequence Prediction: Class=random positive increments

Difficulty=8572 (Worthy challenge)

Remote operating system guess: FreeBSD 2.2.1 - 3.2

RD-NIDS的反偵測掃描

46

Neuro IDS 原理

Multilayer perceptron (MLP) with back-propagation algorithm Forward pass Backward pass

47Network

Packet Collector

Intrusion Detector

Data Preprocessor

Response Manager

User Interface

PacketData

NeuralNetwork

Component

IntrusionAlert Data

Raw network packet

Security Officer

Scanner

Data

Input vector

Data

Data

Input vector

Well-trained NNmodel (C-code)

MLP output

Alert message

Intrusion log

Response action

Intrusion report

System outputSystem input

Response reply

Scanresult

Scanaction

Training and testing mode Application mode

48

System Characteristics Efficient Real time Intelligent Adaptive User friendly

49

Detection Model Service-specific Model (FTP)

Attack Category Model (Probing)

General TCP Model Training

DDoS, DNS, DoS, Lpr, RPC, SMTP, Telnet, Trojan, Remote file access, Useless service, Abnormal TCP, FTP.

50

System PerformanceExperiment I: Connections: All normal.

 

# of system inputs

# of alert outputs

False positives

False negatives

TCP 31435 6 6 0

Probe 564 0 0 0

51

System Performance (cont.)

Experiment II:Normal Attacks: Nmap, TWWWscan, guest login attempt

  # of system inputs

# of alert outputs

False positives

False negatives

TCP 8952 1972 0 0

Probe 134 64 3 0

52

Experiment III:Normal Attacks: Buffer overflow, backdoor, DoS.  

# of system inputs

# of alert outputs

False positives

False negatives

TCP 538 75 0 3

Probe 32 5 2 0

System Performance (cont.)

53

IDS展望 同時提供網路型式與主機型式 IDS ，並能整合運用。 密切跟蹤分析國際上入侵技術的發展，不斷獲得最新的攻擊方法。通過分析這些已知的攻擊方法，豐富預警系統的檢測能力。 加強並利用預警系統的審計、跟蹤和現場記錄功能，記錄並反饋異常事件。通過實例分析提取可疑的網路活動特徵，擴充系統的檢測範圍，使系統能夠應對未知的入侵活動。 利用攻擊技術的研究成果，創造新的入侵方法，並應用於檢測技術

54

網路保全 隨著網際網路的發展，人們使用網路除了使用基本的電子郵件通信及搜尋資料外，其他與日常生活相關的應用亦逐漸仰賴網路，因此網路環境的安全性便日益提昇 在實際生活中有保全公司替客戶從事保險工作，避免宵小進入客戶居家或公司；同樣的，在網路的環境中也應有網路保全來擔保網路安全，所差別者為其保全對象為客戶之網路、主機與資料庫之電子資訊而非實體房屋。

55

網路保全流程概念圖用戶提出申請

是否與實際狀況相符模擬駭客行為進行弱點掃描 是否存在系統弱點

監測目前網路狀態提出修補建議掃描程式誤判

是 是

否 否

56

主要工作 弱點掃描

以多套掃描工具進行用戶網路檢查 系統評估

針對掃描結果進行評估，以判定系統目前是處於高危險、中危險、低危險狀態 安全建議報告

根據評估情況給予安全建議 入侵偵測系統監測

為避免繼續受到損害，以入侵偵測系統繼續監測

57

用戶申請書範本申請單位申請目的問題狀況需要保全之 IP 範圍弱點測試的時間…

58

安全建議範本申請單位系統評估安全等級弱點等級弱點描述漏洞修補建議…

59

結論 隨著網路的發達， IDS 系統對網路環境也越顯得重要 如何避免 IDSs受到攻擊，或是防止攻擊逃過 IDSs 的偵測等，仍是尚待研究的課題 如何以現有的網路安全設備 (如防火牆、

IDSs 等 ) ，架構出好的網路環境，是目前學術單位與各企業網路所最需要的