山東省政務外網(wǎng)流量統(tǒng)計分析解決方案

山東省電子政務外網(wǎng)是山東省政府信息化建設的重點項目，通過建設統(tǒng)一的廣域網(wǎng)絡平臺，利用MPLS VPN的技術手段可以實現(xiàn)各個政務部門共用同一個廣域網(wǎng)平臺，節(jié)省了大量各部門單獨建設廣域網(wǎng)的重復投資。大量的政務應用在同一個網(wǎng)絡平臺上運行必然帶來一個新的問題，如何實現(xiàn)對各種政務應用的流量監(jiān)控和分析？

目前，絕大多數(shù)廣域網(wǎng)還沒有建設一套能夠滿足網(wǎng)絡及業(yè)務流量分析的系統(tǒng)，還只是采用一些通用型的網(wǎng)絡鏈路監(jiān)視軟件，如MRTG，利用SNMP協(xié)議對網(wǎng)絡的重點鏈路和互聯(lián)點進行簡單的端口級流量監(jiān)視和統(tǒng)計；或采用在網(wǎng)絡中部分重點POP點加裝RMON探針的方式，利用RMON I/II協(xié)議對網(wǎng)絡中部分端口進行網(wǎng)絡流量和上層業(yè)務流量的監(jiān)視和采集。上述兩種被普遍采用的網(wǎng)絡流量分析系統(tǒng)都有其顯著的技術局限性：

1）利用SNMP協(xié)議能夠對被監(jiān)視的各個網(wǎng)絡端口進出的數(shù)據(jù)包數(shù)和字節(jié)數(shù)進行采集，但采集到的流量信息較為粗糙，不但包括網(wǎng)絡層的業(yè)務流量信息，還包括鏈路層的數(shù)據(jù)幀包頭，Hello數(shù)據(jù)包，出錯后重新傳送的數(shù)據(jù)包等流量信息。而且SNMP協(xié)議還無法區(qū)分網(wǎng)絡層數(shù)據(jù)流量中各種不同類型業(yè)務在總流量中的分布狀況，也無法對進出的流量進行流向分析。

2）利用RMON協(xié)議對網(wǎng)絡進行流量和流向管理可以部分彌補SNMP協(xié)議的技術局限性，如可以對業(yè)務流量進行統(tǒng)計，但同時也暴露出新的技術局限性。首先，由于RMON協(xié)議需要對網(wǎng)絡上傳送的每個數(shù)據(jù)幀進行采集和分析，會耗用大量的CPU資源因而不可能由網(wǎng)絡設備本身實現(xiàn)，需要額外購買和安裝內(nèi)置式或外置式的RMON探針。市場上現(xiàn)有的RMON探針處理能力有限，還不能支持監(jiān)控端口速率超過1Gbps的網(wǎng)絡端口。其次，因為RMON探針為硬件設備，價格較貴，所以不可能為每臺網(wǎng)絡設備都配備。由于RMON探針，特別是內(nèi)置式RMON探針接入網(wǎng)絡后不易變更，所以必然會造成出現(xiàn)異常事件時無法及時對特定的網(wǎng)絡鏈路進行監(jiān)控。*后，由于RMON探針采集到的管理數(shù)據(jù)是由分析每個數(shù)據(jù)包后得到的，數(shù)據(jù)量非常大且分散，協(xié)議缺乏內(nèi)建的數(shù)據(jù)匯總機制，而且還不包括每個數(shù)據(jù)包的BGP AS號或路由Next Hop信息，所以不易對數(shù)據(jù)進行高層次的流向分析。這些因素都會阻礙利用RMON協(xié)議對大型網(wǎng)絡進行流量和流向分析的**性。

為了解決以上兩種方式的問題，華為3com公司提供網(wǎng)絡流量和流向分析解決方案NTA（Network Traffic Analysis）。NTA解決方案就好像在網(wǎng)絡中安裝了一只精確的水表，能夠量化網(wǎng)絡流量并對其流量進行詳細統(tǒng)計分析。

Network Traffic Analysis解決方案包括：網(wǎng)流采樣設備NTE（NetTraffic Exporter）、網(wǎng)流采集設備NTC（NetTraffic Collector）、數(shù)據(jù)分析處理設備NTP（NetTraffic Processor），三個設備之間的關系如下圖所示：

 

 

NTE負責流量的采集和發(fā)送，NTC設備負責收集和存儲NTE發(fā)來的流量統(tǒng)計數(shù)據(jù)信息；NTP從數(shù)據(jù)庫中獲取收集到的數(shù)據(jù)，經(jīng)分析加工后以直觀的圖表、報表等方式為網(wǎng)絡規(guī)劃、網(wǎng)絡優(yōu)化、網(wǎng)絡監(jiān)控、應用監(jiān)控等提供直接的數(shù)據(jù)依據(jù)。

1）NetTraffic Exporter

提供對設備各個端口進出的網(wǎng)絡報文進行流分類統(tǒng)計，然后打包輸出。在山東省電子政務外網(wǎng)中通過在核心路由器部署專用的硬件板件實現(xiàn)。

2）NetTraffic Collector

NTC可以采集多個NTE設備輸出的數(shù)據(jù)，對數(shù)據(jù)進行過濾和聚合，并將數(shù)據(jù)存儲在數(shù)據(jù)庫中供分析處理。

3）NetTraffic Processor

NTP是一個網(wǎng)絡流量的分析工具，對采集來的流量數(shù)據(jù)，根據(jù)不用的應用進行詳細的分析處理。使用SQL數(shù)據(jù)庫為中心的分布式數(shù)據(jù)集中和分析的方法，可以獲得更好的分析樣本以及統(tǒng)計粒度。為便于網(wǎng)絡管理人員的操作，采用基于Web的直觀的、圖形化的管理界面，所有數(shù)據(jù)輸出都以腳本語言（XML）的形式，直接在Web頁面中顯示。

    網(wǎng)絡水表到底能給用戶提供哪些幫助呢？

優(yōu)化網(wǎng)絡和常規(guī)流量

通過網(wǎng)絡水表，可以統(tǒng)計網(wǎng)絡流量總數(shù)，分析流量的分布，便于網(wǎng)絡管理員掌握網(wǎng)絡利用狀況，盡早發(fā)現(xiàn)網(wǎng)絡結構的不合理，或是網(wǎng)絡瓶頸，優(yōu)化網(wǎng)絡結構、設計，制定網(wǎng)絡擴容規(guī)劃，以有力的數(shù)據(jù)實現(xiàn)以*小網(wǎng)絡管理成本達到*佳的網(wǎng)絡性能和服務。同時，根據(jù)較長一段時間內(nèi)的這些統(tǒng)計數(shù)據(jù)，就可以建立網(wǎng)絡常規(guī)流量特征模型，然后可以根據(jù)這些特征值調整網(wǎng)絡的QoS或安全策略，使網(wǎng)絡帶寬分配*優(yōu)化，網(wǎng)絡風險降到*低。

2）廣域網(wǎng)流量監(jiān)控和分析

對于山東省電子政務外網(wǎng)來說，廣域網(wǎng)帶寬是比較有限的，如果廣域網(wǎng)鏈路的流量增大，就必須投資升級廣域網(wǎng)鏈路，因此有必要監(jiān)控廣域網(wǎng)流量，掌握廣域網(wǎng)流量特征，從而制定相應的策略（比如QoS和針對源或目的IP地址作流限制），使廣域網(wǎng)帶寬得到*合理*充分的使用，避免進行不必要的升級投資。

業(yè)務應用/服務質量監(jiān)控

通過網(wǎng)絡水表可以獲得詳細的網(wǎng)絡應用信息。例如，網(wǎng)絡管理員可以查看Web、文件傳輸協(xié)議(FTP)、Telnet和其它**的TCP/IP應用所占通信量的百分比，保證那些重要的業(yè)務數(shù)據(jù)流量優(yōu)先通過。

山東省電子政務外網(wǎng)通過部署NTA（網(wǎng)絡水表）解決方案真正做到了量化網(wǎng)絡流量，并能夠實現(xiàn)多種精確的統(tǒng)計和分析，給網(wǎng)絡的管理帶來了質的飛躍。