• <menu id="o88ui"><tt id="o88ui"></tt></menu>

    銳研互聯網數據動態采集系統(Ring BigResearch WebExtractor)

    2016-02-08
    萌泰科技
    摘要:銳研互聯網數據動態采集系統(Ring BigResearch WebExtractor)是一套面向互聯網文本采集領域,靈活可配置的動態采集系統。系統允許用戶自定義需要監測的互聯網數據源,能夠采集新聞、門戶、論壇、文獻等各類互聯網數據。支持關鍵字檢索條件,支持智能抓取網頁中文本內容和背景數據,支持提取標題、發布人、發布時間、來源、內容、摘要、關鍵詞等信息。產品基于分布式爬蟲框架,具有穩定、可靠、高性能和高可擴展性。

    一、概述

    銳研互聯網數據動態采集系統(Ring BigResearch WebExtractor)是一套面向互聯網文本采集領域,靈活可配置的動態采集系統。系統允許用戶自定義需要監測的互聯網數據源,能夠采集新聞、門戶、論壇、文獻等各類互聯網數據。支持關鍵字檢索條件,支持智能抓取網頁中文本內容和背景數據,支持提取標題、發布人、發布時間、來源、內容、摘要、關鍵詞等信息。產品基于分布式爬蟲框架,具有穩定、可靠、高性能和高可擴展性。

    二、產品功能


    (1)系統集成

    系統基于純BS架構,作為子系統能集成到統一的大數據研究云平臺,共享云平臺的統一管理功能。

    (2)項目管理

    新建采集項目,支持啟動、暫停和關閉;支持自定義互聯網數據源,允許對采集數據源進行靈活配置,支持智能抓取相關網頁的文本內容和背景數據;抓取的數據能夠同時存儲到數據庫和文件。

    (3)數據抓取

    基本分布式爬蟲框架;能夠抓取門戶類、新聞類、論壇類、文獻類平臺的數據;能進根據數據源配置關鍵詞組合、時間范圍、子頻道等,實現定向的基于關鍵詞的數據抓??;能夠配置抓取線程的數量,抓取時間間隔;支持斷點繼續。

    (4)采集監控

    數據的抓取的過程能夠實時監控和管理。


    三、特色和優勢


    (1)分布式爬蟲架構

    平臺采用基于分布式爬蟲架構,可實現高效的多線程,可擴展的的動態采集;

    (2)多數據源采集

    支持抓取主流門戶、新聞、論壇、文獻等各類數據源;

    (3)面向主題的采集

    支持靈活配置各類檢索條件,實現面向主題的數據采集。




      發表評論
      評論通過審核后顯示。
      彩神8官网