CGSEEK是采用以使用者為中心的設(shè)計思想，在網(wǎng)頁搜索、內(nèi)容過濾、全文檢索、智能內(nèi)容挖掘和計算機自動分類技術(shù)的支持下，全面改善Internet的使用現(xiàn)狀，是一個全新概念的信息服務(wù)產(chǎn)品。

　　智能互聯(lián)網(wǎng)信息采集系統(tǒng)由網(wǎng)頁搜索器CGRobot、網(wǎng)頁自動加載器CGLoad、內(nèi)容提取系統(tǒng)CGCPS、全文數(shù)據(jù)庫系統(tǒng)CGRS、自動分類學(xué)習(xí)軟件CGStudy組成。

  一、系統(tǒng)處理流程

　　首先，選擇從互聯(lián)網(wǎng)上采集信息的目標(biāo)網(wǎng)站，設(shè)定網(wǎng)頁搜索器CGRobot的搜索策略，CGRobot自動從目標(biāo)網(wǎng)站上采集滿足搜索條件的網(wǎng)頁，網(wǎng)頁自動加載器CGLoad將網(wǎng)頁自動加載到WEB頁面數(shù)據(jù)庫中。用戶根據(jù)WEB頁面數(shù)據(jù)庫中的網(wǎng)頁信息，使用網(wǎng)站內(nèi)容提取系統(tǒng)CG-CPS，制作網(wǎng)頁內(nèi)容提取模板，提取用戶需要的信息。CGRobot依據(jù)搜索策略和提取模板，自動、批量地從目標(biāo)網(wǎng)站上搜索網(wǎng)頁信息，并轉(zhuǎn)換成文本記錄加載到文本內(nèi)容數(shù)據(jù)庫中。如果要對采集的網(wǎng)頁內(nèi)容進行分類，可以依據(jù)自動分類學(xué)習(xí)軟件CGStudy生成的分類文件進行分類。

　　從互聯(lián)網(wǎng)上采集、加工后加載到文本內(nèi)容數(shù)據(jù)庫中的信息可以利用CGRS系列軟件進行信息發(fā)布、內(nèi)容挖掘和信息的再利用。

  二、系統(tǒng)功能

　　1、網(wǎng)頁搜索器(CGROBOT)

　　網(wǎng)頁搜索器是CGSeek5.1的前端程序，它能夠把網(wǎng)站上全部或部分頁面和資源自動收集到本地。系統(tǒng)主要功能：

　　(1)用戶設(shè)定頁面搜索范圍

　　● 設(shè)定URL起始入口

　　● 設(shè)定頁面搜索范圍與限定

　　● 通過資源文件的后綴設(shè)定搜索頁面中哪些資源文件。如設(shè)定圖片、多媒體資源

　　(2)WEB服務(wù)的聯(lián)接方式

　　●設(shè)置WEB服務(wù)器的聯(lián)接方式、數(shù)據(jù)后處理方式(是脫機瀏覽還是發(fā)送到搜索引擎庫)

　　(3)每個站點的搜索深度可以根據(jù)需要設(shè)定

　　(4)URL中的表達式分析功能可以指定包含的表達式和過濾的表達式，以滿足搜索內(nèi)容要求

　　(5)對頁面進行自動分類處理

　　(6)設(shè)定下載頁面的文件最大尺寸和截斷長度。

　　(7)自動搜索剖析下載網(wǎng)頁內(nèi)容

　　(8)自動發(fā)送下載頁面及映像文件

　　(9)遵循網(wǎng)頁搜索規(guī)則

　　2、網(wǎng)頁自動加載器

　　網(wǎng)頁自動加載器是網(wǎng)頁頁面加載到WEB頁面數(shù)據(jù)庫的處理程序，它啟動之后自動執(zhí)行加載功能，毋須人工干預(yù)。系統(tǒng)主要功能：

　　(1)網(wǎng)頁頁面及映像文件自動加載到WEB頁面數(shù)據(jù)庫;

　　(2)自動更新網(wǎng)頁頁面;

　　(3)建立網(wǎng)頁頁面全文索引;

　　3、全文數(shù)據(jù)庫系統(tǒng)CGRS5.0

　　全文數(shù)據(jù)庫系統(tǒng)對文獻進行管理，并提供強大的檢索功能。

　　4、網(wǎng)站內(nèi)容提取系統(tǒng)CGCPS

　　從網(wǎng)頁數(shù)據(jù)庫中，按照個性化需求設(shè)計內(nèi)容提取模版和規(guī)則，從WEB頁面數(shù)據(jù)庫中檢索滿足要求的頁面，從中自動提取相關(guān)的文本信息。系統(tǒng)主要完成以下功能：

　　(1)從Web網(wǎng)頁數(shù)據(jù)庫中通過強大全文數(shù)據(jù)庫檢索功能，篩選出要處理的網(wǎng)頁。

　　(2)選出符合制作模板條件的網(wǎng)頁，經(jīng)過添加標(biāo)引制作成網(wǎng)頁提取模板。

　　(3)模板自動提取結(jié)構(gòu)化信息轉(zhuǎn)換并標(biāo)引文本信息內(nèi)容。

　　5、自動分類學(xué)習(xí)軟件(CGStudy)

　　自動分類學(xué)習(xí)軟件是通過學(xué)習(xí)語料庫中的語料后生成一個分類規(guī)則文件，CGrobot用分類規(guī)則文件對網(wǎng)上下載的頁面進行自動分類。同時通過反復(fù)學(xué)習(xí)，不斷完善分類規(guī)則文件，提高自動分類的準(zhǔn)確度。

　　主要功能包含了：語料文件編制、格式檢查、分類學(xué)習(xí)和語料測試。

  三、系統(tǒng)性能

　　1、支持建立多個引擎數(shù)據(jù)庫，最大32767個。

　　2、下載速度;和網(wǎng)絡(luò)速度有關(guān)。

　　3、支持斷點續(xù)傳。

　　4、頁面自動分類準(zhǔn)確率約80%。

　　5、單個引擎數(shù)據(jù)庫最多可存儲42億個頁面。

　　6、5億個漢字的信息平均查詢時間少于3秒。