基于經(jīng)濟(jì)領(lǐng)域數(shù)據(jù)的分布式提取及可視化分析方法和系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201711113558.0 申請(qǐng)日 -
公開（公告）號(hào) CN107766572A 公開（公告）日 2018-03-06
申請(qǐng)公布號(hào) CN107766572A 申請(qǐng)公布日 2018-03-06
分類號(hào) G06F17/30;G06F9/48;G06F9/50 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉銀;林楊陽;劉建華;丁文豪 申請(qǐng)（專利權(quán)）人 北京國信宏數(shù)科技有限責(zé)任公司
代理機(jī)構(gòu) 北京恒都律師事務(wù)所 代理人 王清亮
地址 100080 北京市海淀區(qū)學(xué)院南路15號(hào)北發(fā)大廈D座9層
法律狀態(tài) -

摘要

摘要 本申請(qǐng)?zhí)峁┝艘环N基于經(jīng)濟(jì)領(lǐng)域數(shù)據(jù)的分布式提取及可視化分析方法和系統(tǒng)。其中基于經(jīng)濟(jì)領(lǐng)域數(shù)據(jù)的分布式提取及可視化分析方法，包括：分布式數(shù)據(jù)提取步驟：后端服務(wù)器接收用戶提取大數(shù)據(jù)的指令并發(fā)送給主節(jié)點(diǎn)，主節(jié)點(diǎn)根據(jù)接收到的指令按照任務(wù)的某個(gè)或多個(gè)字段維度將提取數(shù)據(jù)的大任務(wù)切分成小任務(wù)，并將小任務(wù)分配給不同的處理節(jié)點(diǎn)，處理節(jié)點(diǎn)根據(jù)分配的小任務(wù)向全文檢索系統(tǒng)發(fā)起請(qǐng)求，主節(jié)點(diǎn)將生成的小任務(wù)存儲(chǔ)到數(shù)據(jù)庫中，并在運(yùn)行過程中同步任務(wù)的狀態(tài)；分布式存儲(chǔ)步驟；分布式計(jì)算和分析步驟;數(shù)據(jù)加載和緩存步驟；結(jié)果可視化展示步驟。本申請(qǐng)通過上述手段，提高了大數(shù)據(jù)提取的效率，同時(shí)降低了用戶大數(shù)據(jù)分析的門檻。