一種電子商務(wù)平臺大數(shù)據(jù)處理方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN201810497241.X 申請日 -
公開（公告）號 CN108717457A 公開（公告）日 2018-10-30
申請公布號 CN108717457A 申請公布日 2018-10-30
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 汪建剛;周娟;陳燕 申請（專利權(quán)）人 蘇州易康萌思網(wǎng)絡(luò)科技有限公司
代理機構(gòu) 上海諾衣知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 蘇州易康萌思網(wǎng)絡(luò)科技有限公司
地址 215000 江蘇省蘇州市工業(yè)園區(qū)金雞湖大道1355號國際科技園203E-2單元
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種電子商務(wù)平臺大數(shù)據(jù)處理方法和系統(tǒng)，通過生成多個采集代理，將采集網(wǎng)絡(luò)劃分為不同的模塊，每個采集代理負責(zé)不同模塊中的采集節(jié)點，以及寫緩存為底層的文件系統(tǒng)提供高性能的寫緩存服務(wù)，將文件集合劃分為多個類，將海量文件合并為大文件，最終將大文件寫入到文件系統(tǒng)進行持久化存儲。通過寫緩存和寫合并之后，規(guī)避了海量文件寫對文件系統(tǒng)的不友好，從而優(yōu)化寫吞吐速率和內(nèi)存占用率。