數(shù)據(jù)處理是對紛繁復(fù)雜的海量數(shù)據(jù)價(jià)值的提煉，而其中最有價(jià)值的地方在于預(yù)測性分析，即可以通過數(shù)據(jù)可視化、統(tǒng)計(jì)模式識別、數(shù)據(jù)描述等數(shù)據(jù)挖掘形式理解數(shù)據(jù)，根據(jù)數(shù)據(jù)挖掘的結(jié)果得出預(yù)測性決策。

 數(shù)據(jù)處理的環(huán)節(jié)包括：

 1.大數(shù)據(jù)采集；

 2.大數(shù)據(jù)預(yù)處理；

 3.大數(shù)據(jù)存儲及管理；

 4.大數(shù)據(jù)分析及挖掘；

 5.大數(shù)據(jù)展現(xiàn)和應(yīng)用。

 一、大數(shù)據(jù)采集技術(shù)

 數(shù)據(jù)采集是通過傳感器數(shù)據(jù)、網(wǎng)絡(luò)交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得海量數(shù)據(jù)，是大數(shù)據(jù)知識服務(wù)模型的根本。

 大數(shù)據(jù)采集一般分為：

 大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統(tǒng)，實(shí)現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識別、定位、跟蹤、接入、傳輸、信號轉(zhuǎn)換、監(jiān)控、初步處理和管理等。

 重點(diǎn)要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù)；突破高速數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù)；設(shè)計(jì)質(zhì)量評估模型，開發(fā)數(shù)據(jù)質(zhì)量技術(shù)。

 二、大數(shù)據(jù)預(yù)處理技術(shù)

 完成對已接收數(shù)據(jù)的辨析、抽取、清洗等操作。

 1.抽取：因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。

 2.清洗：對于大數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯(cuò)誤的干擾項(xiàng)，因此要對數(shù)據(jù)通過過濾“去殘、去重、去雜”從而提取出有效數(shù)據(jù)。

 三、大數(shù)據(jù)存儲及管理技術(shù)

 大數(shù)據(jù)存儲與管理要用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進(jìn)行管理和調(diào)用。重點(diǎn)解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)。主要解決大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€(gè)關(guān)鍵問題。開發(fā)能效優(yōu)化的存儲、計(jì)算融入存儲、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲技術(shù)；突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù)；突破大數(shù)據(jù)索引技術(shù)；突破大數(shù)據(jù)移動、備份、復(fù)制等技術(shù)；開發(fā)大數(shù)據(jù)可視化技術(shù)。

 四、大數(shù)據(jù)分析及挖掘技術(shù)

 大數(shù)據(jù)分析技術(shù)即改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)；開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。

 數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

 預(yù)測分析技術(shù)的出現(xiàn)使得用戶能夠基于歷史數(shù)據(jù)和分析技術(shù)(如統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí))預(yù)測未來的結(jié)果，這使得預(yù)測結(jié)果和趨勢變得比過去幾年更加可靠，預(yù)測分析有可能徹底改變許多的行業(yè)和業(yè)務(wù)，包括零售、制造、供應(yīng)鏈、網(wǎng)絡(luò)管理、金融服務(wù)和醫(yī)療保健。

 五、大數(shù)據(jù)展現(xiàn)與應(yīng)用

 大數(shù)據(jù)展現(xiàn)與分析解決方案提供底層的數(shù)據(jù)共享交換服務(wù)和報(bào)表、分析挖掘等前端分析展現(xiàn)等可視化應(yīng)用。

 大數(shù)據(jù)可視化適用于企事業(yè)單位和政府部門的經(jīng)營決策、指揮決策和展覽展示等場景，可以幫助用戶提高決策能力和品牌展示效果。目前大數(shù)據(jù)可視化方向有兩個(gè)，即智能實(shí)時(shí)分析和可視化互動展示。智能實(shí)時(shí)分析通過圖形化的界面輕松搭建專業(yè)水準(zhǔn)的可視化應(yīng)用和智能化數(shù)據(jù)挖掘分析，可以滿足業(yè)務(wù)監(jiān)控、風(fēng)險(xiǎn)預(yù)警、市場分析等需求，更多的使用于PC端或者移動端等便攜設(shè)備上?？梢暬诱故緞t在前者的基礎(chǔ)上，將數(shù)據(jù)展示和互動體驗(yàn)相結(jié)合，實(shí)現(xiàn)技術(shù)與藝術(shù)的完美融合，適用于指揮中心決策、演示匯報(bào)、高端展會、展廳等場景，主要用于大屏、數(shù)字沙盤、VR、AR等設(shè)備。

 在我國，大數(shù)據(jù)一般重點(diǎn)應(yīng)用于商業(yè)智能、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù)，政府決策技術(shù)，電信數(shù)據(jù)信息處理與挖掘技術(shù)，電網(wǎng)數(shù)據(jù)信息處理與挖掘技術(shù)，氣象信息分析技術(shù)，環(huán)境監(jiān)測技術(shù)，警務(wù)云應(yīng)用系統(tǒng)（道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、智能交通、反電信詐騙、指揮調(diào)度等公安信息系統(tǒng)），大規(guī)模基因序列分析比對技術(shù)，Web信息挖掘技術(shù)，多媒體數(shù)據(jù)并行化處理技術(shù)，影視制作渲染技術(shù)，其他各種行業(yè)的云計(jì)算和海量數(shù)據(jù)處理應(yīng)用技術(shù)等。

 大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識挖掘出來，為人類的社會經(jīng)濟(jì)活動提供依據(jù)，從而提高各個(gè)領(lǐng)域的運(yùn)行效率，大大提高整個(gè)社會經(jīng)濟(jì)的集約化程度。