- 相關(guān)推薦
Hadoop物聯(lián)網(wǎng)數(shù)據(jù)挖掘的算法分析論文
摘要：介紹了物聯(lián)網(wǎng)數(shù)據(jù)處理的若干關(guān)鍵技術(shù)，如大數(shù)據(jù)采集、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)的分析與挖掘等。以Hadoop為平臺(tái)對(duì)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行挖掘與分析，為了提高處理龐大數(shù)據(jù)的實(shí)效性，基于MapReduce架構(gòu)采用了樸素貝葉斯分類(lèi)算法、K-modes聚類(lèi)算法以及ECLAT算法。分析認(rèn)為，應(yīng)用這三類(lèi)算法，提高了數(shù)據(jù)分類(lèi)效率，優(yōu)化了類(lèi)內(nèi)對(duì)象之間的相似性以及類(lèi)間對(duì)象之間的關(guān)聯(lián)性，為更高效的數(shù)據(jù)挖掘提供了很好的思路。
關(guān)鍵詞：物聯(lián)網(wǎng)；Hadoop；樸素貝葉斯；K-modes；ECLAT
0引言
當(dāng)前計(jì)算機(jī)技術(shù)發(fā)展迅速，物聯(lián)網(wǎng)是在計(jì)算機(jī)、互聯(lián)網(wǎng)之后信息產(chǎn)業(yè)發(fā)展的第三次浪潮，它必將成為社會(huì)發(fā)展的重要推力，它能夠?qū)崿F(xiàn)人與人、人與物和物與物之間的溝通與交流。物聯(lián)網(wǎng)的興起也必將再次引發(fā)數(shù)據(jù)的快速增長(zhǎng)，對(duì)許多行業(yè)來(lái)說(shuō)既是更嚴(yán)峻的挑戰(zhàn)，也是更寶貴的機(jī)遇。物聯(lián)網(wǎng)正在深刻改變著人們的生活習(xí)慣、工作方式。本文主要采用Hadoop分布式系統(tǒng)架構(gòu)處理物聯(lián)網(wǎng)環(huán)境下的大數(shù)據(jù)，Hadoop是一個(gè)分布式計(jì)算平臺(tái)，具有高可靠性、高擴(kuò)展性、高效性以及高容錯(cuò)性等優(yōu)點(diǎn)。其主要由三大部分構(gòu)成，HDFS(HadoopDistributedFileSystem)分布式文件系統(tǒng)、HadoopMapReduce分布式計(jì)算模型和HBase分布式數(shù)據(jù)庫(kù)。因此，如何更好地應(yīng)用Hadoop計(jì)算平臺(tái)處理好物聯(lián)網(wǎng)大數(shù)據(jù)，將是一個(gè)待攻克的難題。本文主要分析如何運(yùn)用Hadoop平臺(tái)處理大數(shù)據(jù)的理論依據(jù)，以及物聯(lián)網(wǎng)的應(yīng)用前景。
1物聯(lián)網(wǎng)概述
物聯(lián)網(wǎng)[1]底層網(wǎng)絡(luò)通過(guò)RFID(RadioFrequencyIdentification)、WSNs（WirelessSensorNetworks）、無(wú)線局域網(wǎng)等網(wǎng)絡(luò)技術(shù)采集物物交換信息并傳輸?shù)街悄軈R聚網(wǎng)關(guān)，通過(guò)智能匯聚網(wǎng)關(guān)接入到網(wǎng)絡(luò)融合體系，最后利用包括廣播電視網(wǎng)、互聯(lián)網(wǎng)、電信網(wǎng)等網(wǎng)絡(luò)途徑使信息到達(dá)終端用戶應(yīng)用系統(tǒng)。作為底層的數(shù)據(jù)感知層次[2]，在這個(gè)階段主要感知各種各樣的信息內(nèi)容，例如二維標(biāo)簽、識(shí)別器、攝像頭信息、傳感網(wǎng)絡(luò)等。然后，整理收集到的數(shù)據(jù)通過(guò)傳輸層進(jìn)行傳遞，例如網(wǎng)絡(luò)管理中心、通信網(wǎng)絡(luò)和智能處理等。最后，系統(tǒng)處理傳輸層的數(shù)據(jù)，通過(guò)人機(jī)交互解決信息處理和人機(jī)界面的問(wèn)題。
2Hadoop工作原理
2.1Hadoop基本架構(gòu)
Hadoop主要是處理大數(shù)據(jù)的開(kāi)源式平臺(tái)，其具有海量存儲(chǔ)、成本低廉、效率高以及牢靠性高等特點(diǎn)，因此可以應(yīng)用到物聯(lián)網(wǎng)平臺(tái)的大數(shù)據(jù)處理[3]。Hadoop的兩大主要元件是HDFS和MapReduce。前者的工作主要是存儲(chǔ)海量的數(shù)據(jù)，其存儲(chǔ)方式是分布式的；后者主要是計(jì)算處理這些大數(shù)據(jù)，其計(jì)算方式也是分布式處理[4]。為了更好的理解這兩個(gè)元件的體系結(jié)構(gòu)及其工作流程.
2.2HDFS分布式文件系統(tǒng)
HDFS是一個(gè)分布式文件系統(tǒng)，其具有高容錯(cuò)性和低廉的成本。HDFS實(shí)現(xiàn)的主要目標(biāo)有以下幾點(diǎn)。①以最快的速度檢查出硬件異常情況并且及時(shí)解決異常。②進(jìn)行批量化處理文件，提高效率節(jié)省時(shí)間，重點(diǎn)強(qiáng)調(diào)數(shù)據(jù)的吞吐量。③支持大數(shù)據(jù)集，不僅可以處理聚集式的高寬帶數(shù)據(jù)，而且可以支持成百個(gè)節(jié)點(diǎn)的單個(gè)集群。④其訪問(wèn)模式是“一次輸入，多次讀取”，保證了數(shù)據(jù)訪問(wèn)吞吐量的高效性。⑤HDFS設(shè)計(jì)可實(shí)現(xiàn)不同平臺(tái)間的互相轉(zhuǎn)移，因而促進(jìn)了大數(shù)據(jù)程序平臺(tái)的廣泛應(yīng)用。HDFS以主從（Master/Slave）結(jié)構(gòu)為主，HDFS集群由一個(gè)NameNode和許多個(gè)DataNode組成。NameNode為主服務(wù)器，主要負(fù)責(zé)管理存儲(chǔ)文件以及訪問(wèn)客戶端操作文件。DataNode主要負(fù)責(zé)管理存儲(chǔ)數(shù)據(jù)，也就是存儲(chǔ)小的數(shù)據(jù)塊。
2.3MapReduce分布式計(jì)算框架
MapReduce的兩大階段主要是Map階段和Reduce階段。Map階段構(gòu)成：①輸入數(shù)據(jù)格式解析（InputFormat）；②輸入數(shù)據(jù)處理（Mapper）；③數(shù)據(jù)分組（Partitioner）。而Reduce階段構(gòu)成：①數(shù)據(jù)遠(yuǎn)程拷貝；②數(shù)據(jù)按照KEY排序；③數(shù)據(jù)處理（Reduce）；④數(shù)據(jù)輸出格式（OutputFormat）。其工作流程如下。⑴數(shù)據(jù)預(yù)處理：從HDFS數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，分析輸入數(shù)據(jù)格式。⑵MAP映射任務(wù)：讀取自己所屬的文件分片，將每一條數(shù)據(jù)轉(zhuǎn)換成鍵值對(duì)，運(yùn)用MAP函數(shù)得到新的鍵值對(duì)并將其存儲(chǔ)到中間節(jié)點(diǎn)上。⑶定位緩存文件：將上一步得到的鍵值對(duì)的存儲(chǔ)位置信息發(fā)送給Reducer。⑷Reduce階段：通過(guò)位置信息讀取文件，將所有數(shù)據(jù)進(jìn)行重新排序并且合并同一KEY值，再通過(guò)Reduce函數(shù)化簡(jiǎn)，最后輸出最終結(jié)果值。
3數(shù)據(jù)挖掘算法分析
MapReduce架構(gòu)具有簡(jiǎn)易性、效率高、靠譜性以及并行的運(yùn)算方式等特點(diǎn)，同時(shí)MapReduce架構(gòu)的運(yùn)用廣度也有局限性，不能實(shí)現(xiàn)全部算法的應(yīng)用。因此，最關(guān)鍵的是此算法需滿足可伸縮性的特點(diǎn)，這里采用三類(lèi)算法：分類(lèi)算法、聚類(lèi)算法和關(guān)聯(lián)規(guī)則算法，研究改造并且能夠應(yīng)用到MapReduce架構(gòu)中。
3.1樸素貝葉斯分類(lèi)算法
樸素貝葉斯分類(lèi)算法[5]（NaiveBayesianclassifi-cation，NBC），即將所有數(shù)據(jù)進(jìn)行分類(lèi)，先以一個(gè)特定的點(diǎn)定義好類(lèi)別，建造一個(gè)分類(lèi)器，其作用是將待定的數(shù)據(jù)先通過(guò)映射，劃分到確定的類(lèi)別。簡(jiǎn)言之，首先需構(gòu)建一個(gè)分類(lèi)器，獲得某個(gè)已知樣本的先驗(yàn)概率的前提，再運(yùn)用貝葉斯公式：()()()()PABPBPBAPA=⑴得出一個(gè)后驗(yàn)概率，最后確定后驗(yàn)概率最大的類(lèi)是對(duì)象所屬的類(lèi)。樸素貝葉斯分類(lèi)算法采用的是掃描式方式，其算法操作如下：⑴Main函數(shù)：讀取數(shù)據(jù)集；⑵Map函數(shù)：計(jì)算離散屬性取值的總和、其連續(xù)屬性的平均值μ以及標(biāo)準(zhǔn)差δ；⑶Reduce函數(shù)：整合輸出統(tǒng)計(jì)值；⑷Main函數(shù)：由步驟3的結(jié)果生成分類(lèi)器。
3.2K-modes聚類(lèi)算法
K-modes聚類(lèi)算法[6]，即先將對(duì)象進(jìn)行聚集劃分成不同的類(lèi)別和子集，通過(guò)靜態(tài)分類(lèi)的方法將相似的成員對(duì)象分為一類(lèi)，以區(qū)別于其他簇中的對(duì)象。由于這種方式不需要進(jìn)行人工標(biāo)注處理，因而具有一定的自適應(yīng)性即無(wú)需看管監(jiān)督的算法。K-modes算法不僅其算法思想容易實(shí)現(xiàn)，而且本身簡(jiǎn)單易用，因此成為最常用的聚類(lèi)算法之一。K-modes算法是K-means算法基礎(chǔ)上的延伸，不僅可以處理數(shù)值型數(shù)值，也可以處理分類(lèi)屬性型的數(shù)據(jù)，這是一個(gè)大的改進(jìn)。K-modes算法可以很好的處理數(shù)量少的數(shù)據(jù)集，同時(shí)也可以高效處理龐大的數(shù)據(jù)集，其算法時(shí)間復(fù)雜度為O（tnkm），共同決定于迭代數(shù)t，數(shù)據(jù)集中對(duì)象數(shù)n，劃分子類(lèi)數(shù)k，以及屬性數(shù)量m。K-modes算法中modes可直接描述每一個(gè)類(lèi)的屬性和特性，便于解析聚類(lèi)結(jié)果。K-modes算法是收斂的。以上是傳統(tǒng)的K-modes算法的優(yōu)點(diǎn)，其也有缺點(diǎn)。K-modes算法雖然是收斂的，但是Huang證明其只能在局限收斂中實(shí)現(xiàn)最小值，在全局收斂中實(shí)現(xiàn)不了。聚類(lèi)算法的好壞取決于相異度度量方法，K-modes算法在展示兩者的差異性不占優(yōu)勢(shì)。聚類(lèi)算法中modes決定了結(jié)果的精確度，而此算法的modes不是獨(dú)一無(wú)二的。因此，采用改進(jìn)的K-modes算法。K-modes聚類(lèi)算法[7]采用迭代式的方式，其算法操作如下。⑴main函數(shù)：讀取數(shù)據(jù)集中的初始中心點(diǎn)。⑵map函數(shù)：主要計(jì)算差異值、眾數(shù)和目標(biāo)函數(shù)值。⑶main函數(shù)：最后讀取和判斷目標(biāo)函數(shù)值，若連續(xù)兩輪的結(jié)果無(wú)變化，則結(jié)束這次過(guò)程，得出中心點(diǎn)，反之需要進(jìn)行下一輪的迭代進(jìn)程。因此，聚類(lèi)算法的應(yīng)用能夠?qū)㈩?lèi)內(nèi)對(duì)象的相似性達(dá)到最大，類(lèi)間對(duì)象的相似性盡量的小，從而可以更好的區(qū)分對(duì)象間的差別。
3.3ECLAT頻繁項(xiàng)集挖掘算法
關(guān)聯(lián)規(guī)則挖掘算法的主要作用是找出不同項(xiàng)集之間的關(guān)聯(lián)性，并且應(yīng)用到大數(shù)據(jù)中。例如，顧客去便利超市買(mǎi)東西，觀察分析顧客的購(gòu)物車(chē)，會(huì)發(fā)現(xiàn)商品間的聯(lián)系。因而調(diào)整商品的擺放位置，可以更好的促銷(xiāo)商品。ECLAT算法[8]其本質(zhì)是一種頻繁項(xiàng)集挖掘算法，其異于傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)，是基于垂直數(shù)據(jù)結(jié)構(gòu)格式。其工作流程如下：首先全面掃描所有數(shù)據(jù)，然后將數(shù)據(jù)的格式展示為垂直的，最后得到一個(gè)項(xiàng)集的長(zhǎng)度值，即項(xiàng)集支持度的計(jì)數(shù)。依據(jù)算法Apriori的特性，從K=1開(kāi)始，對(duì)頻繁K項(xiàng)集的交進(jìn)行計(jì)算，構(gòu)建備選的K+1項(xiàng)集并且選出第K+1項(xiàng)時(shí)，反復(fù)操作，將K的值加一，當(dāng)不能挖掘出頻繁項(xiàng)集便結(jié)束這個(gè)工作。ECLAT頻繁項(xiàng)集挖掘算法也是采用迭代式，其算法操作如下。⑴Main函數(shù)：讀取上一輪的挖掘數(shù)據(jù)。⑵Map函數(shù)：存儲(chǔ)垂直K項(xiàng)集。⑶Reduce函數(shù)：對(duì)垂直K項(xiàng)集挖掘出頻繁K項(xiàng)集。⑷Main函數(shù)：讀取最終的Reduce函數(shù)中的結(jié)果，如果不是空值，繼續(xù)進(jìn)行下一輪挖掘，反之就結(jié)束此程序。因此，ECLAT算法的最大優(yōu)勢(shì)是更快地找出數(shù)據(jù)間的關(guān)聯(lián)性，為數(shù)據(jù)挖掘提供了很好的解決方法。
4應(yīng)用前景
隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，其能夠廣泛應(yīng)用到各行各業(yè)[9]。例如，農(nóng)業(yè)物聯(lián)網(wǎng)即物聯(lián)網(wǎng)技術(shù)應(yīng)用于農(nóng)業(yè)領(lǐng)域，從農(nóng)業(yè)的生產(chǎn)、經(jīng)營(yíng)、管理到服務(wù)都可以提供支持，通過(guò)農(nóng)業(yè)信息感知設(shè)備，提高農(nóng)業(yè)生產(chǎn)的品質(zhì)與效率。智能交通中，將物聯(lián)網(wǎng)技術(shù)應(yīng)用到交通運(yùn)輸領(lǐng)域，實(shí)現(xiàn)交通運(yùn)輸?shù)闹悄芑�，提高�?guó)家的整體實(shí)力和科技水平。城市安全管理是將物聯(lián)網(wǎng)技術(shù)應(yīng)用到公共安全領(lǐng)域。例如城軌站點(diǎn)安全監(jiān)測(cè)，人員密集的公共場(chǎng)所安全監(jiān)測(cè)，橋梁建筑物安全監(jiān)測(cè)，以及特定危險(xiǎn)品的生產(chǎn)場(chǎng)所的安全監(jiān)測(cè)等。同時(shí)，物聯(lián)網(wǎng)可以應(yīng)用到石油行業(yè)中，從油氣勘探、鉆井、油田生產(chǎn)到管理運(yùn)輸和煉油化工等方面，物聯(lián)網(wǎng)技術(shù)大大提高了生產(chǎn)和管理效率，從而增強(qiáng)我國(guó)石油行業(yè)的可持續(xù)發(fā)展能力和國(guó)際影響力。
5結(jié)束語(yǔ)
本文通過(guò)Hadoop平臺(tái)挖掘分析物聯(lián)網(wǎng)數(shù)據(jù)，并且將樸素貝葉斯分類(lèi)算法、K-modes聚類(lèi)算法以及ECLAT頻繁項(xiàng)集挖掘算法應(yīng)用于MapReduce架構(gòu)。結(jié)果表明，這三類(lèi)算法的運(yùn)用可以更高效的處理大數(shù)據(jù)，從而獲取更有價(jià)值的信息。優(yōu)化物聯(lián)網(wǎng)數(shù)據(jù)挖掘分析方法，進(jìn)而促進(jìn)物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展。物聯(lián)網(wǎng)作為新一代信息技術(shù)的典型代表，不僅滲透到農(nóng)業(yè)生產(chǎn)、智能交通、公共安全、石油產(chǎn)業(yè)等領(lǐng)域，而且對(duì)將來(lái)的經(jīng)濟(jì)發(fā)展和社會(huì)生活都將產(chǎn)生深遠(yuǎn)影響。物聯(lián)網(wǎng)的挖掘分析方法在實(shí)際運(yùn)用中還需要進(jìn)一步探索與研究。
【Hadoop物聯(lián)網(wǎng)數(shù)據(jù)挖掘的算法分析論文】相關(guān)文章：
復(fù)雜網(wǎng)絡(luò)數(shù)據(jù)挖掘論文11-15
旅游管理下數(shù)據(jù)挖掘運(yùn)用論文（精選11篇）09-22
分析電子商務(wù)中的數(shù)據(jù)安全論文04-26
數(shù)據(jù)挖掘?qū)嵙?xí)報(bào)告10-11
大數(shù)據(jù)與統(tǒng)計(jì)學(xué)分析方法比較論文11-13
復(fù)雜網(wǎng)絡(luò)交疊團(tuán)模糊分析與信息挖掘論文（精選8篇）06-13
數(shù)據(jù)分析報(bào)告優(yōu)秀03-07