- 相關(guān)推薦
生態(tài)環(huán)境保護(hù)中大數(shù)據(jù)技術(shù)的運(yùn)用探討的論文
1 引言
生態(tài)環(huán)境的保護(hù)問題，具有復(fù)雜性和時(shí)變性，涉及多部門、多地區(qū)和多領(lǐng)域，需要處理海量的各類數(shù)據(jù)，這為問題的解決增加了不小的難度[1].本文從分析生態(tài)環(huán)境相關(guān)數(shù)據(jù)入手，對(duì)利用大數(shù)據(jù)技術(shù)，整合各類生態(tài)環(huán)境相關(guān)的數(shù)據(jù)資源，建立生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)的架構(gòu)及關(guān)鍵技術(shù)展開論述。
2 生態(tài)環(huán)境相關(guān)數(shù)據(jù)的現(xiàn)狀分析
目前，應(yīng)用于生態(tài)環(huán)境保護(hù)領(lǐng)域的數(shù)據(jù)資源主要包括三類：
地面監(jiān)測(cè)數(shù)據(jù)：此類數(shù)據(jù)主要來源于各地的生態(tài)環(huán)境在線監(jiān)測(cè)系統(tǒng)。由于各系統(tǒng)開發(fā)時(shí)期不同，技術(shù)手段各異，數(shù)據(jù)格式多樣，各系統(tǒng)之間很難形成信息共享。
遙感監(jiān)測(cè)數(shù)據(jù)：此類數(shù)據(jù)主要來源于衛(wèi)星遙感數(shù)據(jù)和航空遙感數(shù)據(jù)。
地理信息數(shù)據(jù)：此類數(shù)據(jù)的來源主要有野外采集、地圖數(shù)字化和航天遙感采集、攝影測(cè)量等。
目前，傳統(tǒng)的信息化技術(shù)在環(huán)境數(shù)據(jù)整合工作中仍占據(jù)主導(dǎo)地位，而利用大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)上述三類數(shù)據(jù)的統(tǒng)一存儲(chǔ)、協(xié)調(diào)工作，真正建立起實(shí)用價(jià)值大，適用性廣泛的生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)，還沒有相關(guān)的工作開展。
3 大數(shù)據(jù)技術(shù)概述
大數(shù)據(jù)技術(shù)是近年來興起的一種綜合性信息技術(shù)[2],對(duì)于處理超出傳統(tǒng)數(shù)據(jù)庫系統(tǒng)存儲(chǔ)、管理和分析處理能力的多來源的、海量的數(shù)據(jù)集群，具備天然的技術(shù)優(yōu)勢(shì)。大數(shù)據(jù)技術(shù)的主流應(yīng)用框架是Hadoop 生態(tài)系統(tǒng)。它以 HDFS 分布式文件系統(tǒng)和 MapReduce 分布式計(jì)算框架為核心，可以對(duì)大數(shù)據(jù)進(jìn)行高效的分布式處理。
4 大數(shù)據(jù)平臺(tái)的構(gòu)建
生態(tài)環(huán)境問題涉及大氣、土壤、水、生物圈、氣候等方方面面。為此，我們?cè)谕七M(jìn)大數(shù)據(jù)技術(shù)與生態(tài)環(huán)境保護(hù)工作相互結(jié)合的過程中，采取了以點(diǎn)帶面，逐步推進(jìn)的策略。
在本文中，我們選取對(duì)環(huán)境影響比較突出的大氣污染問題作為研究的切入點(diǎn)，利用 Hadoop 生態(tài)系統(tǒng)中的 HDFS 技術(shù)，建立起秦皇島地區(qū)的大氣污染防治大數(shù)據(jù)平臺(tái)。未來，通過建立基于此平臺(tái)的大氣業(yè)務(wù)應(yīng)用系統(tǒng)，我們可以對(duì)秦皇島地區(qū)的大氣污染物來源情況進(jìn)行準(zhǔn)確有效的分析。這一應(yīng)用模式的探索，也將為未來更廣泛生態(tài)環(huán)境數(shù)據(jù)的綜合性分析與應(yīng)用，打下良好的基礎(chǔ)。
平臺(tái)所采用的地面監(jiān)測(cè)數(shù)據(jù)包括：工業(yè)企業(yè)污染排放情況、火電企業(yè)污染排放情況、鋼鐵冶煉企業(yè)污染排放情況、水泥企業(yè)污染排放情況等。
平臺(tái)所采用的遙感氣象數(shù)據(jù)主要是用美國國家環(huán)境預(yù)報(bào)中心（NCEP） 發(fā)布的 Final Operational Global Analysis（FNL）資料[3].我們不直接使用 FNL 的原始數(shù)據(jù)，而是采用經(jīng)過 NOAA-Air ResourcesLaboratory（ARL）預(yù)處理模塊轉(zhuǎn)化后的數(shù)據(jù)�；� FNL 資料，可以計(jì)算在某一時(shí)段內(nèi)抵達(dá)秦皇島地區(qū)的后向氣流軌跡，從而有助于配合地面監(jiān)測(cè)數(shù)據(jù)揭示秦皇島地區(qū)大氣污染的可能來源。
納入平臺(tái)的地理信息數(shù)據(jù)主要有兩類：（1）圖形數(shù)據(jù)：此部分?jǐn)?shù)據(jù)以矢量圖形的形式存儲(chǔ)于 HDFS 系統(tǒng)中。它們的來源主要是利用搜狗地圖所提供的靜態(tài)地圖 API.（2）文本數(shù)據(jù)：此部分?jǐn)?shù)據(jù)包括：a）監(jiān)測(cè)污染源的位置數(shù)據(jù)；b）交通擁堵情況；c）氣流軌跡數(shù)據(jù)：此類數(shù)據(jù)由 FNL 資料計(jì)算而得。各類文本數(shù)據(jù)都將構(gòu)成獨(dú)立的圖層，利用搜狗地圖提供的 API,標(biāo)注于圖形數(shù)據(jù)之上。
5 關(guān)鍵技術(shù)研究
各類數(shù)據(jù)會(huì)被存入統(tǒng)一的大數(shù)據(jù)平臺(tái)。我們采用 Hadoop 分布式集群結(jié)構(gòu)作為大數(shù)據(jù)平臺(tái)的存儲(chǔ)結(jié)構(gòu)。我們使用 100 臺(tái) PC 級(jí)電腦構(gòu)建起分布式數(shù)據(jù)存儲(chǔ)集群，每個(gè)節(jié)點(diǎn)同時(shí)承擔(dān)計(jì)算和存儲(chǔ)的角色。各個(gè)數(shù)據(jù)節(jié)點(diǎn)中存放大氣污染相關(guān)的大數(shù)據(jù)。元數(shù)據(jù)主節(jié)點(diǎn)則存放各類大數(shù)據(jù)在數(shù)據(jù)節(jié)點(diǎn)中的副本分布位置。元數(shù)據(jù)輔助節(jié)點(diǎn)承擔(dān)與元數(shù)據(jù)主節(jié)點(diǎn)類似的任務(wù)，當(dāng)元數(shù)據(jù)主節(jié)點(diǎn)宕機(jī)時(shí)，可以重新啟動(dòng)元數(shù)據(jù)主節(jié)點(diǎn)。元數(shù)據(jù)主節(jié)點(diǎn)上保存著訪問 HDFS 文件系統(tǒng)的索引信息，它們主要來源于數(shù)據(jù)預(yù)處理過程中提取的元數(shù)據(jù)。對(duì)于修改元數(shù)據(jù)主節(jié)點(diǎn)信息的操作，事務(wù)日志中都會(huì)插入相應(yīng)的記錄。而數(shù)據(jù)索引到數(shù)據(jù)存儲(chǔ)的映射，副本的位置及編號(hào)等信息，都存儲(chǔ)在元數(shù)據(jù)主節(jié)點(diǎn)所在的本地文件系統(tǒng)中的一個(gè)映射文件中。
對(duì)于大數(shù)據(jù)而言，要想實(shí)現(xiàn)數(shù)據(jù)的高效穩(wěn)定的訪問機(jī)制，需要做好兩方面的工作：（1）對(duì)數(shù)據(jù)分塊存儲(chǔ)并建立適宜的物理數(shù)據(jù)副本規(guī)模；（2）采用適宜的副本存放策略和數(shù)據(jù)讀寫策略[4].我們采取了搜集數(shù)據(jù)訪問反饋信息的策略，利用統(tǒng)計(jì)學(xué)方法實(shí)現(xiàn)了副本規(guī)模的動(dòng)態(tài)調(diào)整。而對(duì)于副本的存放策略，我們考慮將不同副本存放于不同機(jī)架的電腦上，以保證一個(gè)機(jī)架出現(xiàn)故障時(shí)不致丟失數(shù)據(jù)，并且還能在讀數(shù)據(jù)時(shí)充分利用不同機(jī)架的帶寬。數(shù)據(jù)的讀取策略則采用從距離讀請(qǐng)求節(jié)點(diǎn)最近的存儲(chǔ)節(jié)點(diǎn)上讀取數(shù)據(jù)。同時(shí)，我們將對(duì)數(shù)據(jù)加工的相關(guān)業(yè)務(wù)代碼從加工請(qǐng)求所在的電腦發(fā)送至數(shù)據(jù)副本所在的電腦執(zhí)行，盡可能不在電腦之間進(jìn)行數(shù)據(jù)副本的傳遞，以提高寫數(shù)據(jù)的效率。
6 結(jié)論
本文將大數(shù)據(jù)技術(shù)引入生態(tài)環(huán)境保護(hù)的工作之中，將秦皇島地區(qū)的地面監(jiān)測(cè)數(shù)據(jù)、遙感監(jiān)測(cè)數(shù)據(jù)、地理信息數(shù)據(jù)整合在一起，建立起秦皇島地區(qū)大氣污染防治大數(shù)據(jù)平臺(tái)，使相關(guān)的業(yè)務(wù)應(yīng)用有了一個(gè)統(tǒng)一的底層數(shù)據(jù)支持。未來，我們可以基于此平臺(tái)建立大氣污染數(shù)據(jù)分析系統(tǒng)等業(yè)務(wù)應(yīng)用系統(tǒng)，對(duì)秦皇島地區(qū)的大氣污染物來源情況進(jìn)行準(zhǔn)確有效的分析。
參考文獻(xiàn)：
[1] 張永亮 , 俞海 . 中國生態(tài)環(huán)境保護(hù)管理體制改革思路與方向 : 國際社會(huì)的觀察和建議 [J]. 中國環(huán)境管理 ,2015（01）：43-47.
[2] 肖筱華 , 周棟 . 大數(shù)據(jù)技術(shù)及標(biāo)準(zhǔn)發(fā)展研究 [J]. 信息技術(shù)與標(biāo)準(zhǔn)化 ,2014（04）：34-38.
[3] 趙恒 , 王體健 , 江飛 , 謝旻 . 利用后向軌跡模式研究 TRACE-P 期間香港大氣污染物的來源 [J]. 熱帶氣象學(xué)報(bào) ,2009,25（02）：181-186.
[4] 宮婧 , 王文君 . 大數(shù)據(jù)存儲(chǔ)中的容錯(cuò)關(guān)鍵技術(shù)綜述 [J]. 南京郵電大學(xué)學(xué)報(bào) ,2014,34（04）：20-25.
【生態(tài)環(huán)境保護(hù)中大數(shù)據(jù)技術(shù)的運(yùn)用探討的論文】相關(guān)文章：
無線通信技術(shù)在數(shù)據(jù)采集的運(yùn)用論文05-03
基于云計(jì)算的數(shù)據(jù)挖掘技術(shù)探討論文05-02
水利工程管理中數(shù)據(jù)挖掘技術(shù)的運(yùn)用論文05-02
數(shù)據(jù)挖掘技術(shù)在軟件工程的運(yùn)用工程論文04-27
高職智慧校園建設(shè)中大數(shù)據(jù)挖掘技術(shù)的應(yīng)用論文05-02
數(shù)據(jù)大集中管理模式下數(shù)據(jù)同步技術(shù)探討論文05-03
數(shù)據(jù)挖掘技術(shù)在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的運(yùn)用論文05-02
探討建筑工程中深基坑支護(hù)技術(shù)的運(yùn)用論文05-02
測(cè)繪工程項(xiàng)目數(shù)據(jù)管理中數(shù)據(jù)庫技術(shù)的運(yùn)用論文05-02