序論：寫作是一種深度的自我表達(dá)。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內(nèi)心深處的真相，好投稿為您帶來了一篇大數(shù)據(jù)分析論文范文，愿它們成為您寫作過程中的靈感催化劑，助力您的創(chuàng)作。

大數(shù)據(jù)分析論文:基于Hadoop大數(shù)據(jù)分析在電力信息系統(tǒng)的應(yīng)用

【摘要】隨著電力信息化的不斷發(fā)展以及信息化可靠性要求的不斷提升，系統(tǒng)運(yùn)行維護(hù)壓力越來越大，加之信息化數(shù)據(jù)分析對(duì)電力系統(tǒng)發(fā)展的指導(dǎo)意義越發(fā)重要，對(duì)信息數(shù)據(jù)的分析亟待提高。針對(duì)電力SG-186系統(tǒng)運(yùn)維現(xiàn)狀，提出一套基于Hadoop架構(gòu)的大數(shù)據(jù)分析解決方案，旨在實(shí)現(xiàn)對(duì)系統(tǒng)運(yùn)行日志進(jìn)行多元化分析，一方面發(fā)現(xiàn)后臺(tái)潛在系統(tǒng)運(yùn)行風(fēng)險(xiǎn)，一方面給企業(yè)提供各類實(shí)時(shí)可視的數(shù)據(jù)，給企業(yè)發(fā)展提供強(qiáng)有力的數(shù)據(jù)支撐。

【關(guān)鍵詞】SG-186;Hadoop;大數(shù)據(jù)分析

引言

在電網(wǎng)智能化、信息化飛速發(fā)展的今天，以SG-186為核心的數(shù)百個(gè)各類系統(tǒng)已經(jīng)滲入電力生產(chǎn)、經(jīng)營、管理等各個(gè)角落。系統(tǒng)運(yùn)行的可靠性直接影響電力可靠性及公司的社會(huì)形象，系統(tǒng)的各類數(shù)據(jù)也都直接反映了公司經(jīng)營業(yè)績及發(fā)展現(xiàn)狀。信息系統(tǒng)后臺(tái)日志數(shù)據(jù)規(guī)模急速增大，傳統(tǒng)的單機(jī)式數(shù)據(jù)庫模式在各類系統(tǒng)復(fù)雜的數(shù)據(jù)分析診斷中已經(jīng)越顯乏力，本文運(yùn)用Hadoop平臺(tái)及相關(guān)技術(shù)，提供了一款基于Hadoop的大數(shù)據(jù)分析解決方案。通過在服務(wù)器上的運(yùn)作，可以對(duì)大規(guī)模日志進(jìn)行分析，并自動(dòng)生成圖表進(jìn)行展示，從而可以非常直觀的觀察各項(xiàng)用戶數(shù)據(jù)。

1.技術(shù)背景

Hadoop是一個(gè)高效的、非常可靠的并且可擴(kuò)展性很強(qiáng)的的分布式軟件開發(fā)框架，它的優(yōu)勢在于能在相對(duì)較短的時(shí)間內(nèi)接受并且完成大量的數(shù)據(jù)處理任務(wù)。運(yùn)用Hadoop框架進(jìn)行開發(fā)，開發(fā)者可以通過自己開發(fā)編寫的Map/Reduce來進(jìn)行大數(shù)據(jù)分析處理。通過更改相應(yīng)的配置文件，數(shù)個(gè)甚至更多的副本數(shù)據(jù)可以通過Hadoop保存下來，這樣的設(shè)計(jì)可以使得Hadoop更加的可靠。因?yàn)榧词鼓骋粋€(gè)集群中的Hadoop節(jié)點(diǎn)出錯(cuò)，其也可以通過HDFS，即數(shù)據(jù)塊副本來完成數(shù)據(jù)處理任務(wù)。因?yàn)镠adoop框架可以在非常寬泛的范圍內(nèi)進(jìn)行擴(kuò)展，所以其可以處理海量的數(shù)據(jù)，其數(shù)據(jù)規(guī)模普遍可以達(dá)到TB的數(shù)量級(jí)，在某些情況下還可以突破PB的數(shù)量級(jí)。Hadoop進(jìn)行數(shù)據(jù)處理的時(shí)候，其運(yùn)行速度是非常迅速的，并且在處理過程中，開發(fā)者可以不用了解或研究其系統(tǒng)底層的實(shí)現(xiàn)過程就可以完成發(fā)任務(wù)。

Hadoop的相關(guān)系統(tǒng)：Hadoop分布式系統(tǒng)（HDFS）包含了許多元素，文件系統(tǒng)存儲(chǔ)在群集節(jié)點(diǎn)上的文件。HDFS上層的Map/Reduce程序框架引擎，包含了工作跟蹤和任務(wù)的跟蹤。

2.大數(shù)據(jù)分析解決方案

2.1 系統(tǒng)日志數(shù)據(jù)預(yù)處理

確定了系統(tǒng)對(duì)數(shù)據(jù)的需求之后，就可以對(duì)日志進(jìn)行預(yù)處理了。通過對(duì)用戶日志的UID訪問，獲取每個(gè)日志的基本數(shù)據(jù)。然后逐個(gè)讀取各項(xiàng)數(shù)據(jù)，分別確認(rèn)是否屬于系統(tǒng)所需的日志數(shù)據(jù)類型。如果是，則保留在系統(tǒng)平臺(tái)內(nèi);如果不是，則刪除其數(shù)據(jù)。為了獲取用戶的各種信息，我們需要對(duì)用戶訪問系統(tǒng)所遺留下來的日志進(jìn)行嚴(yán)格的分析。其中，非常關(guān)鍵的問題在于，在運(yùn)用本文所設(shè)計(jì)的基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)對(duì)日志進(jìn)行分析之前，盡可能的對(duì)日志進(jìn)行簡化，即去除一些無關(guān)緊要的數(shù)據(jù)部分，是對(duì)整個(gè)系統(tǒng)的運(yùn)行效率有著重大提升的意義的。

因此，在將日志導(dǎo)入系統(tǒng)進(jìn)行分析之前，我們需要對(duì)日志進(jìn)行預(yù)處理。預(yù)處理有兩個(gè)目的：一是去掉日志中部分系統(tǒng)不關(guān)心的數(shù)據(jù);二是統(tǒng)一日志格式，在用戶訪問的過程中，其生成的格式有可能會(huì)因?yàn)槠鋪碓辞赖纫蛩氐牟煌瑢?dǎo)致日志整體架構(gòu)不一致，如果不統(tǒng)一日志的格式，直接導(dǎo)入系統(tǒng)進(jìn)行處理，那么將會(huì)有大量的系統(tǒng)資源被浪費(fèi)在無用的處理過程中。

2.2 生成最小粒度數(shù)據(jù)的實(shí)現(xiàn)

根據(jù)從日志的預(yù)處理之后得到的新日志文件數(shù)據(jù)，系統(tǒng)將對(duì)海量的數(shù)據(jù)進(jìn)行逐個(gè)肢解的過程，并將其按維度劃分最細(xì)分粒度及流轉(zhuǎn)最細(xì)粒度，生成最細(xì)分粒度數(shù)據(jù)。此步驟的難度在于，日志數(shù)據(jù)極為龐大，單個(gè)日志要?jiǎng)澐殖墒當(dāng)?shù)個(gè)乃至數(shù)十個(gè)的小數(shù)據(jù)，其數(shù)量就更為龐大。如何存儲(chǔ)這些最細(xì)分粒度數(shù)據(jù)，以便系統(tǒng)后用成了最重要也是最難的問題。

在這個(gè)步驟中，系統(tǒng)將用Hadoop平臺(tái)的Apache Pig來實(shí)現(xiàn)這一過程。Apache Pig是一個(gè)用于分析大型數(shù)據(jù)集的平臺(tái)，包括一個(gè)高層次的語言表達(dá)數(shù)據(jù)分析程序來評(píng)估這些方案以及基礎(chǔ)數(shù)據(jù)處理。Pig的突出特性是它們的結(jié)構(gòu)是適合進(jìn)行大量的并行輪流處理，使他們能夠處理非常大的數(shù)據(jù)集。目前，Pig的基礎(chǔ)設(shè)施層由編譯器產(chǎn)生的Map-Reduce計(jì)劃，大規(guī)模并行實(shí)現(xiàn)已經(jīng)存在于序列中。

首先，將后臺(tái)用戶日志導(dǎo)入系統(tǒng)。系統(tǒng)將對(duì)海量數(shù)據(jù)進(jìn)行逐個(gè)肢解的過程，并將其按維度劃分最細(xì)分粒度及流轉(zhuǎn)最細(xì)粒度，形成最細(xì)分粒度數(shù)據(jù)，然后存放在Hive中。

在這個(gè)過程中，難點(diǎn)在于日志的數(shù)量大，通常是數(shù)百GB。因此，在此部分，系統(tǒng)將運(yùn)用Apache Pig來實(shí)現(xiàn)對(duì)系統(tǒng)原始日志及特征表的肢解，使其生成最細(xì)分粒度數(shù)據(jù)，并將其導(dǎo)入Hive中存放。

首先系統(tǒng)將注冊(cè)各種UDF，以便 展整個(gè)系統(tǒng)流程。然后導(dǎo)入系統(tǒng)后臺(tái)所存儲(chǔ)的用戶訪問電商網(wǎng)站服務(wù)器所留下來的日志數(shù)據(jù)，主要是訪問日志，其次是訪問特征碼，特征碼對(duì)于頁面流轉(zhuǎn)的統(tǒng)計(jì)分析是非常重要的。

然后系統(tǒng)將要逐個(gè)地清理原始日志，主要是排除垃圾信息和不完整信息，因?yàn)樵谠恢敬鎯?chǔ)的過程中，不可避免的會(huì)收到一些或有意或無意的垃圾信息的攻擊，這一部分需要提前剔除，以免工作量太大。

2.3 數(shù)據(jù)分析及報(bào)表的實(shí)現(xiàn)

在得到各個(gè)數(shù)據(jù)類型的Hive表之后，系統(tǒng)需要通過Apache Hive來匯總所需細(xì)分粒度數(shù)據(jù)。匯總的方式可以由用戶自行設(shè)定，可以將任意兩種乃至數(shù)種上文中所提到的Hive表進(jìn)行組合匯總，形成新的Hive表。在此步驟中，被劃分成最細(xì)分粒度的數(shù)據(jù)己經(jīng)存放于Hive中。所以，系統(tǒng)將運(yùn)用Apache Hive來將所有最細(xì)分粒度數(shù)據(jù)匯總，使其成為各個(gè)項(xiàng)目單獨(dú)的匯總表文件。從最細(xì)粒度的數(shù)據(jù)統(tǒng)計(jì)，現(xiàn)在就有了兩個(gè)乃至多個(gè)Hive表均包含其數(shù)據(jù)內(nèi)容。當(dāng)系統(tǒng)收到上一個(gè)步驟所分析統(tǒng)計(jì)得出的Hive表時(shí)，其將通過調(diào)用Apache Hive的各個(gè)接口，使其接收到Hive表中的內(nèi)容，并且通過用戶事先設(shè)定好的數(shù)據(jù)類型匯總方式，將各個(gè)Hive表中的數(shù)據(jù)先逐個(gè)讀取，再將其輸入存放到新的Hive表中。

系統(tǒng)在此部分將通過Hadoop平臺(tái)所提供的接口建立到數(shù)據(jù)庫的鏈接，然后在對(duì)上一節(jié)中所生成的各項(xiàng)Hive表實(shí)施遍歷，逐行逐詞的讀出數(shù)據(jù)表中的每一項(xiàng)數(shù)據(jù)，將其存入Mysql中，然后提供一個(gè)前端可用的接口，以方便各種前端客戶連接至Mysql，將數(shù)據(jù)資料讀出并做成可直觀閱讀和分析的系統(tǒng)報(bào)表。

在數(shù)據(jù)存入Mysql之后，系統(tǒng)可以根據(jù)銜接的前端程序的不同，生成各類不同樣式的圖表，可以包括系統(tǒng)到目前為止，儲(chǔ)存在數(shù)據(jù)庫中的全部或者部分?jǐn)?shù)據(jù)，供網(wǎng)站分析人員觀察與分析。

3.結(jié)論

目前電力行業(yè)信息發(fā)展所面臨的問題是本論文的重點(diǎn)。首先介紹了選題的背景和意義，然后逐步引入Hadoop技術(shù)，特別是在HDFS文件系統(tǒng)方面的，Map/Reduce框架，Hive數(shù)據(jù)倉庫框架介紹的原理和使用，以及作為如何使用Hadoop數(shù)據(jù)處理，來解決這個(gè)問題的。然后，本文介紹了如何充分利用Hadoop的配置設(shè)備，以及內(nèi)置的數(shù)據(jù)倉庫框架，以實(shí)現(xiàn)統(tǒng)計(jì)的需求，并生成直觀的圖表顯示。

因?yàn)镠adoop運(yùn)作過程并非自動(dòng)化的工作形式，可以研究關(guān)于這個(gè)項(xiàng)目的代碼固化下來的可能性，以達(dá)到完成自動(dòng)化功能的目的，僅需要用戶簡單地輸入特定需求的參數(shù)，后臺(tái)任務(wù)運(yùn)行這些數(shù)據(jù)使用Hadoop來進(jìn)行數(shù)據(jù)處理，所以面對(duì)數(shù)據(jù)的處理需求，并不需要手動(dòng)啟動(dòng)腳本來運(yùn)行任務(wù)。

大數(shù)據(jù)分析論文:試論工業(yè)制造中的大數(shù)據(jù)分析

（長城汽車股份有限公司天津哈弗分公司 300462）

摘 要：工業(yè)制造的大數(shù)據(jù)分析對(duì)企業(yè)的生產(chǎn)具有十分重要的作用， 通過大數(shù)據(jù)分析，企業(yè)能夠準(zhǔn)確的發(fā)現(xiàn)企業(yè)生產(chǎn)中存在的問題， 結(jié)合工業(yè)制造企業(yè)中大數(shù)據(jù)面臨的挑戰(zhàn)與應(yīng)用技術(shù)， 并對(duì)工業(yè)制造企業(yè)生產(chǎn)中大數(shù)據(jù)的來源途徑進(jìn)行分析， 探究了工業(yè)制造大數(shù)據(jù)的應(yīng)用價(jià)值。

關(guān)鍵詞：工業(yè)制造； 大數(shù)據(jù)； 應(yīng)用價(jià)值

工業(yè)大數(shù)據(jù)在工業(yè)生產(chǎn)中具有十分重要的作用， 它是以工業(yè)制造過程和工業(yè)產(chǎn)品的數(shù)據(jù)為主體，通過對(duì)這些數(shù)據(jù)的分析， 獲取工業(yè)生產(chǎn)中的具體數(shù)據(jù)，進(jìn)而能夠有效的對(duì)工業(yè)制造工程進(jìn)行分析與控制。 工業(yè)大數(shù)據(jù)的來源主要是產(chǎn)品生產(chǎn)周期過程中的各個(gè)環(huán)節(jié)， 例如產(chǎn)品的設(shè)計(jì)、生產(chǎn)制造、銷售、售后服務(wù)、回收利用等環(huán)節(jié)的數(shù)據(jù)。同樣， 工業(yè)大數(shù)據(jù)的獲得， 還可以從企業(yè)的外部銷售與生產(chǎn)市場、企業(yè)之間的“跨界”供應(yīng)鏈中獲取。

一、工業(yè)制造大數(shù)據(jù)面臨的挑戰(zhàn)與技術(shù)

工業(yè)大數(shù)據(jù)在企業(yè)生產(chǎn)中具有十分廣泛的用途， 但是由于企業(yè)缺乏必要的數(shù)據(jù)分析工具，還不能夠從大數(shù)據(jù)中獲取十分有益的信息， 造成大數(shù)據(jù)在企業(yè)生產(chǎn)中還沒有得到充分的應(yīng)用， 沒有將大數(shù)據(jù)中潛藏的信息運(yùn)用到企業(yè)的生產(chǎn)決策中。

1、多源異構(gòu)工業(yè)數(shù)據(jù)集成與數(shù)據(jù)融合技術(shù)

由于工業(yè)大數(shù)據(jù)搜集是需要多源異構(gòu)數(shù)據(jù)集成， 在數(shù)據(jù)分析時(shí)需要解決以下的問題：首先，要能夠準(zhǔn)確的對(duì)數(shù)據(jù)進(jìn)行收集， 保證數(shù)據(jù)集成的質(zhì)量，為企業(yè)的決策提供準(zhǔn)確的數(shù)據(jù)支持服務(wù)。 數(shù)據(jù)質(zhì)量在數(shù)據(jù)集中過程中出現(xiàn)失誤的原因是多樣的，可能是手工操作失誤造成的， 也可能是數(shù)據(jù)集成過程中采用算法模式失誤而造成的， 還有可能是在數(shù)據(jù)采集的過程中， 出現(xiàn)網(wǎng)絡(luò)不穩(wěn)定或者任務(wù)中斷而導(dǎo)致數(shù)據(jù)質(zhì)量不高。 其次，就是要及時(shí)對(duì)產(chǎn)品生產(chǎn)的各個(gè)環(huán)節(jié)產(chǎn)生的數(shù)據(jù)進(jìn)行集成。 在生產(chǎn)的過程中， 不能及時(shí)對(duì)生產(chǎn)的可用實(shí)時(shí)數(shù)據(jù)與當(dāng)前生產(chǎn)資源資料的數(shù)據(jù)進(jìn)行分析， 就不能有效的對(duì)下一個(gè)生產(chǎn)過程提供有效的材料、原料的支持。 但是，由于現(xiàn)有的數(shù)據(jù)技術(shù)不多，數(shù)據(jù)的來源不統(tǒng)一，在工業(yè)大數(shù)據(jù)的企業(yè)中， 不能兼顧不同類型的海量數(shù)據(jù)，不能滿足實(shí)時(shí)性要求， 對(duì)工業(yè)大數(shù)據(jù)的應(yīng)用帶來了很大的挑戰(zhàn)。

2、支持實(shí)時(shí)建模的大容量數(shù)據(jù)處理技術(shù)

（1）在以往的數(shù)據(jù)處理中一般采用MapReduce技術(shù)對(duì)大數(shù)據(jù)進(jìn)行批量處理， 這樣處理的數(shù)據(jù)實(shí)時(shí)性不強(qiáng)，不能有效的運(yùn)用于工業(yè)制造決策中， 不能滿足大數(shù)據(jù)分析的實(shí)時(shí)建模需求。

（2）現(xiàn)有的大數(shù)據(jù)分析框架主要是基于簡單的數(shù)據(jù)查詢， 對(duì)大數(shù)據(jù)的分析能力與深度不夠， 既不能滿足工業(yè)多層面不規(guī)則的大數(shù)據(jù)采樣與分析， 也不能實(shí)現(xiàn)多時(shí)空時(shí)間序列數(shù)據(jù)復(fù)雜建模的需求。 由于工業(yè)制造的決策分析的影響數(shù)據(jù)比較多， 現(xiàn)有的數(shù)據(jù)分析技術(shù)不能將市場數(shù)據(jù)、服務(wù)數(shù)據(jù)、 質(zhì)量控制數(shù)據(jù)、營銷數(shù)據(jù)結(jié)合在一起進(jìn)行分析， 即使能夠分析，相應(yīng)的難度也比較大。

3、大數(shù)據(jù)給工業(yè)制造信息安全帶來新挑戰(zhàn)

（1）大稻菁喲笠私泄露風(fēng)險(xiǎn)的挑戰(zhàn)

大量工業(yè)制造的數(shù)據(jù)集中存儲(chǔ)往往會(huì)給企業(yè)的安全信息增加泄露的風(fēng)險(xiǎn)， 而且在企業(yè)生產(chǎn)的過程中，往往還會(huì)有一些敏感數(shù)據(jù)的所有權(quán)和使用權(quán)難以給予明確的界定。

（2）對(duì)現(xiàn)有存儲(chǔ)和安防措施提出挑戰(zhàn)

大量的工業(yè)數(shù)據(jù)存儲(chǔ)在一起，這樣就會(huì)存在多種格式不同、類型不同的數(shù)據(jù)共存的情況， 就會(huì)造成企業(yè)的數(shù)據(jù)存儲(chǔ)不符合安全管理的需求， 造成企業(yè)的數(shù)據(jù)管理存在安全的漏洞。

（3）大數(shù)據(jù)技術(shù)被誤用帶來的挑戰(zhàn)

大數(shù)據(jù)的應(yīng)用為黑客提供了更多的數(shù)據(jù)分析機(jī)會(huì)，使得黑客的攻擊更加精確，為企業(yè)的工業(yè)生產(chǎn)帶來了更大的潛在危險(xiǎn)。

二、工業(yè)大數(shù)據(jù)的分析途徑

1、利用開放技術(shù)與平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的任意移動(dòng)

在工業(yè)制造中，系統(tǒng)的管理平臺(tái)是一個(gè)系統(tǒng)化的工作， 而不僅僅是一套操作軟件與管理系統(tǒng)，更多的是項(xiàng)目執(zhí)行和服務(wù)的平臺(tái)。在實(shí)際工作中，能夠體現(xiàn)企業(yè)生產(chǎn)的過程與挖掘企業(yè)生產(chǎn)過程中的數(shù)據(jù)， 保證數(shù)據(jù)能夠在不同的服務(wù)器與管理軟件上移動(dòng)。 因此，在企業(yè)的系統(tǒng)應(yīng)用平臺(tái)中，要詳細(xì)的對(duì)系統(tǒng)架構(gòu)進(jìn)行設(shè)計(jì)， 將系統(tǒng)的數(shù)據(jù)集成能力、實(shí)施能力、數(shù)據(jù)挖掘能力等融合在一起， 并能夠與物聯(lián)網(wǎng)結(jié)合在一起，實(shí)現(xiàn)“軟件+云服務(wù)”的工業(yè)大數(shù)據(jù)應(yīng)用管理平臺(tái)。 在工作制造的大數(shù)據(jù)分析過程中，需要將物聯(lián)網(wǎng)與“互聯(lián)網(wǎng)+”的應(yīng)用結(jié)合在一起， 通過物聯(lián)網(wǎng)的及時(shí)響應(yīng)， 能夠?qū)⒖蛻簟⑵髽I(yè)中工作的軟硬件定期巡檢、易耗品、設(shè)備的功能等數(shù)據(jù)進(jìn)行分析， 進(jìn)而能夠有效的確定工業(yè)生產(chǎn)過程中的供應(yīng)鏈上各個(gè)企業(yè)的合作關(guān)系，為客戶提供持續(xù)性的有價(jià)值的數(shù)據(jù)服務(wù)。

2、完善工業(yè)企業(yè)管理系統(tǒng)的功能，強(qiáng)化處理結(jié)構(gòu)性和非結(jié)構(gòu)性數(shù)據(jù)的數(shù)據(jù)模型

完善工業(yè)制造企業(yè)的系統(tǒng)管理平臺(tái)，將數(shù)據(jù)處理的功能集成在一起， 實(shí)現(xiàn)制造管理系統(tǒng)的MOM與ERP、EAM 等有機(jī)的聚合，實(shí)現(xiàn)數(shù)據(jù)的集成，能夠?qū)⑵髽I(yè)的信息推送、系統(tǒng)工作流的集成、應(yīng)用數(shù)據(jù)的控制與管理有機(jī)的集成在一起， 完善數(shù)據(jù)處理的模型，實(shí)現(xiàn)對(duì)工業(yè)制造企業(yè)的結(jié)構(gòu)性數(shù)據(jù)與非結(jié)構(gòu)性數(shù)據(jù)的處理。 由于工業(yè)制造企業(yè)各個(gè)管理系統(tǒng)之間的主數(shù)據(jù)不統(tǒng)一，不同系統(tǒng)之間的數(shù)據(jù)交換就需要依賴各系統(tǒng)間的總線進(jìn)行數(shù)據(jù)交互， 就需要整合各個(gè)系統(tǒng)之間的數(shù)據(jù)業(yè)務(wù)流程、工作流、服務(wù)流程等， 才能有效的實(shí)現(xiàn)工業(yè)大數(shù)據(jù)的集成，對(duì)工業(yè)制造企業(yè)的管理者來說，通過一鍵登錄之后，通過系統(tǒng)的個(gè)性化定制頁面，就能夠了解與查看經(jīng)過大數(shù)據(jù)集成后的數(shù)據(jù)。

3、利用智能工具對(duì)工業(yè)大數(shù)據(jù)進(jìn)行分析

在工業(yè)制造企業(yè)可以采用時(shí)間序列、圖像、視頻、機(jī)器學(xué)習(xí)等智能分析工具， 來建立工業(yè)生產(chǎn)的數(shù)據(jù)模型，模擬與控制工業(yè)生產(chǎn)的過程， 進(jìn)而與工業(yè)大數(shù)據(jù)平臺(tái)結(jié)合在一起， 這樣就能夠有效的對(duì)工業(yè)企業(yè)生產(chǎn)中的情況進(jìn)行分析， 并可與物聯(lián)網(wǎng)、感應(yīng)器、互聯(lián)網(wǎng)等連接在一起， 然后與企業(yè)的管理應(yīng)用軟件結(jié)合在一起，對(duì)企業(yè)生產(chǎn)的大數(shù)據(jù)進(jìn)行分析。

三、工業(yè)大數(shù)據(jù)的應(yīng)用價(jià)值

隨著“互聯(lián)網(wǎng)+”的思維與工業(yè)制造業(yè)的融合，創(chuàng)新了工業(yè)生產(chǎn)中的數(shù)據(jù)分析， 同時(shí)也能夠?qū)⑵髽I(yè)生產(chǎn)中的所有數(shù)據(jù)聚合在一起， 這為工業(yè)大數(shù)據(jù)的集成提供了便利， 同時(shí)也使得工業(yè)大數(shù)據(jù)的集成成為企業(yè)數(shù)據(jù)應(yīng)用的核心。 以工業(yè)數(shù)據(jù)的采集與解析、分析和可視化以及數(shù)據(jù)的安全管理成為未來企業(yè)數(shù)據(jù)的關(guān)鍵技術(shù)， 隨著信息在企業(yè)生產(chǎn)中的應(yīng)用不斷加深， 企業(yè)生產(chǎn)的數(shù)據(jù)不再以企業(yè)的內(nèi)部數(shù)據(jù)為主，同時(shí)還要將外部的市場數(shù)據(jù)融合在一起，隨著智能制造的應(yīng)用越來越廣， 企業(yè)需要重新審視工業(yè)大數(shù)據(jù)在生產(chǎn)中的作用，同時(shí)企業(yè)也會(huì)重視大數(shù)據(jù)的價(jià)值， 對(duì)企業(yè)的制造產(chǎn)品進(jìn)行創(chuàng)新，并能夠?qū)ζ髽I(yè)的生產(chǎn)進(jìn)行監(jiān)視與預(yù)警管理，同時(shí)還能實(shí)時(shí)的對(duì)生產(chǎn)設(shè)備故障進(jìn)行診斷與維護(hù)，優(yōu)化企業(yè)生產(chǎn)的供應(yīng)鏈管理， 提升工業(yè)企業(yè)的生產(chǎn)效率。 在企業(yè)生產(chǎn)過程中利用大數(shù)據(jù)分析， 可以有效的對(duì)企業(yè)生產(chǎn)的倉儲(chǔ)、產(chǎn)品的配送、銷售等進(jìn)行優(yōu)化管理， 降低企業(yè)的成本，并能夠提高企業(yè)的銷售效率。

四、結(jié)束語

工業(yè)大數(shù)據(jù)在企業(yè)生產(chǎn)中具有十分重要的作用， 它的價(jià)值產(chǎn)生方式主要是通過集成企業(yè)在生產(chǎn)過程中產(chǎn)生的數(shù)據(jù)， 并對(duì)企業(yè)生產(chǎn)的供應(yīng)鏈、銷售的整個(gè)數(shù)據(jù)進(jìn)行收集與集成，在通過數(shù)據(jù)分析之后， 能夠?yàn)槠髽I(yè)的生產(chǎn)提供決策支持，進(jìn)而能夠有效的提高企業(yè)的生產(chǎn)效率與產(chǎn)品質(zhì)量等，滿足用戶的需求，擴(kuò)大企業(yè)的影響力。

大數(shù)據(jù)分析論文:基于大數(shù)據(jù)分析的數(shù)碼產(chǎn)品價(jià)格預(yù)測網(wǎng)站設(shè)計(jì)

摘要：在當(dāng)前大數(shù)據(jù)火熱的背景下，研究者都在思考如何應(yīng)用大數(shù)據(jù)解決實(shí)際問題。文章在理解大數(shù)據(jù)思維下，設(shè)計(jì)了以數(shù)碼產(chǎn)品價(jià)格預(yù)測、產(chǎn)品基本搜索功能和產(chǎn)品詳情模塊為主要功能的數(shù)碼產(chǎn)品價(jià)格預(yù)測網(wǎng)站，其中重點(diǎn)介紹了如何實(shí)現(xiàn)數(shù)碼產(chǎn)品價(jià)格預(yù)測功能。該功能的實(shí)現(xiàn)主要是利用分布式網(wǎng)絡(luò)爬蟲技術(shù)獲取各大知名網(wǎng)站的數(shù)碼產(chǎn)品價(jià)格，并利用模型對(duì)數(shù)碼產(chǎn)品的價(jià)格走勢進(jìn)行預(yù)測。

關(guān)鍵詞：價(jià)格預(yù)測；分布式網(wǎng)絡(luò)爬蟲；數(shù)碼產(chǎn)品網(wǎng)站；大數(shù)據(jù)；數(shù)學(xué)建模

1概述

據(jù)《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2016年6月，我國網(wǎng)絡(luò)購物用戶規(guī)模達(dá)到4.48億，可見通過網(wǎng)上獲取信息的人很多。在互聯(lián)網(wǎng)+和大數(shù)據(jù)時(shí)代下，IT行業(yè)逐步成為人們熱議的焦點(diǎn)，其發(fā)展也得到愈來愈多的人關(guān)注。而目前國內(nèi)的IT類資訊網(wǎng)站大多沒有預(yù)測產(chǎn)品價(jià)格這個(gè)功能，本文將著重研究價(jià)格預(yù)測的實(shí)現(xiàn)功能的實(shí)現(xiàn)。

2網(wǎng)站設(shè)計(jì)與開發(fā)的可行性與適應(yīng)性分析

2.1從技術(shù)角度看

開發(fā)一個(gè)基于大數(shù)據(jù)的分析的數(shù)碼產(chǎn)品價(jià)格預(yù)測網(wǎng)站需要大量的數(shù)據(jù)做支撐，這些數(shù)據(jù)可以通過各大電商平臺(tái)進(jìn)行獲取。各大電商平臺(tái)往往會(huì)將這些數(shù)據(jù)按照一定的格式展現(xiàn)在網(wǎng)站上，我們可以通過分布式數(shù)據(jù)爬蟲技術(shù)將這些數(shù)據(jù)實(shí)時(shí)采集。數(shù)據(jù)爬蟲是一種非常流行的數(shù)據(jù)采集程序，目前互聯(lián)網(wǎng)上擁有大量的爬蟲框架供我們使用，我們只需編寫簡單的代碼便可以開始獲取數(shù)據(jù)。當(dāng)擁有海量數(shù)據(jù)后我們可以對(duì)各個(gè)商品進(jìn)行建模，基于hadoop框架進(jìn)行分布式運(yùn)算，設(shè)計(jì)相關(guān)預(yù)測算法對(duì)數(shù)碼產(chǎn)品價(jià)格進(jìn)行分析并預(yù)測出價(jià)格的未來走勢。

2.2從資源角度看

對(duì)于數(shù)碼產(chǎn)品，互聯(lián)網(wǎng)可以提供各種各樣的信息，比如各大手機(jī)生產(chǎn)企業(yè)會(huì)在他們的網(wǎng)站上數(shù)碼產(chǎn)品的配置信息、評(píng)測信息等。在網(wǎng)站建立的初期我們可以從這些網(wǎng)站獲取大量的數(shù)據(jù)來填充我們的數(shù)據(jù)庫。對(duì)于部分具有版權(quán)的數(shù)據(jù)，我們將采用外鏈的方式將原網(wǎng)站提供給用戶瀏覽，這樣可以節(jié)約開發(fā)資源，并讓網(wǎng)站專注于價(jià)格預(yù)測的實(shí)現(xiàn)。

2.3從商業(yè)價(jià)值角度看

一個(gè)可以有效預(yù)測價(jià)格變化的網(wǎng)站是比較有市場前景的，目前互聯(lián)網(wǎng)上充斥著各種各樣的歷史價(jià)格查看網(wǎng)站，但是大多沒有可以對(duì)價(jià)格進(jìn)行預(yù)測的網(wǎng)站。如果我們可以成功的預(yù)測價(jià)格走勢，我們就可以引導(dǎo)消費(fèi)，幫助消費(fèi)者省錢，這也便是網(wǎng)站最大的商業(yè)價(jià)值。

3網(wǎng)站概述

網(wǎng)站以用戶需求為出發(fā)點(diǎn)，利用網(wǎng)絡(luò)爬蟲、PHP、HTML5、JAVASCRIPT、MYSQL等技術(shù)設(shè)計(jì)開發(fā)。在網(wǎng)站里可以查詢到參數(shù)、評(píng)測、價(jià)格和圖片等關(guān)于數(shù)碼產(chǎn)品的詳細(xì)信息。網(wǎng)站的功能包括數(shù)碼產(chǎn)品價(jià)格預(yù)測（預(yù)測到某款數(shù)碼產(chǎn)品在未來一段時(shí)間內(nèi)的價(jià)格）、信息查詢（含有數(shù)碼產(chǎn)品名稱、各項(xiàng)參數(shù)、各角度拍攝圖片等信息）、價(jià)格對(duì)比（及參數(shù)對(duì)比、圖片對(duì)比和綜合對(duì)比）等，目的是為人們提供一個(gè)簡單易操作、具有現(xiàn)實(shí)意義的數(shù)碼產(chǎn)品信息查詢平臺(tái)。網(wǎng)站技術(shù)框架如下圖所示：

4網(wǎng)站設(shè)計(jì)

4.1網(wǎng)站主要功能設(shè)計(jì)

4.1.1產(chǎn)品價(jià)格預(yù)測模塊設(shè)計(jì)

產(chǎn)品降價(jià)預(yù)測模塊是網(wǎng)站的重點(diǎn)功能。用戶可以通過網(wǎng)站查詢某個(gè)產(chǎn)品的基本信息，并且能夠得知該產(chǎn)品的歷史價(jià)格走勢和該產(chǎn)品在未來一段時(shí)間的價(jià)格走勢，這對(duì)于比較注重價(jià)格的用戶來說，便可以綜合各類信息和自身需求，更加理性和有計(jì)劃地選擇性價(jià)比較高的產(chǎn)品。

網(wǎng)站利用分布式爬蟲采集互聯(lián)網(wǎng)各大平臺(tái)的IT產(chǎn)品價(jià)格數(shù)據(jù)，形成一個(gè)較全面的價(jià)格走勢圖，再通過對(duì)產(chǎn)品價(jià)格進(jìn)行建模，從建模結(jié)果中得到IT產(chǎn)品在未來一段時(shí)間的價(jià)格走勢。需要說明的是，因?yàn)閮r(jià)格容易受到社會(huì)、經(jīng)濟(jì)條件以及國際等多種因素的影響，所以預(yù)測的價(jià)格走勢會(huì)有一定的波動(dòng)。另外，對(duì)于不同時(shí)期的價(jià)格預(yù)測也不同，短期內(nèi)影響因素主要是數(shù)碼產(chǎn)品的市場供應(yīng)，一般采用指數(shù)平滑法。這種方法預(yù)測主要是靠歷史價(jià)格數(shù)據(jù)逐步往后推導(dǎo)預(yù)測價(jià)格。對(duì)于較長時(shí)間，則采用二次指數(shù)平滑法較好，因?yàn)閷?duì)于一些時(shí)間序列變化可能存在線性的趨勢，這種方法的好處在于能減少預(yù)測值的滯后性。如果數(shù)據(jù)的變化受季節(jié)影響，預(yù)測方法應(yīng)當(dāng)采用溫特線性季節(jié)性指數(shù)平滑較好，因?yàn)檫@個(gè)預(yù)測方法是根據(jù)季節(jié)的變化來進(jìn)行價(jià)格預(yù)測，這樣預(yù)測的價(jià)格更為準(zhǔn)確。

4.1.2產(chǎn)品基本搜索功能設(shè)計(jì)

產(chǎn)品的搜索功能也是網(wǎng)站的基本功能之一。產(chǎn)品的搜索功能不僅僅只是簡單的產(chǎn)品搜索，它是一個(gè)包括商品搜索、查看熱門產(chǎn)品、查看最新產(chǎn)品、今日推薦等多模塊組合成的一個(gè)大模塊。用戶通過這些搜索信息并結(jié)合自己需求，可以理性謹(jǐn)慎地對(duì)產(chǎn)品進(jìn)行對(duì)比選購。換言之，產(chǎn)品搜索模塊將完成對(duì)商品的導(dǎo)購功能。

4.1.3產(chǎn)品詳情模塊設(shè)計(jì)

產(chǎn)品詳情頁面包括很多內(nèi)容，其子頁面也非常多。其中包括：概覽頁面、具體參數(shù)頁面、報(bào)價(jià)頁面、點(diǎn)評(píng)頁面、圖片頁面以及競品對(duì)比頁面等等，每一個(gè)頁面的功能都不同，設(shè)計(jì)時(shí)將合理安排功能的布局，以方便用戶獲取自己所需要的資料。

4.2價(jià)格的采集與預(yù)測

4.2.1分布式網(wǎng)絡(luò)爬蟲

實(shí)現(xiàn)價(jià)格預(yù)測的前提是有大量的歷史價(jià)格數(shù)據(jù)，所以W站利用分布式網(wǎng)絡(luò)爬蟲技術(shù)從各大網(wǎng)站采集數(shù)據(jù)，爬蟲主要由兩個(gè)模塊組成：

爬蟲引擎：分布式運(yùn)行且完成下載網(wǎng)站頁面內(nèi)容，并將數(shù)據(jù)存入數(shù)據(jù)庫的工作。

數(shù)據(jù)清洗：將下載下來的價(jià)格信息進(jìn)行清洗處理，剔除無效信息和冗余信息。

分布式爬蟲技術(shù)實(shí)現(xiàn)需要對(duì)于特定的網(wǎng)頁編寫用于分析其網(wǎng)站源碼和獲取信息的腳本代碼，數(shù)據(jù)或許后再通過數(shù)據(jù)清洗去除掉不必要的數(shù)據(jù)信息，最后把需要的數(shù)據(jù)存放到數(shù)據(jù)庫中保存。

4.2.2預(yù)測價(jià)格

在比較多種預(yù)測方法后，我們發(fā)現(xiàn)時(shí)間序列法較適合預(yù)測數(shù)碼產(chǎn)品的價(jià)格。時(shí)間序列即是某些序列按照時(shí)間的先后順序排列而成的一種特殊序列。若利用這組數(shù)列，應(yīng)用數(shù)理統(tǒng)計(jì)方法加以處理，以解決實(shí)際問題，則稱為時(shí)間序列分析法。時(shí)間序列分析是以時(shí)間序列為研究對(duì)象，分析序列的本質(zhì)波動(dòng)，探究其真實(shí)規(guī)律的一種定量分析法。在實(shí)際中，通常被用于預(yù)測未來現(xiàn)象或指標(biāo)的波動(dòng)情況。由于數(shù)據(jù)量龐大、涉及的商品較多，為了提高計(jì)算速度，預(yù)測模型需要構(gòu)架在Hadoop等分布式平臺(tái)之上。

5網(wǎng)站的開發(fā)

5.1數(shù)據(jù)爬蟲程序

開發(fā)一個(gè)數(shù)據(jù)爬蟲，需要用到scrapy框架，該框架是基于python語言編寫的，用python語言開發(fā)程序最大的特點(diǎn)那就是簡單易讀。Scrapy框架非常的簡單易用只需編寫爬蟲規(guī)則就可以開始高效獲取數(shù)據(jù)，并且該框架是可分布式運(yùn)行，速度可控，支持JavaScript，非常適合用來采集各大網(wǎng)站的數(shù)碼產(chǎn)品數(shù)據(jù)，最重要的是該框架是免費(fèi)而且開源的，故運(yùn)用scrapy框架進(jìn)行開發(fā)滿足網(wǎng)站需要的爬蟲系統(tǒng)。

5.2價(jià)格數(shù)據(jù)分析系統(tǒng)

對(duì)于海量的數(shù)據(jù)傳統(tǒng)程序沒辦法很好的處理，傳統(tǒng)的win-dows系統(tǒng)也很難有效的承載。故我們選用hadoop生態(tài)體系進(jìn)行數(shù)據(jù)分析，該程序可以高可靠的運(yùn)行在多臺(tái)電腦上。為了程序可以長期穩(wěn)定地運(yùn)行，我們選擇在linux上進(jìn)行數(shù)據(jù)分析，這樣的好處是系統(tǒng)穩(wěn)定性強(qiáng)，硬件資源可以高效利用。

5.3網(wǎng)站搭建

和大多數(shù)網(wǎng)站一樣，本網(wǎng)站采用BS（Browser/Server）架構(gòu)，該架構(gòu)具備以下幾個(gè)特點(diǎn)：客戶端電腦負(fù)荷大大簡化、系統(tǒng)維護(hù)和升級(jí)成本低、同時(shí)也降低了用戶的總體成本。

我們運(yùn)用HTML、CSS、JavaScript開發(fā)網(wǎng)站前臺(tái)頁面，用PHP開發(fā)網(wǎng)站后臺(tái)，MySQL作為后臺(tái)數(shù)據(jù)庫。網(wǎng)站運(yùn)行在Linux系統(tǒng)下的Apache軟件下，網(wǎng)站的所有軟件均為免費(fèi)軟件，實(shí)現(xiàn)成本較低，也符合當(dāng)下流行趨勢。

6結(jié)束語

本網(wǎng)站是在大數(shù)據(jù)背景下建立的數(shù)碼產(chǎn)品價(jià)格預(yù)測網(wǎng)站，著重在實(shí)現(xiàn)產(chǎn)品價(jià)格預(yù)測功能、提供報(bào)價(jià)資訊等內(nèi)容。網(wǎng)站依托互聯(lián)網(wǎng)數(shù)據(jù)建立，以滿足消費(fèi)者對(duì)價(jià)格預(yù)測和導(dǎo)購需求，未來還將繼續(xù)完善研究工作，通過大數(shù)據(jù)分析提供個(gè)性化產(chǎn)品推薦、提供對(duì)數(shù)碼生產(chǎn)企業(yè)的大數(shù)據(jù)服務(wù)、提供對(duì)消費(fèi)者的購買預(yù)測功能。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析方法及應(yīng)用初探

摘 要：大數(shù)據(jù)在很多的行業(yè)和企業(yè)得到了應(yīng)用，對(duì)大數(shù)據(jù)的研究和分析也受到了很多的學(xué)者的青睞。大量非結(jié)構(gòu)化流式數(shù)據(jù)已成為大數(shù)據(jù)時(shí)代的主要數(shù)據(jù)形態(tài)，這給傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)架構(gòu)帶來非常大的挑戰(zhàn)，必將使大數(shù)據(jù)處理系統(tǒng)漸漸由流程設(shè)計(jì)轉(zhuǎn)變?yōu)閿?shù)據(jù)設(shè)計(jì)。為此，該文主要從大數(shù)據(jù)分析的方法理論入手，對(duì)現(xiàn)今各行各業(yè)即將運(yùn)用的大數(shù)據(jù)處理方法進(jìn)行研究，總結(jié)出一種較適用的大數(shù)據(jù)分析方法及其應(yīng)用，以供行業(yè)和企業(yè)在未來的業(yè)務(wù)活動(dòng)中作參考。

關(guān)鍵詞：預(yù)測分析 大數(shù)據(jù)處理 大數(shù)據(jù)應(yīng)用 數(shù)據(jù)挖掘

隨著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)等新一代信息技術(shù)的發(fā)展，傳統(tǒng)企業(yè)級(jí)IT架構(gòu)正在朝基于互聯(lián)網(wǎng)的分布式新架構(gòu)轉(zhuǎn)型。大數(shù)據(jù)作為新一代信息技術(shù)的核心，正在使各個(gè)領(lǐng)域變得越來越可感知，并走向智能化。大數(shù)據(jù)將會(huì)發(fā)揮自身獨(dú)特的優(yōu)勢，帶給我們更多的方便和便捷。大數(shù)據(jù)分析的方法理論有哪些、在行業(yè)、企業(yè)的活動(dòng)中有哪些應(yīng)用。

1 大數(shù)據(jù)分析的五個(gè)基本要素

1.1 大數(shù)據(jù)預(yù)測性分析

大數(shù)據(jù)技術(shù)的主要應(yīng)用是預(yù)測性分析，如在線教學(xué)資源網(wǎng)站通過數(shù)據(jù)分析用戶會(huì)對(duì)推薦的教學(xué)模是否感興趣，保險(xiǎn)公司通過數(shù)據(jù)預(yù)測被保險(xiǎn)人是否會(huì)違規(guī)，地震監(jiān)測部門通過對(duì)大數(shù)據(jù)的分析，預(yù)測某地點(diǎn)發(fā)生地震的大致時(shí)間，氣象部門利用數(shù)據(jù)預(yù)測天氣變化等。預(yù)測是人類本能的一部分，通過大數(shù)據(jù)預(yù)測人類才可以獲得有意義的、智能的信息。許許多多的行業(yè)應(yīng)用都會(huì)涉及到大數(shù)據(jù)，大數(shù)據(jù)的豐富特征表述了快速增長的存儲(chǔ)數(shù)據(jù)的復(fù)雜性。大數(shù)據(jù)預(yù)測分析打破了數(shù)據(jù)預(yù)測一直是象牙塔里數(shù)據(jù)科學(xué)家和統(tǒng)計(jì)學(xué)家的工作，伴隨著大數(shù)據(jù)的出現(xiàn)，并融合到現(xiàn)有的MIS、MRPII、DSS 、CIMS和其他核心業(yè)務(wù)系統(tǒng)，大數(shù)據(jù)預(yù)測分析將起到越來越重要的作用。

1.2 數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量

大數(shù)據(jù)分析跟數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理緊密相關(guān)，而質(zhì)量高的數(shù)據(jù)和有效的數(shù)據(jù)管理可以使分析結(jié)果有價(jià)值、真實(shí)并得到有力的保證。

1.3 可視化分析

普通用戶和大數(shù)據(jù)分析專家是大數(shù)據(jù)分析的直接使用者，因此他們對(duì)大數(shù)據(jù)分析的基本要求就是要可視化，因?yàn)樗麄兿胪ㄟ^可視化分析獲得可觀的大數(shù)據(jù)特征，讓用戶直觀看到結(jié)果。

提高解釋信息的能力可以通過數(shù)據(jù)的可視化展示來實(shí)現(xiàn)，而可視化展示主要由圖形和圖表來呈現(xiàn)。要從大量的數(shù)據(jù)和信息中找尋相關(guān)性非常的不容易，而圖形或圖表能夠在短時(shí)間內(nèi)展示數(shù)據(jù)之間的相關(guān)信息，并為用戶提供所需的信息。

1.4 語義引擎

語義引擎是把現(xiàn)有的數(shù)據(jù)標(biāo)注語義，其實(shí)可以把它理解為結(jié)構(gòu)化或者非結(jié)構(gòu)化的數(shù)據(jù)集上的一個(gè)語義疊迭層。它是數(shù)據(jù)分析及語義技術(shù)最直接的應(yīng)用，好的語義引擎能夠使大數(shù)據(jù)分析用戶快而準(zhǔn)地獲得比較全面的數(shù)據(jù)。

數(shù)據(jù)分析的新挑戰(zhàn)及困難主要表現(xiàn)在非結(jié)構(gòu)化數(shù)據(jù)與異構(gòu)數(shù)據(jù)等的多樣性，必須配合大量的工具去分析、解析、提取數(shù)據(jù)。語義引擎的設(shè)計(jì)可以達(dá)到能夠從文檔中自動(dòng)提取有用信息，使語義引擎能挖掘出大數(shù)據(jù)的特征，在此基礎(chǔ)上科學(xué)建模和輸入新的數(shù)據(jù)，來預(yù)測未來的可用數(shù)據(jù)。

1.5 數(shù)據(jù)挖掘算法

大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘。各種數(shù)據(jù)的算法基于不同的數(shù)據(jù)類型和格式，能更加科學(xué)地呈現(xiàn)出數(shù)據(jù)本身的特點(diǎn)，能更快速地處理大數(shù)據(jù)。如果采用一個(gè)算法需要花好幾年才能得出結(jié)論，那大數(shù)據(jù)價(jià)值也就無從f起了。可視化是給人看的，數(shù)據(jù)挖掘是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法可以使我們深入挖掘數(shù)據(jù)內(nèi)部的價(jià)值，并且這些算法能夠處理大數(shù)據(jù)的數(shù)據(jù)量，也可以滿足處理大數(shù)據(jù)的效率要求。

2 大數(shù)據(jù)處理方法

大數(shù)據(jù)處理技術(shù)在社會(huì)的發(fā)展中占有重要的地位，現(xiàn)在有很多的研究者對(duì)大數(shù)據(jù)處理技術(shù)進(jìn)行研究，將大數(shù)據(jù)處理技術(shù)與交互設(shè)計(jì)結(jié)合，讓交叉科學(xué)得到發(fā)展，計(jì)算機(jī)技術(shù)的進(jìn)步，讓交叉技術(shù)被廣泛應(yīng)用，并引起了很多人的重視，例如：計(jì)算機(jī)技術(shù)可以在藝術(shù)中被應(yīng)用，進(jìn)行色彩搭配，還可以將計(jì)算機(jī)技術(shù)應(yīng)用到垃圾分類里，這些都是研究人員對(duì)計(jì)算機(jī)和交叉設(shè)計(jì)的結(jié)合。這種結(jié)合讓設(shè)計(jì)學(xué)與計(jì)算機(jī)技術(shù)緊急的結(jié)合在一起，將傳統(tǒng)的調(diào)研方式和測試方式應(yīng)用到交叉科學(xué)領(lǐng)域，這種方法的研究可以為用戶調(diào)研和測試方法提供依據(jù)，能夠減少人工的成本。大數(shù)據(jù)處理方法其實(shí)有很多，筆者根據(jù)長時(shí)間的實(shí)踐，總結(jié)了幾種基本的大數(shù)據(jù)處理方法，如非結(jié)構(gòu)數(shù)據(jù)處理法、自然語言處理法等，該文主要介紹非結(jié)構(gòu)數(shù)據(jù)處理流程涉及到的主要方法和技術(shù)。非結(jié)構(gòu)化數(shù)據(jù)處理流程主要以網(wǎng)頁處理為例來闡述，包括3個(gè)階段，分別是信息采集、網(wǎng)頁預(yù)處理和網(wǎng)頁分類。

2.1 信息采集

信息采集主要是根據(jù)相關(guān)主題由固定的專業(yè)人士來完成，其采集的數(shù)據(jù)只能用于所針對(duì)的主題和相關(guān)的模塊，出于對(duì)效率和成本的考慮完全不必對(duì)整個(gè)互聯(lián)網(wǎng)進(jìn)行遍歷，因此，模塊信息采集時(shí)往往需要研究以哪種方式預(yù)測鏈接指向的頁面與主題的關(guān)聯(lián)性，并測算其是否值得訪問；然后研究以哪種相關(guān)策略訪問Web，以在采集到主題相關(guān)頁面的同時(shí)，盡可能地減少采集到主題無關(guān)的頁面。

預(yù)先設(shè)定好種子鏈接是信息采集的基本方法，充分使用HTTP協(xié)議下載被訪問的頁面，運(yùn)用分析算法對(duì)頁面與主題的相關(guān)性進(jìn)行分析，然后確定待訪問的相關(guān)鏈接，預(yù)測可能指向主題相關(guān)頁面的鏈接，最后循環(huán)迭代地運(yùn)用不同的相關(guān)策略訪問網(wǎng)頁。

2.2 網(wǎng)頁預(yù)處理

網(wǎng)頁預(yù)處理最主要涉及到網(wǎng)頁去重處理，網(wǎng)頁去重可以歸為兩類：一類是基于URL的對(duì)比去重，它適用哈希算法；另一類是基于內(nèi)容的對(duì)比去重，它適用基于信息指紋的文本相似度算法。

網(wǎng)頁去重是先抽取文檔對(duì)象的特征，再對(duì)文檔內(nèi)容進(jìn)行分解，將文檔的特征集合表示出來，然后有目的針對(duì)特征集合的壓縮編碼，通過將哈希編碼等文本轉(zhuǎn)為數(shù)字串映射方式，為后續(xù)的特征存儲(chǔ)以及特征比較提供方便，這樣可以起到減少存儲(chǔ)空間，提高比較速度的作用，最后就是計(jì)算文檔的相似度，此步需要根據(jù)文檔特征重復(fù)比例來確定文檔內(nèi)容是否重復(fù)。一般是提取網(wǎng)頁的某一個(gè)信息特征，通常是一組關(guān)鍵詞，或者是關(guān)鍵詞加權(quán)重的組合，調(diào)用相應(yīng)的算法，轉(zhuǎn)換為一組關(guān)鍵代碼，也被稱為指紋，若兩個(gè)頁面有大數(shù)量的相似指紋，那么可以預(yù)測這兩個(gè)頁面內(nèi)容具有很高的重復(fù)性。

2.3 網(wǎng)頁分類

網(wǎng)絡(luò)時(shí)代，人類所面臨的一個(gè)非常重要且具有普遍意義的問題就是網(wǎng)頁分類。將網(wǎng)絡(luò)信息正確分類，方便人們更好地使用網(wǎng)絡(luò)資源，使雜亂無章的網(wǎng)絡(luò)環(huán)境變得有條理。而網(wǎng)頁分類一般是先對(duì)網(wǎng)頁中的文本素材進(jìn)行分類，通常采用文本分類來完成。文本分類主要應(yīng)用于電子郵件分類、信息過濾、文獻(xiàn)翻譯、數(shù)據(jù)檢索等任務(wù)，文本分類的一個(gè)關(guān)鍵問題是特征詞的選擇問題及其權(quán)重分配。

在搜索引擎中，文本分類主要有以下用途：相關(guān)性排序會(huì)根據(jù)不同的網(wǎng)頁類型做相應(yīng)的排序規(guī)則；根據(jù)網(wǎng)頁是索引頁面還是信息頁面，下載調(diào)度時(shí)會(huì)做不同的調(diào)度策略；在做頁面信息抽取的時(shí)候，會(huì)根據(jù)頁面分類的結(jié)果做不同的抽取策略；在做檢索意圖識(shí)別的時(shí)候，會(huì)根據(jù)用戶所點(diǎn)擊的URL所屬的類別來推斷檢索串的類別等。

網(wǎng)頁分類方法有SVM分方法和樸素貝葉斯方法，其中比較推薦的是支持向量機(jī)分類方法（SVM），該算法主要基于統(tǒng)計(jì)學(xué)理論及線性分類器準(zhǔn)則之上，從線性可分入手，再擴(kuò)展到線性不可分的情況。甚至有時(shí)會(huì)擴(kuò)展到使用非線性函數(shù)中去，這種分類器統(tǒng)稱為支持向量機(jī)。近年來，支持向量機(jī)分類方法越來越多的受到網(wǎng)頁分類技術(shù)人員的青睞。

3 大數(shù)據(jù)分析在行業(yè)活動(dòng)中的應(yīng)用

非結(jié)構(gòu)數(shù)據(jù)處理和數(shù)據(jù)挖掘的應(yīng)用范圍較廣，它可能應(yīng)用于運(yùn)營商、銀行、傳統(tǒng)企業(yè)和電商，挑選幾個(gè)具有代表性的案例與大家分享。

3.1 電信行業(yè)

某城市電信運(yùn)營商的上網(wǎng)日志分析系統(tǒng)，該系統(tǒng)通過收集用戶上網(wǎng)日志歷史記錄數(shù)據(jù)，分析出每個(gè)用戶的偏好。首先該系統(tǒng)通過并行統(tǒng)計(jì)出每個(gè)人有效歷史上網(wǎng)日志URL；然后從日志URL中抓取網(wǎng)頁內(nèi)容，提取正文，并通過文本分類算法計(jì)算分類；最后通過統(tǒng)計(jì)出每個(gè)用戶上網(wǎng)關(guān)注類別總數(shù)，分析出每個(gè)用戶的偏好。

3.2 地產(chǎn)行業(yè)

某房地產(chǎn)企業(yè)的社會(huì)化品牌實(shí)時(shí)營銷系統(tǒng)，該系統(tǒng)通過社交媒體數(shù)據(jù)，進(jìn)行網(wǎng)絡(luò)口碑監(jiān)測，負(fù)面情緒被及時(shí)地發(fā)現(xiàn)并制止；通過與客戶進(jìn)行互動(dòng)，爭取客戶忠誠度；通過監(jiān)控同行及競爭對(duì)手的各方面資訊，量化評(píng)估競爭態(tài)勢；快速提升品牌知曉度和美譽(yù)度，將媒體影響力轉(zhuǎn)換為客戶量，縮短人氣聚集周期。

3.3 證券行業(yè)

某證券商戰(zhàn)略信息監(jiān)測通過歷史回顧與信息摘要，提供題目、摘要、原文URL，今日輿情焦點(diǎn)，今日輿論，展示抓取的所有期貨產(chǎn)品相關(guān)信息的縮略，并提供全文鏈接。通過熱點(diǎn)事件列表可以看到歷史相似事件對(duì)趨勢的影響，通過天氣指數(shù)與趨勢對(duì)應(yīng)曲線可以看到歷史相似天氣與歷史趨勢的對(duì)照。

3.4 金融行業(yè)

某大型股份制商業(yè)銀行供應(yīng)商風(fēng)險(xiǎn)評(píng)估系統(tǒng)，該系統(tǒng)通過抓取供應(yīng)商內(nèi)部數(shù)據(jù)，如企業(yè)年報(bào)、公司變動(dòng)、領(lǐng)導(dǎo)情況、財(cái)務(wù)狀況等數(shù)據(jù)，分析公司運(yùn)營指數(shù)；通過計(jì)算各供應(yīng)商社交數(shù)據(jù)，對(duì)其社會(huì)影響力做評(píng)估；通過同行之間的數(shù)據(jù)分析對(duì)比，對(duì)供應(yīng)商進(jìn)行實(shí)力評(píng)估，這些數(shù)據(jù)指數(shù)可以有效協(xié)助商業(yè)銀行進(jìn)行供應(yīng)商風(fēng)險(xiǎn)評(píng)估。

4 結(jié)語

大數(shù)據(jù)處理數(shù)據(jù)的基本理念是用全體代替抽樣，用效率代替絕對(duì)精確，用相關(guān)代替因果。證券、微商、地產(chǎn)等行業(yè)每天都會(huì)產(chǎn)生巨大的數(shù)據(jù)量，大數(shù)據(jù)分析與處理已成為大數(shù)據(jù)技術(shù)的最重要的應(yīng)用，通過大數(shù)據(jù)技術(shù)從海量數(shù)據(jù)中提取、挖掘?qū)I(yè)務(wù)發(fā)展有價(jià)值的、潛在的信息，找出產(chǎn)品或服務(wù)未來發(fā)展趨勢，為決策者提供有力依據(jù)，有益于推動(dòng)企業(yè)內(nèi)部的科學(xué)化、信息化管理。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用

摘 要隨著網(wǎng)絡(luò)信息化的快速發(fā)展，我國手機(jī)移動(dòng)用戶的數(shù)量呈直線上升趨勢，用戶的增加對(duì)移動(dòng)通信網(wǎng)絡(luò)的建設(shè)起到了推進(jìn)作用，傳統(tǒng)的網(wǎng)絡(luò)優(yōu)化方式已不適應(yīng)新時(shí)展的需要，因此大數(shù)據(jù)分析技術(shù)的發(fā)展?jié)M足了現(xiàn)代移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的要求，充分提高了工作效率，本文針對(duì)目前移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的現(xiàn)狀進(jìn)行研究與分析，將大數(shù)據(jù)分析技術(shù)合理的運(yùn)用到移動(dòng)通信移動(dòng)網(wǎng)絡(luò)優(yōu)化中去，促進(jìn)移動(dòng)通信企業(yè)的發(fā)展。

【關(guān)鍵詞】大數(shù)據(jù)分析 移動(dòng)通信 網(wǎng)絡(luò)優(yōu)化 應(yīng)用研究

為了使移動(dòng)通信技術(shù)滿足時(shí)展的需要，4G通信技術(shù)的發(fā)展，給人們帶來了更好了通信體驗(yàn)，同時(shí)也對(duì)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化服務(wù)提出了更大的挑戰(zhàn)，數(shù)字化和網(wǎng)絡(luò)的快速發(fā)展，促進(jìn)了大數(shù)據(jù)分析能力的提升，但如何發(fā)揮發(fā)數(shù)據(jù)分析技術(shù)在移動(dòng)網(wǎng)絡(luò)化中的作用是目前最需要解決的問題。

1 移動(dòng)通信網(wǎng)絡(luò)優(yōu)化現(xiàn)狀

現(xiàn)階段，我國移動(dòng)通信技術(shù)取得了一定的成就，但在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化方面還存在很多問題，目前，提高移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的方法有兩種，一種是人工優(yōu)化，即提高網(wǎng)絡(luò)技術(shù)人員的技術(shù)水平，另一種是對(duì)通信軟件進(jìn)行優(yōu)化升級(jí)，主要的軟件工具是設(shè)備廠商OMC系統(tǒng)工具、第三方工具和軟件、頻率優(yōu)化軟件等。第一種是通過收集數(shù)據(jù)信息，來分析通信網(wǎng)絡(luò)信號(hào)和命令的分析軟件，第二種是移動(dòng)供應(yīng)商的系統(tǒng)軟件，使通信網(wǎng)絡(luò)的穩(wěn)定性和性能得到保證，第三種是調(diào)整無線網(wǎng)絡(luò)的頻率、參數(shù)、鄰區(qū)等，因?yàn)榈谌杰浖蚈MC軟件存在不兼容的情況，給移動(dòng)通信網(wǎng)絡(luò)的優(yōu)化工作帶來了很大的麻煩。

2 大數(shù)據(jù)分析技術(shù)對(duì)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的影響

大數(shù)據(jù)分析技術(shù)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的影響是有利有弊的，一方面大數(shù)據(jù)分析技術(shù)可以有效解決數(shù)據(jù)量的問題，對(duì)數(shù)據(jù)進(jìn)行很好的歸類和分析，而另一方面，加大了故障分析的難度。移動(dòng)通信網(wǎng)絡(luò)優(yōu)化就是對(duì)用戶通話狀態(tài)的收集和分析，達(dá)到排除故障、提升用戶使用感知的目的。

大數(shù)據(jù)時(shí)代的到來，使人們可以更加自由的使用網(wǎng)絡(luò)，這對(duì)移動(dòng)通信網(wǎng)絡(luò)的技術(shù)、承載力有著更高的要求，移動(dòng)通信技術(shù)經(jīng)歷了從2G到4G的發(fā)展歷程，目前正在進(jìn)行5G通信技術(shù)的研究，移動(dòng)用戶在使用通信業(yè)務(wù)時(shí)，天氣、地區(qū)等因素都會(huì)對(duì)通信質(zhì)量造成影響，因此，在通信的穩(wěn)定性和抗干擾能力上需要技術(shù)的革新，合理使用大數(shù)據(jù)分析技術(shù)，可以有效發(fā)揮對(duì)移動(dòng)通信網(wǎng)絡(luò)的優(yōu)化作用。

3 大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用

3.1 移動(dòng)通信用戶管理優(yōu)化

移動(dòng)通信用戶的數(shù)量在不斷變化，對(duì)用戶的數(shù)據(jù)也要不斷的更新，在處理與保存方面都存在很大的困難，大數(shù)據(jù)分析技術(shù)的應(yīng)用可以根據(jù)各個(gè)移動(dòng)用戶的傳輸狀態(tài)實(shí)時(shí)記錄，方便了對(duì)移動(dòng)通信用戶的管理，以及對(duì)通信網(wǎng)絡(luò)穩(wěn)定性的調(diào)查和分析。

3.2 移動(dòng)通信用戶計(jì)費(fèi)管理優(yōu)化

隨著移動(dòng)通信用戶使用量的增加，出現(xiàn)了消費(fèi)套餐類型以及消費(fèi)信息等巨量數(shù)據(jù)，傳統(tǒng)通信網(wǎng)絡(luò)優(yōu)化手段不能及時(shí)的進(jìn)行分類處理，工作效率比較低，而大數(shù)據(jù)技術(shù)的應(yīng)用，可以快速的對(duì)數(shù)據(jù)進(jìn)行分析、歸類，使移動(dòng)通信管理人員可以很好的掌握通信用戶的使用規(guī)律，從而對(duì)數(shù)據(jù)信息進(jìn)行歸納、分析，發(fā)掘信息的潛在價(jià)值，發(fā)現(xiàn)潛在商機(jī)，更好的開拓通信市場。

3.3 移動(dòng)通信用戶行為管理優(yōu)化

用戶對(duì)網(wǎng)絡(luò)的使用具有很強(qiáng)的不確定性，包括對(duì)應(yīng)用軟件的使用頻率，業(yè)務(wù)使用類型以及上網(wǎng)喜好等很難把握，這會(huì)使移動(dòng)通信商在對(duì)軟件設(shè)計(jì)時(shí)的定位方向出現(xiàn)偏差，花費(fèi)巨資開發(fā)的軟件沒有人使用，這種結(jié)果會(huì)使移動(dòng)通信商受到嚴(yán)重的經(jīng)濟(jì)損失，但如果通過對(duì)用戶的上網(wǎng)流量信令、數(shù)據(jù)等進(jìn)行挖掘和整合分析，可以發(fā)現(xiàn)其中共性和特點(diǎn)，方便以后軟件的開發(fā)和業(yè)務(wù)的開展。

3.4 自動(dòng)網(wǎng)絡(luò)參數(shù)調(diào)整

當(dāng)移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)優(yōu)化系統(tǒng)有了輔助決策功能后，這樣的分析結(jié)果是很準(zhǔn)確的，也經(jīng)過了多次實(shí)驗(yàn)的考驗(yàn)，在這種條件下還可以對(duì)優(yōu)化工具做進(jìn)一步改善，我們將可進(jìn)一步優(yōu)化的軟件作用于OMC系統(tǒng)上，通過OMC可以直接調(diào)整網(wǎng)絡(luò)系統(tǒng)參數(shù)，方便了用戶的同時(shí)也為用戶提供了穩(wěn)定的通信質(zhì)量。

3.5 網(wǎng)絡(luò)問題智能分析

通過采集關(guān)鍵節(jié)點(diǎn)信令并核查MR報(bào)告、告警日志、參數(shù)配置文件等數(shù)據(jù)，對(duì)異常Cause進(jìn)行統(tǒng)計(jì)分析查找問題原因。針對(duì)不同原因制定具體的自優(yōu)化方案。從故障告警、參數(shù)設(shè)置、用戶終端、核心網(wǎng)等多個(gè)維度輸出優(yōu)化方案。

4 大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的問題及對(duì)策

4.1 數(shù)據(jù)爆炸

隨著大數(shù)據(jù)時(shí)代的到來，移動(dòng)通信數(shù)據(jù)也將面臨著數(shù)據(jù)爆炸這個(gè)問題，移動(dòng)通信用戶在增加、通信業(yè)務(wù)在增加以及數(shù)據(jù)量都在快速增加，在數(shù)據(jù)處理方面存在很大的問題。

對(duì)此，需要移動(dòng)供應(yīng)商有良好的技術(shù)人員管理體制，對(duì)數(shù)據(jù)及時(shí)進(jìn)行歸納、分析，同時(shí)要引進(jìn)先進(jìn)的技術(shù)和理念，完成數(shù)據(jù)分析工作。

4.2 資金短缺

隨著數(shù)據(jù)量的不斷增加，對(duì)移動(dòng)通信網(wǎng)絡(luò)的質(zhì)量存在很大的挑戰(zhàn)，對(duì)此，移動(dòng)供應(yīng)商需要不斷建設(shè)基站、更新設(shè)備等，建設(shè)周期長、資金量需求大等問題使供應(yīng)商投入的資金不滿足發(fā)展的需要。

對(duì)此，需要移動(dòng)運(yùn)營商基于大數(shù)據(jù)分析，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)、各個(gè)節(jié)點(diǎn)業(yè)務(wù)瓶頸等進(jìn)行分析，并實(shí)施優(yōu)化調(diào)整，保證投資的效益最大化。

4.3 安全問題

數(shù)據(jù)量的不斷提高，使數(shù)據(jù)的存儲(chǔ)成了問題，一旦系統(tǒng)出現(xiàn)漏洞，對(duì)數(shù)據(jù)的安全性造成了嚴(yán)重的威脅，導(dǎo)致很多工作無法正常運(yùn)行，加大了移動(dòng)通信公司的損失程度。

要求維修技術(shù)人員定期對(duì)數(shù)據(jù)系統(tǒng)進(jìn)行維護(hù)處理，保證系統(tǒng)的安全性和數(shù)據(jù)分析技術(shù)的正常運(yùn)作。

5 結(jié)束語

目前，大數(shù)據(jù)分析技術(shù)已廣泛應(yīng)用在移動(dòng)通信的各個(gè)工作當(dāng)中，移動(dòng)通信網(wǎng)絡(luò)也依賴于大數(shù)據(jù)技術(shù)的發(fā)展，為移動(dòng)通信公司提供了專業(yè)的數(shù)據(jù)分析技術(shù)，同時(shí)也保證了通信質(zhì)量的提高。

大數(shù)據(jù)分析論文:音樂院校圖書館數(shù)字資源大數(shù)據(jù)分析初探

【摘要】大數(shù)據(jù)背景下，音樂院校圖書館運(yùn)用網(wǎng)絡(luò)媒體信息及購買或自建各種類型數(shù)字資源，將紙質(zhì)資源與網(wǎng)絡(luò)技術(shù)有機(jī)結(jié)合，進(jìn)一步挖掘自身資源，提升讀者服務(wù)。筆者通過大數(shù)據(jù)原理對(duì)幾大音樂學(xué)院圖書館網(wǎng)站3年來網(wǎng)頁信息及數(shù)字資源的運(yùn)行進(jìn)行分析，并將分析結(jié)果歸納、去繁就簡，充分利用大數(shù)據(jù)這種新興方式為其數(shù)字資源的利用提供可行性建議。

【關(guān)鍵詞】大數(shù)據(jù)；音樂院校；數(shù)字資源

高校圖書館是教學(xué)、科研的信息中心，進(jìn)入信息化時(shí)代后，由傳統(tǒng)的手工服務(wù)步入了通過計(jì)算機(jī)網(wǎng)絡(luò)的自動(dòng)化服務(wù)階段，網(wǎng)絡(luò)信息系統(tǒng)及數(shù)字資源也日趨成熟穩(wěn)定。如今普通院校圖書館網(wǎng)絡(luò)已經(jīng)由VPN技術(shù)服務(wù)上升到“云舟服務(wù)”，而音樂院校圖書館也積極發(fā)展網(wǎng)絡(luò)信息及電子數(shù)據(jù)資源。在信息“大數(shù)據(jù)”的背景下，如果只關(guān)注信息的及單一的信息輸出，不進(jìn)行數(shù)據(jù)分析，就會(huì)導(dǎo)致網(wǎng)絡(luò)平臺(tái)及數(shù)字資源的運(yùn)行和跟進(jìn)服務(wù)欠缺，出現(xiàn)優(yōu)越性不能持久、缺陷無限延伸的情況，如此就會(huì)削弱本身的“教學(xué)輔助功能”。

一、大數(shù)據(jù)調(diào)查列表

大數(shù)據(jù)，或稱巨量資料，具有Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）4大特點(diǎn)。筆者于2016年4月通過登錄官方網(wǎng)站的方式對(duì)全國九大音樂院校圖書館2013―2015年間網(wǎng)絡(luò)服務(wù)系統(tǒng)進(jìn)行了全面的數(shù)據(jù)采集，由于有的院校未設(shè)定“訪問量”單元數(shù)據(jù)對(duì)本文無意義，所以只能放棄。現(xiàn)僅以西安音樂學(xué)院圖書館為主，其它音樂學(xué)院圖書館為輔，對(duì)三年來網(wǎng)絡(luò)系統(tǒng)的運(yùn)行情況進(jìn)行大數(shù)據(jù)方式的統(tǒng)計(jì)、分析，剖析、提出問題，探究造成問題的原因、對(duì)策以及建議等。

（一）西安音樂學(xué)院網(wǎng)絡(luò)服務(wù)系統(tǒng)調(diào)查。從對(duì)各音樂院校圖書館的調(diào)查中看出，2013―2015年排前三的為：《英語聽說學(xué)習(xí)多媒體資源庫》試用通知、“數(shù)據(jù)庫試用通知”“全國音樂學(xué)院圖書館文化建設(shè)論壇在武漢音樂學(xué)院舉行”；2014年排前三的為：“新東方多媒體學(xué)習(xí)庫校外訪問通知”“西安音樂學(xué)院第四屆世界讀書日活動(dòng)圓滿落幕”“書香西安音樂學(xué)院―中文在線電子圖書試用通知”；2015年排前三的為 “2015陜西高校圖書館新人入職培訓(xùn)”“2015年高校數(shù)字資源建設(shè)與共享學(xué)術(shù)交流大會(huì)”“圖書館參加全國藝術(shù)院校圖書館學(xué)術(shù)研討會(huì)”。

（二）西安音樂學(xué)院圖書館2014年―2015年BBS（新書通告）訪問調(diào)查（其余音樂學(xué)院圖書館因篇幅原因略）。調(diào)查出處于首位的是“2014年最新書目”，其次為“2013年最新音像目錄”，再次為“2014年最新音像目錄”。

（三）西安音樂學(xué)院圖書館2014年―2015年BBS（資源動(dòng)態(tài)）訪問調(diào)查（其余音樂學(xué)院圖書館因篇幅原因略）。從調(diào)查可看出處于首位的是“知網(wǎng)?庫客數(shù)據(jù)庫用戶名、密碼”；其次是“維普資訊試用通知”；排在第三位的是“新東方數(shù)據(jù)庫試用通知”。

（四）西安音樂學(xué)院圖書館2014年―2015年BBS（試用數(shù)據(jù)庫）訪問調(diào)查（其余音樂學(xué)院圖書館因篇幅原因略）。從調(diào)查可看出排在首位的是“新東方媒體學(xué)習(xí)庫”，第二位的是“空中英語教室學(xué)習(xí)音像數(shù)據(jù)庫”，排在第三位的是“銀符考試題庫”。

（五）西安音樂學(xué)院圖書館2014年―2015年BBS（外文數(shù)據(jù)庫）訪問調(diào)查（其余音樂學(xué)院圖書館因篇幅原因略）。從調(diào)查可看出排在首位的是“美國科研出版社（Scientific ResearchPubling）期刊”，第二位是“ASP世界音樂在線”，排在第三位的是“ASP表演藝術(shù)、戲劇與電影視頻庫”。

二、 原因分析

（一）非實(shí)用性公告影響。公告是網(wǎng)絡(luò)信息系統(tǒng)中包羅內(nèi)容最多也是搜集網(wǎng)絡(luò)學(xué)術(shù)情報(bào)的“引擎”，而訪問量排在前三位的都是非實(shí)用公告。

（二）讀者的從眾心理。網(wǎng)絡(luò)時(shí)代造就了一大批“皇上”讀者，對(duì)任何服務(wù)都“吹毛求疵”。

（三）單邊效應(yīng)。在網(wǎng)絡(luò)系統(tǒng)服務(wù)方式中，圖書館的任務(wù)角色往往只是承擔(dān)開通責(zé)任，在利用過程中存在的問題無法及時(shí)得到圖書館專業(yè)人員幫助解決。

三、對(duì)策

（一） 提高館藏質(zhì)量。當(dāng)今任何一個(gè)圖書館也沒有能力將所有書刊資料盡數(shù)收藏，只能根據(jù)本館的任務(wù)對(duì)象，對(duì)所需資料進(jìn)行有選擇、有重點(diǎn)地收藏。

（二）定期開展各類實(shí)體或虛擬的文獻(xiàn)服務(wù)講座。結(jié)合各系工作重點(diǎn)進(jìn)行跟蹤服務(wù)。

（三）開辦館辦刊物。這是一個(gè)很好揭示館藏資源的方式。

（四）注重學(xué)生需求。學(xué)生這個(gè)群體是除了專業(yè)圖書的需求外，同時(shí)也需要與個(gè)人愛好、興趣等相關(guān)的提高綜合素質(zhì)的圖書，這些都不是教書和采訪人員完全能把握的，因此，非常有必要把他們的代表納入選書隊(duì)伍。

（五）讀者推廣。圖書館通過舉辦讀者活動(dòng)如“世界讀書日活動(dòng)”、讀書沙龍等活動(dòng)，對(duì)館藏文獻(xiàn)有了進(jìn)一步的了解。

（六）數(shù)據(jù)推送服務(wù)。數(shù)據(jù)推送服務(wù)是指圖書館根據(jù)讀者的需要，主動(dòng)將讀者所需的信息內(nèi)容推送到讀者端，大數(shù)據(jù)環(huán)境下對(duì)于讀者的各類行為。

四、 結(jié)語

大數(shù)據(jù)分析方法旨在從眾多紛繁復(fù)雜的數(shù)據(jù)中找出能為讀者提供高效、及時(shí)、全面的服務(wù)為本，同時(shí)依據(jù)此數(shù)據(jù)還可以為圖書館館藏結(jié)構(gòu)的改善提供本基礎(chǔ)，通過對(duì)某些訪問量較少或無訪問的數(shù)據(jù)庫的實(shí)際操作找出了問題的癥結(jié)所在，找出原因給出建議。

大數(shù)據(jù)分析論文:基于大數(shù)據(jù)分析的目標(biāo)房產(chǎn)分類及房源匹配

[提要] 當(dāng)前，我國房地產(chǎn)處在結(jié)構(gòu)調(diào)整期。從市場需求方面，由以前的賣方主導(dǎo)市場需求慢慢轉(zhuǎn)變成為買方主導(dǎo)市場需求；從企業(yè)競爭來看，由于材料、人工成本不斷增加，導(dǎo)致企業(yè)利潤下降，競爭壓力加大；與此同時(shí)，政府部門對(duì)房地產(chǎn)業(yè)的調(diào)控力度也逐漸加大。然而，在一些三四線城市，仍然存在一些房產(chǎn)滯銷、房產(chǎn)市場消費(fèi)購買情況不太樂觀的情形。本文通過數(shù)據(jù)分析，對(duì)不同消費(fèi)人群的消費(fèi)特征進(jìn)行房源的匹配，以達(dá)到精準(zhǔn)營銷，為房地產(chǎn)市場營銷制定相應(yīng)的營銷策略。

關(guān)鍵詞：房產(chǎn)需求；目標(biāo)房產(chǎn)；精準(zhǔn)營銷；相應(yīng)分析

一、調(diào)查背景

黨的十八大以來，積極踐行“供給側(cè)結(jié)構(gòu)性改革”，同時(shí)針對(duì)三四線城市房產(chǎn)積壓、房產(chǎn)滯銷的情況，基于房地產(chǎn)企業(yè)發(fā)展背景，運(yùn)用相應(yīng)方法，分析北京市八達(dá)嶺2015年1月～2016年2月所有樓盤消費(fèi)者到訪和成交數(shù)據(jù)，發(fā)現(xiàn)和提取其中的有效信息和新知識(shí)，根據(jù)不同消費(fèi)者的消費(fèi)特征以匹配不同的房源，提高成交率，達(dá)到“去庫存”的目的。

二、調(diào)查數(shù)據(jù)介紹

本次調(diào)查數(shù)據(jù)基于零點(diǎn)有限公司提供的北京市八達(dá)嶺樓盤18萬余消費(fèi)者購買房產(chǎn)的一系列相關(guān)信息為分析的對(duì)象，結(jié)合統(tǒng)計(jì)學(xué)原理，市場營銷學(xué)等學(xué)科內(nèi)容，對(duì)數(shù)據(jù)采用相應(yīng)的分析方法，對(duì)數(shù)據(jù)進(jìn)行科學(xué)分析和處理。

三、數(shù)據(jù)結(jié)果分析

（一）從事第三產(chǎn)業(yè)的消費(fèi)者傾向于購買高檔住房。將消費(fèi)者所從事的行業(yè)按照第一、第二、第三進(jìn)行劃分，發(fā)現(xiàn)從事第三產(chǎn)業(yè)的人們更加傾向于購買高檔和普通住房，進(jìn)一步分析也許與從事第三產(chǎn)業(yè)人們的收入水平有著密切聯(lián)系。同時(shí)，他們可能對(duì)于生活的品質(zhì)要求更高，在他們看來，住房不僅僅意味著簡單的居住場所，更多的是他們享受生活，培養(yǎng)情操的最佳場所。反觀從事第一產(chǎn)業(yè)的人們，可以發(fā)現(xiàn)收入水平不高，對(duì)于生活品質(zhì)的要求也會(huì)降低。在他們看來，只要有一處休息之處便是極好，所以可能會(huì)傾向于購買如地下室這樣的住所。從事第二產(chǎn)業(yè)的人們基本穩(wěn)定，大多會(huì)選擇購買普通住房。（圖1）

（二）處在單身期、成長期和形成期的家庭傾向于購買普通住房。不同的家庭結(jié)構(gòu)擬購買或?qū)嶋H購買的住房類型呈現(xiàn)明顯的差異：處在單身期、成長期和形成期的家庭傾向于購買普通住房，單身期生活壓力相對(duì)較低，主要來自就業(yè)。（圖2）因此，可以將自己的可支配收入積攢下來購買價(jià)格相對(duì)較低的普通住房；成長期和成熟期的家庭逐漸增加了來自家庭、孩子的壓力，但由于這個(gè)階段，事業(yè)也處于增長期，所以工資相對(duì)單身期會(huì)有較大幅度的增加，購買普通住房便是首選。對(duì)于成熟期的家庭，住房需求、生活壓力大大降低，就會(huì)考慮用家庭剩余資金進(jìn)行儲(chǔ)蓄或投資，房地產(chǎn)投資在當(dāng)前市場環(huán)境而言是首選；或者是當(dāng)剩余資金積攢到一定額度，他們便會(huì)考慮將現(xiàn)有住房更新?lián)Q代，購買高檔住房。

（三）家庭收入較高的消費(fèi)者更傾向于購買高檔住房。不同家庭收入的住戶擬購買或?qū)嶋H購買的住房類型呈現(xiàn)出明顯的差異：北京年收入最貴學(xué)區(qū)房高達(dá)10萬元/平方米，收入在10萬元以下的家庭會(huì)選擇購買地下室，這個(gè)收入段的人群大多數(shù)集中在外來打工人員，背井離鄉(xiāng)的他們將大部分錢寄回老家用于支付子女的教育費(fèi)和老人的贍養(yǎng)費(fèi)，因此剩余給自己的少之又少，衣食住行方方面面都需要節(jié)儉，地下室便是無奈之舉。對(duì)于在中低收入段10～30萬元的家庭，購買普通住房是首選，少數(shù)也有購買車位和商業(yè)用房的，這和當(dāng)前房價(jià)的熱漲行情有很大的聯(lián)系。收入在30萬元以上的家庭會(huì)考慮購買高檔住房，其中收入在80萬元以上的家庭表現(xiàn)的尤為顯著，經(jīng)濟(jì)學(xué)中“恩格爾定律”表明，收入越高恩格爾系數(shù)越小，用于文教娛樂和高檔物品的消費(fèi)顯著增加，高檔住房便是之一。（圖3）

（四）目前居住戶型較高檔的消費(fèi)者傾向于購買奢華住房。通過對(duì)消費(fèi)者目前居住戶型和產(chǎn)品類型進(jìn)行相應(yīng)分析得到圖4。從第一維度來看，產(chǎn)品類型分布較為分散，消費(fèi)者目前居住戶型分布相對(duì)集中；在第二維度上，產(chǎn)品類型分布和消費(fèi)者目前居住戶型分布都相對(duì)集中。從圖中可以分析出，目前居住戶型為租住、一居、兩居和三居的消費(fèi)者在購買住房時(shí)選擇普通住房的可能性較大，其次可能選擇地下室；目前居住戶型為4居或者別墅的消費(fèi)者在購買住房時(shí)選擇高檔住房的可能性較大。目前住房為四居或者別墅的消費(fèi)者經(jīng)濟(jì)狀況相對(duì)較好，因此對(duì)住房的要求較高，所以選擇高檔住房；目前住房為四居以下（不包含四居）或者是租房的消費(fèi)者經(jīng)濟(jì)狀況相對(duì)較差，因此購房時(shí)選擇普通住房或者地下室也符合實(shí)際。因此，銷售人員在向消費(fèi)者推介住房時(shí)應(yīng)該先了解消費(fèi)者目前居住戶型，并根據(jù)消費(fèi)者目前居住的戶型進(jìn)行相應(yīng)的有關(guān)連的推介。（圖4）

（五）消費(fèi)者置業(yè)目的的差異導(dǎo)致購買住房的差異。通過對(duì)消費(fèi)者本次置業(yè)目的和產(chǎn)品類型進(jìn)行相應(yīng)分析得到對(duì)應(yīng)分析圖。如圖5所示，消費(fèi)者本次置業(yè)目的和產(chǎn)品類型在第一維度和第二維度上分布都較為集中。從圖中可以看出，本次置業(yè)目的為第一居所自住或者是用于投資的消費(fèi)者，一般會(huì)更加傾向于選擇普通住房，本次置業(yè)目的為第二居所或者是第一居所他人居住的消費(fèi)者，如果購房是用于居住則可能更加傾向于購買高檔住房或者帶有車位的住房，如果購買住房是用于存放物品或者其他用途則可能更加傾向于購買地下室。因此，銷售人員在進(jìn)行銷售時(shí)要在參考該對(duì)應(yīng)分析圖的基礎(chǔ)上也要根據(jù)實(shí)際情況判斷消費(fèi)者適合的住房類型，為不同需求的消費(fèi)者進(jìn)行準(zhǔn)確的房屋推薦。（圖5）

四、小結(jié)

通過對(duì)消費(fèi)者自身的消費(fèi)特征進(jìn)行分析，房地產(chǎn)銷售商應(yīng)該在營銷過程中著重關(guān)注消費(fèi)者的典型的消費(fèi)特征，在準(zhǔn)確進(jìn)行本企業(yè)產(chǎn)品市場定位的基礎(chǔ)上，以滿足客戶差異化需求，激發(fā)客戶潛在需求為切入點(diǎn)，找準(zhǔn)營銷人群、配準(zhǔn)營銷策略、匹配營銷渠道、投準(zhǔn)營銷資源，針對(duì)客戶不同的購房需求，為客戶提供滿足個(gè)體要求的個(gè)性化產(chǎn)品；與此同時(shí)，“喚醒”大量的、差異化的需求。同時(shí)，選擇不同的傳播方式和渠道分別推送產(chǎn)品信息，如微信、傳單、網(wǎng)站等形式，并實(shí)時(shí)更新數(shù)據(jù)。通^售后客戶關(guān)懷等手段建立起增值服務(wù)體系，做好精準(zhǔn)營銷的實(shí)際效果評(píng)估。將最終的評(píng)估效果反饋到房源與客戶的精準(zhǔn)匹配過程，調(diào)節(jié)客戶的需求類型；同時(shí)，良好的售后增值服務(wù)可以留住老客戶，營造良好的企業(yè)口碑，以此發(fā)掘和帶動(dòng)新客戶，真正達(dá)到“去庫存”的目的，促進(jìn)房地產(chǎn)市場的發(fā)展。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析與高速數(shù)據(jù)更新

摘 要 隨著經(jīng)濟(jì)的發(fā)展和社會(huì)的進(jìn)步，計(jì)算機(jī)技術(shù)逐漸豐富人們的生活，大數(shù)據(jù)分析技術(shù)作為近啄晷似鸕囊幌罡嚦萍跡能夠智能存儲(chǔ)豐富的數(shù)據(jù)資源，數(shù)據(jù)的產(chǎn)生以及更新的速度逐漸加快，數(shù)據(jù)的種類也相對(duì)繁多。通過對(duì)大數(shù)據(jù)進(jìn)行分析，能夠發(fā)掘其中存在的政治、經(jīng)濟(jì)以及文化資源和社會(huì)價(jià)值，對(duì)于企業(yè)來說，能夠存儲(chǔ)于客戶之間的大量的信息，從而提升經(jīng)濟(jì)價(jià)值，加速社會(huì)生活的運(yùn)轉(zhuǎn)，從而促進(jìn)時(shí)代的進(jìn)步。本文主要研究大數(shù)據(jù)系統(tǒng)中的主要分支，并分析其具體的應(yīng)用。

【關(guān)鍵詞】大數(shù)據(jù)分析 系統(tǒng) 高速 數(shù)據(jù)更新

大數(shù)據(jù)概念的逐漸興起，帶動(dòng)了各大行業(yè)的發(fā)展和更新，那么大數(shù)據(jù)的具體概念究竟是什么，書中的解釋是一般的軟件難以概括和捕捉和分析的較大容量的數(shù)據(jù)，更大的意義是在于能夠通過交換、整合海量的數(shù)據(jù)，發(fā)掘新的知識(shí)，從而創(chuàng)造更大的價(jià)值。大數(shù)據(jù)系統(tǒng)中包含倉儲(chǔ)數(shù)據(jù)系統(tǒng)、圖形處理系統(tǒng)、日志數(shù)據(jù)處理系統(tǒng)以及MapReduce數(shù)據(jù)系統(tǒng)等等。本文通過分析其中主要的幾個(gè)數(shù)據(jù)處理系統(tǒng)中的差異和共性，分析大數(shù)據(jù)分析中的主要應(yīng)用。

1 大數(shù)據(jù)分析系統(tǒng)中的Velocity

1.1 事物的處理系統(tǒng)

事物處理系統(tǒng)是傳統(tǒng)的商業(yè)數(shù)據(jù)庫中主要的應(yīng)用軟件之一，必須要支持大量的并存用戶，由于每一位用戶操作時(shí)所讀取的數(shù)據(jù)只占其中的一小部分，并且會(huì)隨機(jī)的分布在每一個(gè)數(shù)據(jù)系統(tǒng)中。例如在銀行的存款中，每天都有成千上萬的客戶利用自動(dòng)取款機(jī)或是人工服務(wù)進(jìn)行交易，每一位客戶對(duì)自己的銀行賬號(hào)進(jìn)行操作，對(duì)于銀行的整個(gè)數(shù)據(jù)系統(tǒng)中是極為微小的一部分，，是隨機(jī)分布在各個(gè)銀行的數(shù)據(jù)之內(nèi)的。因此在大數(shù)據(jù)的時(shí)代，隨著科學(xué)技術(shù)的不斷普及，事物處理的規(guī)模和程度也就不斷地加大。

在事物處理的系統(tǒng)當(dāng)中，velocity是數(shù)據(jù)系統(tǒng)設(shè)計(jì)中的主要核心，引導(dǎo)每一位客戶對(duì)其自身的業(yè)務(wù)進(jìn)行準(zhǔn)確的操作，同時(shí)需要盡可能的支持更多的并發(fā)業(yè)務(wù)，在實(shí)際的系統(tǒng)中，TPC-C與TPC-E是測試事物處理效率的主要依據(jù)。許多數(shù)據(jù)分析企業(yè)簡化了數(shù)據(jù)分析的步驟，這樣雖然能夠從一定程度上減少分析的成本，提升的分析的性能，但是為了能夠?qū)崿F(xiàn)更多的分析應(yīng)用，促進(jìn)大數(shù)據(jù)系統(tǒng)的高效運(yùn)行，需要程序員逐一解決實(shí)際的分析問題，將研究的重點(diǎn)放到ACID上。

1.2 數(shù)據(jù)流的系統(tǒng)

向較與事物處理系統(tǒng)，數(shù)據(jù)流系統(tǒng)的主要任務(wù)是分析流過系統(tǒng)中的主要數(shù)據(jù)，在每一條流過的數(shù)據(jù)中，計(jì)算出事先定義好的查詢運(yùn)算，例如差異監(jiān)測、統(tǒng)計(jì)運(yùn)算、復(fù)雜事件處理等等，系統(tǒng)中的運(yùn)算需要連續(xù)不斷的進(jìn)行，由于不需要對(duì)數(shù)據(jù)進(jìn)行大面積的存儲(chǔ)，因此流過的數(shù)據(jù)也就是無限量的。我國數(shù)據(jù)流系統(tǒng)最早出現(xiàn)于20世紀(jì)末，最開始被應(yīng)用于電信流量監(jiān)控以及交通情況分析等等。同時(shí)與實(shí)務(wù)處理系統(tǒng)相似的是，數(shù)據(jù)流系統(tǒng)的核心任務(wù)也是velocity，其更加注重的是對(duì)于數(shù)據(jù)系統(tǒng)的吞吐量控制，單位時(shí)間內(nèi)流過的數(shù)據(jù)量能夠方便系統(tǒng)的儲(chǔ)存，另一方面能夠?qū)崿F(xiàn)更多的惡吞吐率。

1.3 大數(shù)據(jù)分析系統(tǒng)

大數(shù)據(jù)的分析是確保數(shù)據(jù)價(jià)值的主要途徑，通過對(duì)海量的數(shù)據(jù)進(jìn)行分析，能夠基本的總結(jié)出數(shù)據(jù)中蘊(yùn)藏的規(guī)律，從而能夠更好地理解現(xiàn)實(shí)，對(duì)未來的事件進(jìn)行預(yù)測。大數(shù)據(jù)系分析系統(tǒng)與事件處理系統(tǒng)與數(shù)據(jù)流系統(tǒng)存在一定的差異，與事件處理系統(tǒng)相比，大數(shù)據(jù)分析系統(tǒng)只為極少數(shù)的客戶進(jìn)行服務(wù)，例如公司的數(shù)據(jù)分析師、決策人員以及對(duì)數(shù)據(jù)進(jìn)行分析的管理人員，并發(fā)的用戶量小于數(shù)據(jù)的處理系統(tǒng)，但是對(duì)于系統(tǒng)進(jìn)行的數(shù)據(jù)處理工作并不少于事件處理系統(tǒng)；向較于數(shù)據(jù)流系統(tǒng)大數(shù)據(jù)分析系統(tǒng)能夠處理系統(tǒng)中所存儲(chǔ)的數(shù)據(jù)，而不是處理流動(dòng)中的數(shù)據(jù)，雖然數(shù)據(jù)不一定 能夠全部放入內(nèi)存，但是大部分系統(tǒng)需要利用外部處理器進(jìn)行處理。

在大數(shù)據(jù)的時(shí)代之下，velocity的作用越來越突出，數(shù)據(jù)通過不斷產(chǎn)生、流通并加載到數(shù)據(jù)系統(tǒng)中，從靜態(tài)的角度分析和優(yōu)化數(shù)據(jù)分析系統(tǒng)存在一定的問題，首先是無法反應(yīng)并及時(shí)更新數(shù)據(jù)，難以適應(yīng)眾多的在線應(yīng)用需求；其次，靜止的狀態(tài)可能會(huì)受到數(shù)據(jù)更新的干擾，數(shù)據(jù)分析的性能無法得到最大程度的發(fā)揮。因此程序員在設(shè)計(jì)大數(shù)據(jù)分析系統(tǒng)的過程中，不僅要注重?cái)?shù)據(jù)操作的本身，還應(yīng)該理清整個(gè)數(shù)據(jù)分析的生命周期，從而使其設(shè)計(jì)理念充分發(fā)揮在系統(tǒng)應(yīng)用中。

2 在數(shù)據(jù)系統(tǒng)倉儲(chǔ)中高速數(shù)據(jù)的更新

2.1 傳統(tǒng)的數(shù)據(jù)更新對(duì)數(shù)據(jù)分析操作的影響

分析數(shù)據(jù)系統(tǒng)中的查詢工作，在硬盤上進(jìn)行數(shù)據(jù)的順序閱讀，一般情況下，常規(guī)的數(shù)據(jù)順序讀性可能會(huì)達(dá)到100MBps，相對(duì)于傳統(tǒng)的數(shù)據(jù)更新對(duì)數(shù)據(jù)頁面進(jìn)行數(shù)據(jù)的錄入和插入以及修改等操作，數(shù)據(jù)的訪問也比較符合前段系統(tǒng)的數(shù)據(jù)特征，基本上也是隨機(jī)進(jìn)行的。同時(shí)由于技術(shù)水平的限制，大多數(shù)硬盤只能支持每秒一百次的隨機(jī)訪問，系統(tǒng)運(yùn)行的效率大打折扣。再加上隨機(jī)訪問可能會(huì)干擾良好的數(shù)據(jù)信號(hào)，在操作的過程中，需要不斷更換硬盤的磁頭才能進(jìn)行后續(xù)的工作，因此也在一定程度上降低了數(shù)據(jù)分析的可能性。

2.2 在線高速數(shù)據(jù)更新的設(shè)計(jì)目標(biāo)

在進(jìn)行設(shè)計(jì)的過程中，需要準(zhǔn)備固態(tài)硬盤、硬盤以及內(nèi)存三種設(shè)備，主要的數(shù)據(jù)內(nèi)容依然存放于硬盤中，并在系統(tǒng)中增加少許的固態(tài)硬盤，用來暫時(shí)存儲(chǔ)臨時(shí)更新的數(shù)據(jù)，利用這樣的形式，能夠有效的降低系統(tǒng)更新對(duì)數(shù)據(jù)查詢的影響，由于固態(tài)硬盤的容量也比較小，因此其成本也相對(duì)較低。系統(tǒng)中的每一條數(shù)據(jù)都需要包含其主鍵、操作流程以及更新后的數(shù)值。因此需要在內(nèi)存緩沖之前及時(shí)進(jìn)行更新數(shù)據(jù)，當(dāng)緩沖完成之后，將數(shù)據(jù)的更新記錄錄入在固態(tài)的硬盤中，在讀入的數(shù)據(jù)系統(tǒng)中記錄插入和修改的操作，從而產(chǎn)生最新的數(shù)據(jù)信息。

為了完成上述的操作，需要保證幾個(gè)設(shè)計(jì)的前提：

（1）對(duì)查詢的結(jié)果影響小，這是主要的設(shè)計(jì)目標(biāo)，在具體的算法設(shè)計(jì)中，利用固態(tài)硬盤的特征，減少線上更新對(duì)數(shù)據(jù)查詢操作的影響；

（2）內(nèi)存的占用較少，內(nèi)存的大小可能會(huì)影響運(yùn)算的性能，首先內(nèi)存能夠用于數(shù)據(jù)的緩存，減少不必要的操作，其次，以排序作為基礎(chǔ)的算法，對(duì)于內(nèi)存的大小不同，算法的性能可能會(huì)出現(xiàn)很大的變化，因此當(dāng)數(shù)據(jù)能夠完整的納入內(nèi)存之中時(shí)，利用計(jì)算方法只需要讀取以此數(shù)據(jù)，就能夠計(jì)算出具體的內(nèi)存容量，從而減少對(duì)于內(nèi)存的占用，提升數(shù)據(jù)內(nèi)存的可靠性能；

（3）高效的遷移和操作，從時(shí)間方面來看，以前e累的大量數(shù)據(jù)記錄，每一頁的主數(shù)據(jù)中可能會(huì)存在一些新的更新記錄，而不是隨機(jī)的抽取，在空間的數(shù)據(jù)方面，數(shù)據(jù)的遷移能夠隨時(shí)空間的轉(zhuǎn)移進(jìn)行更新，因此只需要使用少量的硬盤空間，就能存儲(chǔ)大量的更新數(shù)據(jù)。

2.3 MaSM算法

在數(shù)據(jù)更新系統(tǒng)和固態(tài)硬盤中加入兩層數(shù)據(jù)結(jié)構(gòu)，歸納并操作時(shí)，需要將數(shù)據(jù)更新的記錄按照主鍵的順序進(jìn)行排列組合，并簡化外部內(nèi)存的排列程序，當(dāng)緩沖完成之后，算法對(duì)緩沖區(qū)域中的數(shù)據(jù)更新記錄進(jìn)行修改，從而將排序之后的數(shù)據(jù)更新記錄記載在固態(tài)的硬盤中，編寫一個(gè)新的文件，之后便不再系修改。對(duì)于主鍵范圍之內(nèi)的數(shù)據(jù)查詢工作，需要?jiǎng)?chuàng)建一個(gè)table range scan造作的運(yùn)算部件，將數(shù)據(jù)更新記錄的數(shù)值范圍精確到固定的區(qū)域之內(nèi)，使程序員能夠及時(shí)并便捷的找到數(shù)據(jù)更新的差異和規(guī)律，從而對(duì)整個(gè)大數(shù)據(jù)分析提供有一個(gè)準(zhǔn)確的把握。

3 高性能日志處理系統(tǒng)：LogKV

3.1 LogKV系統(tǒng)結(jié)構(gòu)分析

鍵值系統(tǒng)能夠靈敏地表現(xiàn)多種類型日記的信息和記錄，并能夠提供可靠的數(shù)據(jù)存儲(chǔ)資源，系統(tǒng)由一個(gè)調(diào)節(jié)的管理支點(diǎn)和多個(gè)工作的節(jié)點(diǎn)通過數(shù)據(jù)中心的網(wǎng)絡(luò)系統(tǒng)連接在一起，每一個(gè)工作的系統(tǒng)都由兩個(gè)子系統(tǒng)構(gòu)成，IngestKV是鍵值存儲(chǔ)的子系統(tǒng)，使日志能夠順利的緩沖和收集，并實(shí)現(xiàn)系統(tǒng)的設(shè)計(jì)理念和設(shè)計(jì)目標(biāo)。

3.2 從日志的數(shù)據(jù)源到系統(tǒng)的映射

需要管理員盡可能的平衡各個(gè)節(jié)點(diǎn)之間的日志數(shù)據(jù)流量，優(yōu)化獲取日志的方法，首先，日志的數(shù)據(jù)源能夠運(yùn)行LogKV的程序，進(jìn)行直接收集日志資源，由網(wǎng)絡(luò)信號(hào)進(jìn)行數(shù)據(jù)的發(fā)送和傳播；其次，日志的數(shù)據(jù)源能夠通過配置遠(yuǎn)程的端口和服務(wù)器，將日志的數(shù)據(jù)直接發(fā)送到實(shí)際的運(yùn)行系統(tǒng)中，從而促進(jìn)整個(gè)系統(tǒng)的高效運(yùn)行；最后，日志的數(shù)據(jù)源能夠?qū)?shù)據(jù)寫入到本地的文件中，并通過文件傳輸?shù)膮f(xié)議，產(chǎn)品能夠數(shù)據(jù)源中獲取到數(shù)據(jù)文件。

4 總結(jié)

綜上所述可知，隨著經(jīng)濟(jì)的發(fā)展和社會(huì)的進(jìn)步，科學(xué)技術(shù)水平也得到大幅的提升，為了能夠跟進(jìn)時(shí)代的步伐，體驗(yàn)科技的成果，采用大數(shù)據(jù)分析以及高速更新數(shù)據(jù)更新的技術(shù)，不僅能夠提升人們的生活質(zhì)量，加快社會(huì)進(jìn)步的腳步，同時(shí)也能夠促進(jìn)我國的科技軟實(shí)力，從而在激烈的國際競爭中找到一席之地。因此程序員在進(jìn)行數(shù)據(jù)分析的過程中，需要充分了解設(shè)計(jì)的內(nèi)涵，確立在線高速數(shù)據(jù)更新的設(shè)計(jì)目標(biāo)，從而方便大數(shù)據(jù)的存儲(chǔ)和運(yùn)行。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析技術(shù)在生活中的廣泛應(yīng)用

摘 要 文章介紹了大數(shù)據(jù)技術(shù)的即時(shí)性、準(zhǔn)確性和預(yù)測性，并將大數(shù)據(jù)技術(shù)與公共交通、醫(yī)藥領(lǐng)域、移動(dòng)通信網(wǎng)絡(luò)優(yōu)化相結(jié)合，從而方便了人們的生活，提高了人們的生活質(zhì)量。

【關(guān)鍵詞】大數(shù)據(jù)分析 公共交通 醫(yī)藥 移動(dòng)通信

所謂大數(shù)據(jù)，一方面是指在一定時(shí)間內(nèi)無法被常規(guī)信息技術(shù)和傳統(tǒng)數(shù)據(jù)庫管理軟硬件工具感知、獲取和處理的巨量數(shù)據(jù)集合；另一方面，是指形成、管理、挖掘大數(shù)據(jù)， 快速搜集、處理、分析大數(shù)據(jù)的技術(shù)和能力。

大數(shù)據(jù)的主要特點(diǎn)是海量、非結(jié)構(gòu)化和半結(jié)構(gòu)化、實(shí)時(shí)處理。大數(shù)據(jù)技術(shù)，或大數(shù)據(jù)分析技術(shù)，就是對(duì)這些數(shù)量巨大的海量數(shù)據(jù)進(jìn)行搜索、整理、分析、加工，以便獲得有價(jià)值的產(chǎn)品和服務(wù)，以及提煉出具有深刻見解和潛在價(jià)值信息的技術(shù)和手段。

1 大數(shù)據(jù)分析在公共交通中的應(yīng)用

交通擁堵日益嚴(yán)重，交通事故頻繁發(fā)生，這些都是各大城市亟待解決的問題，科學(xué)分析交通管理體系成為改善城市交通的關(guān)鍵所在。因此，高效、準(zhǔn)確地獲取交通數(shù)據(jù)是構(gòu)建合理城市交通管理體系的前提，而這一難題可以通過大數(shù)據(jù)管理得到解決。

大數(shù)據(jù)分析技術(shù)改變了傳統(tǒng)公共交通的路徑：大數(shù)據(jù)可以跨越行政區(qū)域的限制；大數(shù)據(jù)可以高效地整合交通信息；大數(shù)據(jù)可以較好地配置公共交通資源；大數(shù)據(jù)可以促進(jìn)公共交通均衡性發(fā)展。在大數(shù)據(jù)中，隨著數(shù)據(jù)庫攝入更多數(shù)據(jù)，所消耗的計(jì)算工作量反而遞減，配置成本也隨之減小，但所做的計(jì)算則更加精準(zhǔn)。大數(shù)據(jù)在公共交通中的應(yīng)用表現(xiàn)在：一旦某個(gè)路段發(fā)生問題，能立刻從大數(shù)據(jù)中調(diào)出有用信息，確保交通的連貫性和持續(xù)性；另一方面，大數(shù)據(jù)具有較高預(yù)測能力，可降低誤報(bào)和漏報(bào)的概率， 可隨時(shí)針對(duì)公共交通的動(dòng)態(tài)性給予實(shí)時(shí)監(jiān)控。因此，在駕駛者無法預(yù)知交通擁堵的可能性時(shí)，大數(shù)據(jù)可幫助用戶預(yù)先了解。

2 大數(shù)據(jù)分析在醫(yī)藥領(lǐng)域中的應(yīng)用

在醫(yī)學(xué)領(lǐng)域，我們正處在一醫(yī)學(xué)信息爆炸的時(shí)代。基因序列、各種醫(yī)學(xué)圖像、電子病歷記錄和多中心臨床藥物試驗(yàn)等，使生物醫(yī)學(xué)領(lǐng)域跨入網(wǎng)絡(luò)化的大數(shù)據(jù)時(shí)代。如何從醫(yī)療大數(shù)據(jù)中提取出有用的信息是目前亟待解決的問題，構(gòu)建醫(yī)療大數(shù)據(jù)系統(tǒng)需要將各家醫(yī)院通過互聯(lián)網(wǎng)連接，實(shí)現(xiàn)各家醫(yī)院之間的數(shù)據(jù)共享。將醫(yī)療數(shù)據(jù)存于專門的數(shù)據(jù)庫中，在信息協(xié)作平臺(tái)上將各種醫(yī)療信息分類整合，建立成一個(gè)相互共享的網(wǎng)絡(luò)，從而實(shí)現(xiàn)醫(yī)療數(shù)據(jù)信息的共享。

大數(shù)據(jù)技術(shù)的核心就是預(yù)測，使用大數(shù)據(jù)分析技術(shù)可以提高診斷疾病的準(zhǔn)確率，對(duì)有效地治療疾病具有重要價(jià)值。其中最好地體現(xiàn)在傳染病預(yù)測上，因?yàn)閭魅静〉陌l(fā)生、發(fā)展、分布與地理地貌、生態(tài)景觀、人文環(huán)境有密切關(guān)系，特別在全球氣候變化和經(jīng)濟(jì)全球化背景下，自然環(huán)境及人類社會(huì)活動(dòng)對(duì)傳染病的影響越來越重要。因此，時(shí)間和空間信息對(duì)傳染病的預(yù)測、預(yù)警具有重要意義。利用大數(shù)據(jù)可對(duì)傳染病疫情的時(shí)間、空間信息進(jìn)行多維搜索，檢索、處理和分析這些疫情信息可實(shí)現(xiàn)對(duì)傳染病的流行趨勢及影響范圍進(jìn)行預(yù)測、預(yù)警，對(duì)提高傳染病防控的針對(duì)性、預(yù)見性和主動(dòng)性，抑制流行病的蔓延，以及制定衛(wèi)生決策都具有十分重要的意義。

3 大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用

當(dāng)前的大數(shù)據(jù)技術(shù)面臨著數(shù)據(jù)過大和安全隱患越多這兩個(gè)問題。在移動(dòng)通信網(wǎng)絡(luò)發(fā)展的過程中，網(wǎng)上用戶在不斷增加，通信網(wǎng)絡(luò)的范圍在不斷擴(kuò)大， 而移動(dòng)通信網(wǎng)絡(luò)所產(chǎn)生的數(shù)據(jù)量也在不斷上升。大數(shù)據(jù)技術(shù)和移動(dòng)通信網(wǎng)絡(luò)的安全問題密切相關(guān)，一旦技術(shù)出現(xiàn)漏洞，移動(dòng)通信網(wǎng)絡(luò)的數(shù)據(jù)就會(huì)出現(xiàn)安全隱患。大數(shù)據(jù)技術(shù)中存儲(chǔ)功能的是云儲(chǔ)存技術(shù)，它將大量的網(wǎng)絡(luò)數(shù)據(jù)放在統(tǒng)一的平臺(tái)之上，加大了數(shù)據(jù)丟失的風(fēng)險(xiǎn)，影響移動(dòng)通信網(wǎng)絡(luò)的安全。

優(yōu)化移動(dòng)通信網(wǎng)絡(luò)，需要運(yùn)用大數(shù)據(jù)技術(shù)的儲(chǔ)存功能。移動(dòng)通信網(wǎng)絡(luò)的用戶在不斷變化，每天都要更新大量的數(shù)據(jù)，而且這些數(shù)據(jù)都需要進(jìn)行妥善管理和保存。在這一過程中，可以應(yīng)用大數(shù)據(jù)技術(shù)的存儲(chǔ)功能， 將存儲(chǔ)虛擬化作為解決存儲(chǔ)問題的有效策略。

優(yōu)化移動(dòng)通信網(wǎng)絡(luò)，需要獲取相關(guān)的數(shù)據(jù)信息。移動(dòng)通信網(wǎng)絡(luò)的用戶非常多，而且其所跨越的時(shí)間、空間維度都很大，這些用戶在移動(dòng)通信網(wǎng)絡(luò)留下的海量的數(shù)據(jù)信息，使數(shù)據(jù)獲取工作難以繼續(xù)。在進(jìn)行數(shù)據(jù)的獲取和收集工作時(shí)，移動(dòng)通信網(wǎng)絡(luò)可以應(yīng)用大數(shù)據(jù)技術(shù)，減少人力和物力的投入，同時(shí)增加數(shù)據(jù)的準(zhǔn)確度。

4 結(jié)語

本文是大數(shù)據(jù)技術(shù)在實(shí)際生活領(lǐng)域的應(yīng)用，分別闡述了大數(shù)據(jù)分析技術(shù)在公共交通、醫(yī)藥領(lǐng)域、移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的具體運(yùn)用。借助大數(shù)據(jù)技術(shù)的即時(shí)性、準(zhǔn)確性和預(yù)測性，將其應(yīng)用到人們的日常生活領(lǐng)域，提高了人們的生活質(zhì)量。

大數(shù)據(jù)分析論文:可視化大數(shù)據(jù)分析模型在個(gè)性化英語教學(xué)中的應(yīng)用探索研究

【摘要】本文主要從基礎(chǔ)水平、目標(biāo)要求、薄弱點(diǎn)、性格等四個(gè)方面進(jìn)行數(shù)據(jù)建模，結(jié)合學(xué)生學(xué)習(xí)過程中的數(shù)據(jù)分析模型，對(duì)學(xué)生學(xué)習(xí)群體進(jìn)行立體的分析和分類，將學(xué)習(xí)群體細(xì)化地分成多類，因材施教；橫向針對(duì)個(gè)人，從聽、說、讀、寫、譯五個(gè)方面及多個(gè)細(xì)分點(diǎn)進(jìn)行數(shù)據(jù)建模和分析，明確給出學(xué)生英語學(xué)習(xí)的切面水平圖，對(duì)學(xué)生的英語學(xué)習(xí)進(jìn)行有針對(duì)性的可視化分析；縱向以學(xué)生個(gè)體在學(xué)習(xí)過程中積累的變動(dòng)數(shù)據(jù)為根據(jù)，橫向細(xì)分考察點(diǎn)為依托，繪制學(xué)生個(gè)體在學(xué)習(xí)過程中的數(shù)據(jù)變化模型，對(duì)整個(gè)學(xué)習(xí)過程進(jìn)行可視化研究。

【關(guān)鍵詞】英語教學(xué) 可視化分析 學(xué)習(xí)成效

我國英語教學(xué)在網(wǎng)絡(luò)課程、移動(dòng)學(xué)習(xí)、智能測評(píng)等方面近年來發(fā)展迅猛。結(jié)合我國實(shí)際的教學(xué)環(huán)境以及新近發(fā)展起來的大數(shù)據(jù)可視化分析模型，探索更有針對(duì)性更加有效的英語教學(xué)模式，以更大限度的提高學(xué)生學(xué)習(xí)熱情，改善學(xué)習(xí)成績，培養(yǎng)全面發(fā)展的英語人才。

一、中國英語教育的規(guī)模與社會(huì)需求

全球化進(jìn)程和頻繁的國際交流推動(dòng)著我國的英語教育發(fā)展，同時(shí)也導(dǎo)致外語類教學(xué)消費(fèi)的泡沫現(xiàn)象。針對(duì)高校英語專業(yè)和英語增長和英語類考試泛濫的現(xiàn)狀，導(dǎo)致了學(xué)生數(shù)量與教學(xué)質(zhì)量之間的矛盾。我國高校英語教育規(guī)模和社會(huì)需求的快速發(fā)展，但也隨之帶來了師資不足、教材陳舊、教學(xué)手段落后、理論和實(shí)際脫離等一系列問題。在飛速發(fā)展的大數(shù)據(jù)時(shí)代，如何在保障英語教育規(guī)模的同時(shí)，建設(shè)英語專業(yè)教材、深化英語專業(yè)教學(xué)改革、確保英語專業(yè)教學(xué)質(zhì)量已經(jīng)成為當(dāng)前迫切需要解決的問題。

二、大數(shù)據(jù)分析模型在學(xué)生英語學(xué)習(xí)過程中的應(yīng)用

大數(shù)據(jù)概念在教育領(lǐng)域的發(fā)展體現(xiàn)在：開創(chuàng)教育理念的新思維新視角的同時(shí)，也給教育實(shí)踐探索帶來了新技術(shù)、新方法。通過數(shù)據(jù)記錄學(xué)生學(xué)習(xí)的能力、效果、時(shí)間、水平、成績、思維流程等，能夠直接、具象的掌握學(xué)生的學(xué)習(xí)進(jìn)度。通過大數(shù)據(jù)系統(tǒng)，對(duì)這些信息和數(shù)據(jù)進(jìn)行記錄、整理、統(tǒng)計(jì)、分析，使得教師能更科學(xué)全面地掌握學(xué)生的學(xué)習(xí)動(dòng)向，也使得學(xué)生和家長能及時(shí)客觀地了解個(gè)體發(fā)展情況。

通過大數(shù)據(jù)分析模型著重闡述了如何對(duì)學(xué)生英語水平進(jìn)行切面橫向的評(píng)價(jià)，同時(shí)進(jìn)行分析研究，查缺補(bǔ)漏，制定個(gè)性化學(xué)習(xí)方案，教師實(shí)行定制化的施教方案，有針對(duì)性地對(duì)學(xué)生的英語學(xué)習(xí)進(jìn)行指導(dǎo)和教授知識(shí)點(diǎn)，有效提高學(xué)生英語水平。

從縱向的時(shí)間維度來講，以學(xué)生個(gè)體在學(xué)習(xí)過程中積累的變動(dòng)數(shù)據(jù)為根據(jù)，橫向細(xì)分考察點(diǎn)（聽說讀寫譯的子考察點(diǎn)）為依托，這樣可以繪制出學(xué)生個(gè)體在學(xué)習(xí)過程中的數(shù)據(jù)變化模型，制作出來評(píng)分圖，對(duì)比以前的評(píng)分圖，可以實(shí)現(xiàn)對(duì)該學(xué)生整個(gè)學(xué)習(xí)過程進(jìn)行可視化研究，并隨時(shí)調(diào)整學(xué)習(xí)方法和施教方案，有針對(duì)性地加強(qiáng)薄弱點(diǎn)的學(xué)習(xí)，掌控學(xué)生的學(xué)習(xí)效果。

同前面所述一樣可以繪制出學(xué)生的學(xué)習(xí)水平評(píng)價(jià)表，可以清晰地記錄學(xué)生的學(xué)習(xí)軌跡，如果條件允許還可以制定學(xué)習(xí)記錄檔案，這不僅能成為學(xué)生學(xué)習(xí)成長的指引工具，也有助于鍛煉學(xué)生的分析解決問題能力和邏輯思維。

三、大數(shù)據(jù)分析法在英語教學(xué)當(dāng)中的應(yīng)用

1.大數(shù)據(jù)分析模型在學(xué)習(xí)群體中的分類應(yīng)用。對(duì)一個(gè)學(xué)習(xí)群體來講，主要從以下四個(gè)方面進(jìn)行分類研究，考查點(diǎn)分別是基礎(chǔ)綜合水平、學(xué)生學(xué)習(xí)目標(biāo)要求、英語學(xué)習(xí)薄弱點(diǎn)和學(xué)生的性格特點(diǎn)等。該四個(gè)考查點(diǎn)每個(gè)以滿分100分計(jì)，基礎(chǔ)綜合水平時(shí)根據(jù)學(xué)生目前的學(xué)習(xí)狀況做個(gè)全面客觀的測試，可以從聽說讀寫譯等五個(gè)基礎(chǔ)點(diǎn)進(jìn)行測試，為考慮英語教學(xué)是為學(xué)生英語學(xué)習(xí)的全面發(fā)展，故每個(gè)基礎(chǔ)點(diǎn)滿分為20分，進(jìn)行考察統(tǒng)計(jì)；學(xué)生學(xué)習(xí)目標(biāo)要求是指根據(jù)學(xué)生當(dāng)前狀況，同時(shí)結(jié)合學(xué)生家長、學(xué)生本人以及學(xué)校的期望和要求，制定合理的學(xué)習(xí)目標(biāo)；英語學(xué)習(xí)薄弱點(diǎn)主要通過綜合水平的考查就可得出學(xué)生學(xué)習(xí)的評(píng)估結(jié)論；性格特點(diǎn)是指在英語學(xué)習(xí)過程當(dāng)中該學(xué)生適合的一種學(xué)習(xí)方法，以上四個(gè)方面具體參考下面表格進(jìn)行分類：

通過基礎(chǔ)綜合水平（從聽說讀寫譯等五個(gè)方面進(jìn)行考核）、學(xué)習(xí)薄弱點(diǎn)、性格特點(diǎn)、學(xué)習(xí)目標(biāo)要求（學(xué)生自己的學(xué)習(xí)水平，學(xué)生家長、學(xué)生本人以及學(xué)校的期望和要求）這四個(gè)方面，將學(xué)生群體分成幾類，清楚了解他們?cè)谟⒄Z學(xué)習(xí)過程中存在的問題，可針對(duì)性地進(jìn)行施教，同時(shí)對(duì)學(xué)習(xí)過程進(jìn)行圖表追蹤，可以直觀反映學(xué)生在學(xué)習(xí)過程中的進(jìn)步情況。傳統(tǒng)的教育教學(xué)評(píng)價(jià)模式和大數(shù)據(jù)的評(píng)價(jià)模式有較大的差別，大數(shù)據(jù)時(shí)代的教育，更加注重ρ生多方面的考核，對(duì)學(xué)生的了解更具有針對(duì)性，施教方法和教材的選用都能體現(xiàn)個(gè)性化，會(huì)更客觀和全面地對(duì)學(xué)生進(jìn)行考核、評(píng)價(jià)、分析和研究。

通過對(duì)學(xué)生群體從以上四個(gè)大方向的了解分析，進(jìn)行有針對(duì)性的施教，前三個(gè)方面是從學(xué)生當(dāng)前自身的了解，后一項(xiàng)是對(duì)其學(xué)習(xí)目標(biāo)的確認(rèn)，首先，在了解以上各方面的狀態(tài)下，結(jié)合學(xué)生的基礎(chǔ)綜合水平高低將其目標(biāo)分段實(shí)現(xiàn)，同時(shí)，結(jié)合其學(xué)習(xí)薄弱點(diǎn)，進(jìn)行重點(diǎn)練習(xí)和學(xué)習(xí)，鞏固以前基礎(chǔ)，提升重點(diǎn)知識(shí)水平，針對(duì)不同性格的學(xué)生，采用不同的學(xué)習(xí)和練習(xí)方法，比如性格開朗具有語言天賦的學(xué)生更能在聽說應(yīng)用中提高知識(shí)水平，性格內(nèi)向的學(xué)生在讀寫和記憶知識(shí)方面更能發(fā)揮他們的優(yōu)勢。

2.大數(shù)據(jù)分析模型在學(xué)生個(gè)性化英語學(xué)習(xí)中應(yīng)用。

（1）英語教學(xué)評(píng)價(jià)指標(biāo)體系介紹。以單個(gè)學(xué)生為例，由評(píng)價(jià)老師組成評(píng)價(jià)小組，取平均值對(duì)學(xué)生進(jìn)行橫向切面的英語水平數(shù)據(jù)分析，評(píng)價(jià)表設(shè)計(jì)為：聽（詞0.2、句0.2、文0.2、邏輯關(guān)系0.3、習(xí)語0.1）說（發(fā)音0.5、斷句0.3、語氣語調(diào)0.2）、讀（詞匯0.3、句型0.3、語法0.4）寫（詞匯0.5、格式行文0.2、組織結(jié)構(gòu)0.3）譯（口譯0.4、筆譯0.4、速記0.2）。

通過以上表格對(duì)學(xué)生的英語水平進(jìn)行全方位的數(shù)據(jù)分析，需要說明的是評(píng)分等級(jí)可以是上面模糊指標(biāo)，也可以是精確的得分，通過建立科學(xué)準(zhǔn)確的數(shù)學(xué)模型，可以輕而易舉的展現(xiàn)出某一學(xué)生的優(yōu)勢和不足，同時(shí)上表還可以結(jié)合學(xué)生的目標(biāo)要求拆開來用，針對(duì)某一或幾個(gè)大類進(jìn)行評(píng)價(jià)分析，最終可視化地得出學(xué)生英語水平表，之后針對(duì)學(xué)生的不足制定出個(gè)性化的學(xué)習(xí)和施教方案。按照英語水平數(shù)據(jù)分析評(píng)價(jià)模型表，就某一學(xué)生實(shí)際英語水平考查得分用柱狀圖進(jìn)行可視化分析。

從圖1可以看出該學(xué)生的能力水平中等偏上，但是翻譯水平很差，讀寫水平良好，聽說能力一般，總體水平都有待提高，特別是翻譯水平需要特別注意。經(jīng)過分析，針對(duì)該學(xué)生教師首先著重從鍛煉其翻譯能力為重，制定專門能夠提高翻譯水平的施教方案和策略，同時(shí)注意對(duì)聽說讀寫等方面能力的學(xué)習(xí)和提高。

下面再聽力水平為例進(jìn)行分析，研究哪些細(xì)分方面能力水低而導(dǎo)致該生的聽力水平一般。以聽力水平考查得分為例，

由上圖可以輕松看出來該生的英語聽力水平一般，具體原因除在詞匯方面表現(xiàn)良好以外，其他細(xì)分能力點(diǎn)的水平都很普通，在全文聽力理解表現(xiàn)較差，對(duì)語句理解一般，全文邏輯關(guān)系掌握較差，英語習(xí)語的了解水平低，說明該生需要著重訓(xùn)練語句及全文的聽力理解邏輯關(guān)系和英語習(xí)語的學(xué)習(xí)，結(jié)合英語聽力能力的不足點(diǎn)，制定個(gè)性化學(xué)習(xí)和施教方案，有針對(duì)性地彌補(bǔ)不足；同時(shí)從時(shí)間維度來看，可以隔一段時(shí)間對(duì)該學(xué)生的水平進(jìn)行評(píng)價(jià)，做出評(píng)分圖，對(duì)比以前的評(píng)分圖可以看出該學(xué)生的提升幅度和當(dāng)前的能力水平，適時(shí)調(diào)整學(xué)習(xí)方法和側(cè)重點(diǎn)，優(yōu)化調(diào)整施教方案。

四、結(jié)束語

“數(shù)據(jù)驅(qū)動(dòng)社會(huì)，分析變革教育”的大數(shù)據(jù)時(shí)代已經(jīng)到來，改變和優(yōu)化傳統(tǒng)的教育教學(xué)方法是時(shí)代所趨，更是學(xué)生學(xué)習(xí)的內(nèi)在所需。教育數(shù)據(jù)資源共享，利用大數(shù)據(jù)分析模型開展教育和教學(xué)工作，提高學(xué)生英語學(xué)習(xí)水平，降低學(xué)習(xí)成本，實(shí)現(xiàn)大數(shù)據(jù)分析方法的最大的價(jià)值。

大數(shù)據(jù)分析論文:基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)

【摘要】 互聯(lián)網(wǎng)醫(yī)療助力于分級(jí)診療，即是要做好“小病到社區(qū)，大病到醫(yī)院”。文章擬選用基于大數(shù)據(jù)分析技術(shù)設(shè)計(jì)出一種更智能、更快捷的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)。該系統(tǒng)采用互聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)分析技術(shù)，將手機(jī)APP與信息協(xié)作平臺(tái)相結(jié)合，在社區(qū)內(nèi)建立一個(gè)較為完善的醫(yī)療服務(wù)系統(tǒng)。

【關(guān)鍵詞】 “互聯(lián)網(wǎng)+” 大數(shù)據(jù) “三角服務(wù)”模型 智能醫(yī)療服務(wù)系統(tǒng)

在人口快速老齡化、家庭規(guī)模日益小型化和機(jī)構(gòu)養(yǎng)老發(fā)展不足等多重因素的影響下，發(fā)展社區(qū)養(yǎng)老逐漸成為一種必然選擇。建立起基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，在市區(qū)大醫(yī)院、社區(qū)醫(yī)療站以及社區(qū)老年人三者之間建立起信息網(wǎng)絡(luò)，使社區(qū)老年人的健康問題得到更好的保障。

一、系統(tǒng)概述

現(xiàn)如今，大型醫(yī)院普遍存在床位緊張、人員調(diào)配效果不佳、管理體系不健全等問題。建立社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)是完善現(xiàn)有醫(yī)療體系急需解決的主要問題，同時(shí)，隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，將互聯(lián)網(wǎng)與大數(shù)據(jù)分析技術(shù)用于社區(qū)醫(yī)療服務(wù)系統(tǒng)，已成為該方面的一項(xiàng)新技術(shù)。

二、技術(shù)分析

根據(jù)上述分析，需要開發(fā)一套基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，此系統(tǒng)可以最優(yōu)化利用資源，幫助老人方便、快捷的解決突發(fā)狀況。為滿足需求，該方案需要具備以下技術(shù)：1）概率統(tǒng)計(jì)。收集社區(qū)老人的體溫、心率等生命體征數(shù)據(jù)。以河師大社區(qū)為例，運(yùn)用概率統(tǒng)計(jì)技術(shù)采集社區(qū)老人的生命體征數(shù)據(jù)。2）大數(shù)據(jù)分析。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺(tái)上，利用大數(shù)據(jù)分析、數(shù)據(jù)挖掘和人工智能中不確定性推理技術(shù)，對(duì)采集到的老年人信息進(jìn)行分析及推斷。3）互聯(lián)網(wǎng)技術(shù)。構(gòu)建“三角服務(wù)”模型。運(yùn)用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個(gè)以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大子系統(tǒng)相互連接的“三角服務(wù)”模型，實(shí)現(xiàn)智能管理。

三、設(shè)計(jì)方案

1、總體流程。整個(gè)醫(yī)療服務(wù)系統(tǒng)可分為線上和線下兩種服務(wù)方式。線上：系統(tǒng)按照固定方案進(jìn)行老人身體數(shù)據(jù)采集；線下：社區(qū)醫(yī)療站會(huì)定期派專業(yè)人士到老人家里對(duì)其進(jìn)行全方位檢查以及相關(guān)醫(yī)療知識(shí)的普及。

2、數(shù)據(jù)采集與處理。首先利用智能手環(huán)采集社區(qū)部分老年人的身體數(shù)據(jù)，通過社區(qū)中建立的互聯(lián)網(wǎng)網(wǎng)絡(luò)把數(shù)據(jù)傳輸?shù)绞謾C(jī)APP以及信息協(xié)作平臺(tái)上。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺(tái)上，利用大數(shù)據(jù)分析和不確定性推理技術(shù)，對(duì)采集到的老年人信息進(jìn)行分析及推斷。

3、“三角服務(wù)”模型。“互聯(lián)網(wǎng)+”社區(qū)養(yǎng)老中最為核心的就是系統(tǒng)模型的構(gòu)建，運(yùn)用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個(gè)以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大系統(tǒng)相互連接的“三角服務(wù)”模型（如圖1所示）。

若采集到的老人的身體數(shù)據(jù)發(fā)生了變化，則會(huì)通過報(bào)警系統(tǒng)反饋到社區(qū)醫(yī)療站，社區(qū)醫(yī)療站則做出最快的反應(yīng)，一方面，會(huì)到老人家中對(duì)老人進(jìn)行急救，另一方面，會(huì)及時(shí)將老人的存檔發(fā)送給醫(yī)院，并聯(lián)系醫(yī)院進(jìn)行一系列的急救措施，從而節(jié)約了救援時(shí)間。

4、構(gòu)建智能醫(yī)療服務(wù)系統(tǒng)。開發(fā)社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)。即開發(fā)一個(gè)集智能醫(yī)療設(shè)備、智能醫(yī)護(hù)終端設(shè)備和帶有功能模塊的智能醫(yī)護(hù)平臺(tái)為一體的服務(wù)系統(tǒng)。將采集到的老人身體數(shù)據(jù)存于專門的數(shù)據(jù)庫中，在信息協(xié)作平臺(tái)上將社區(qū)老人、社區(qū)醫(yī)療站和市區(qū)大醫(yī)院三者建立成一個(gè)相互共享的網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)信息的共享。手機(jī)APP與信息協(xié)作平臺(tái)相聯(lián)系，能夠通過移動(dòng)設(shè)備查看網(wǎng)絡(luò)平臺(tái)的信息，市區(qū)大醫(yī)院的醫(yī)療系統(tǒng)與社區(qū)醫(yī)療站的數(shù)據(jù)庫相連接，從而便于實(shí)現(xiàn)信息的共享。

結(jié)語：本系統(tǒng)是基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，是物聯(lián)網(wǎng)在醫(yī)療領(lǐng)域的應(yīng)用，目的是為社區(qū)老人提供更便捷的醫(yī)療服務(wù)。將大數(shù)據(jù)分析技術(shù)與智能醫(yī)療服務(wù)系統(tǒng)相結(jié)合，在概率統(tǒng)計(jì)的基礎(chǔ)上，將手機(jī)APP與信息協(xié)作平臺(tái)相聯(lián)系，通過移動(dòng)設(shè)備查看網(wǎng)絡(luò)平臺(tái)的信息，便于實(shí)現(xiàn)信息的共享與交流，醫(yī)療服務(wù)更趨于智能化。

大數(shù)據(jù)分析論文:試論大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化過程中的運(yùn)用

【摘要】 隨著我國移動(dòng)通信網(wǎng)絡(luò)用戶的增加，優(yōu)化通信網(wǎng)絡(luò)成為一種必然。大稻菔貝為移動(dòng)通信網(wǎng)絡(luò)優(yōu)化提供了新技術(shù)，掌握大數(shù)據(jù)時(shí)代特征，充分利用大數(shù)據(jù)技術(shù)，完成移動(dòng)通信網(wǎng)絡(luò)的優(yōu)化過程，是當(dāng)下移動(dòng)運(yùn)營商發(fā)展的主要任務(wù)之一。

【關(guān)鍵詞】 大數(shù)據(jù)分析 移動(dòng)通信網(wǎng)絡(luò)優(yōu)化 運(yùn)用

移動(dòng)通信網(wǎng)絡(luò)運(yùn)行故障具有較多的原因，大數(shù)據(jù)時(shí)代，通信運(yùn)營商應(yīng)根據(jù)大數(shù)據(jù)的特征，采取大數(shù)據(jù)技術(shù)對(duì)其進(jìn)行分析和優(yōu)化。

一、目前網(wǎng)絡(luò)優(yōu)化中的困難

移動(dòng)通信網(wǎng)絡(luò)優(yōu)化是利用數(shù)據(jù)采集等手段分析網(wǎng)絡(luò)運(yùn)行慢的原因，并予以解決。這一問題看似簡單，但實(shí)際上存在很多困難。包括技術(shù)上的、資金上的。比如通信網(wǎng)絡(luò)資源龐雜，2G、3G、4G網(wǎng)同時(shí)運(yùn)行。基站建設(shè)需求不斷增加，網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)不斷的增多，對(duì)龐雜網(wǎng)絡(luò)運(yùn)行狀態(tài)的分析需要掌握云計(jì)算等大數(shù)據(jù)分析技術(shù)。再比如，優(yōu)化網(wǎng)絡(luò)需求大量的資金，新建基站和網(wǎng)絡(luò)維護(hù)同時(shí)運(yùn)行，給移動(dòng)通信運(yùn)營商帶來困難。部分通信網(wǎng)絡(luò)建成后無法及時(shí)投入使用，造成大量的資源浪費(fèi)，對(duì)網(wǎng)絡(luò)運(yùn)行高峰期，運(yùn)行差異很難把握，基站的建設(shè)存在些許不合理。另外，同一小區(qū)的用戶類型具有多樣化特征，用戶的使用需求也有所不同。對(duì)于通信運(yùn)營商而言，要致力于滿足所有用戶需求，這就對(duì)基站和天線的性能具有較高的要求，優(yōu)化通信頻譜率成為主要問題。但是優(yōu)化網(wǎng)絡(luò)頻譜率并不容易，目前依然受到技術(shù)和資金上的限制。對(duì)同一時(shí)間段，不同業(yè)務(wù)模型的整理也需要采取大數(shù)據(jù)分析技術(shù)，采用傳統(tǒng)的技術(shù)無法解決。

二、大數(shù)據(jù)分析在移動(dòng)網(wǎng)絡(luò)優(yōu)化中的運(yùn)用

2.1網(wǎng)絡(luò)性能大數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)采集是網(wǎng)絡(luò)優(yōu)化的首要任務(wù)，主要包括對(duì)通信網(wǎng)性能的采集、話務(wù)量的采集和信號(hào)測試三部分。通信網(wǎng)性能主要是指通信網(wǎng)絡(luò)的接入效果、經(jīng)緯度以及入載波頻點(diǎn)等基本參數(shù)，用來判斷網(wǎng)絡(luò)的運(yùn)行速度和是否存在運(yùn)行故障。話務(wù)量的采集主要包括移動(dòng)信道的可利用率，接話率和掉話率等，采集話務(wù)量有助于運(yùn)營商正確建立基站和設(shè)置天線的頻譜參數(shù)，使網(wǎng)絡(luò)輸出更加合理。信號(hào)測試數(shù)據(jù)主要是現(xiàn)場測試，是對(duì)正在運(yùn)行的移動(dòng)通信網(wǎng)絡(luò)信號(hào)狀況進(jìn)行測試。包括DT數(shù)據(jù)和CQT數(shù)據(jù)測試。移動(dòng)通信網(wǎng)絡(luò)的需求增多，使用人數(shù)增多，每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)包括種不同類型。因此，對(duì)于傳統(tǒng)的數(shù)據(jù)分析方式明顯不能滿足數(shù)據(jù)分析的需求，無法了解網(wǎng)絡(luò)運(yùn)行的基本狀態(tài)。而要完成對(duì)數(shù)據(jù)的分析，首先系統(tǒng)要具有大數(shù)據(jù)存儲(chǔ)功能，虛擬化技術(shù)是目前用于移動(dòng)大數(shù)據(jù)存儲(chǔ)的主要方式，該方式能夠提供高容量，能夠?qū)?shù)據(jù)進(jìn)行完整的存儲(chǔ)，并且關(guān)注存儲(chǔ)細(xì)節(jié)處理和可擴(kuò)展儲(chǔ)存。使用虛擬化存儲(chǔ)，能夠?qū)?nèi)部數(shù)據(jù)、外部數(shù)據(jù)和多廠商的全部數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)于一個(gè)平臺(tái)之上。并在對(duì)數(shù)據(jù)中心改變其動(dòng)態(tài)容量，大大降低了存儲(chǔ)資源的空間，降低成本，滿足大數(shù)據(jù)時(shí)代的通信要求。目前，通信公司已經(jīng)開始著手研發(fā)虛擬化技術(shù)，來應(yīng)對(duì)大數(shù)據(jù)處理。

2.2大數(shù)據(jù)在網(wǎng)絡(luò)優(yōu)化中的具體運(yùn)用

網(wǎng)絡(luò)優(yōu)化的關(guān)鍵是正確進(jìn)行網(wǎng)絡(luò)定位和網(wǎng)絡(luò)分析，解決網(wǎng)絡(luò)運(yùn)行中的掉話和干擾問題。隨著基站建設(shè)的增多，建設(shè)不合理導(dǎo)致的信號(hào)覆蓋不全問題大量存在，天線角度設(shè)置問題也時(shí)有發(fā)生。而對(duì)于移動(dòng)通信運(yùn)行而言，技術(shù)的更新始終是最困難的。上文我們分析，網(wǎng)絡(luò)優(yōu)化的主要問題就是數(shù)據(jù)的采集，實(shí)際上這一過程包括優(yōu)化準(zhǔn)備、問題查找與分析，優(yōu)化調(diào)整實(shí)施和提取印證幾部分。其中數(shù)據(jù)采集、問題分析、優(yōu)化調(diào)整是網(wǎng)絡(luò)優(yōu)化的核心，并且需要重復(fù)進(jìn)行，在移動(dòng)通信網(wǎng)絡(luò)運(yùn)行過程中經(jīng)常發(fā)生。按照上文我們分析的移動(dòng)通信網(wǎng)絡(luò)優(yōu)化階段，并結(jié)合大數(shù)據(jù)的特征，首先將優(yōu)化目標(biāo)定位為網(wǎng)絡(luò)基站的檢查，隨后進(jìn)行數(shù)據(jù)的測試和網(wǎng)絡(luò)運(yùn)行的測試。檢查基站是否存在露覆蓋和重復(fù)覆蓋現(xiàn)象，通過大數(shù)據(jù)分析手段獲得基站的覆蓋信息，并對(duì)其進(jìn)行適當(dāng)?shù)恼{(diào)整，滿足覆蓋需求并降低干擾。準(zhǔn)備好測試工具，對(duì)數(shù)據(jù)進(jìn)行相關(guān)測試并存儲(chǔ)于云盤空間，利用虛擬化技術(shù)對(duì)網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)進(jìn)行提取，從而正確分析移動(dòng)通信網(wǎng)絡(luò)運(yùn)行問題所在，重點(diǎn)解決網(wǎng)絡(luò)信號(hào)不足、無主小區(qū)和頻繁切換問題。將整個(gè)優(yōu)化階段分為兩部分，即天線射頻優(yōu)化調(diào)整和后臺(tái)參數(shù)優(yōu)化。天線射頻優(yōu)化就是對(duì)基站天線的調(diào)整，基站天線的覆蓋角度是影響信號(hào)輸出的重要原因，將天線調(diào)整于合理的范圍內(nèi)，可以保證通信運(yùn)行合理。后臺(tái)參數(shù)調(diào)整則包括鄰區(qū)、基站扇區(qū)功率調(diào)整，并且還包括設(shè)置信道、切換參數(shù)、接入?yún)?shù)的調(diào)整。根據(jù)調(diào)整計(jì)劃調(diào)整后臺(tái)參數(shù)，從才能保證移動(dòng)通信網(wǎng)絡(luò)的分布，為移動(dòng)通信網(wǎng)絡(luò)優(yōu)化打下基礎(chǔ)。對(duì)于網(wǎng)絡(luò)優(yōu)化而言，還需要技術(shù)人員根據(jù)需求不斷的調(diào)整，逐漸促進(jìn)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的合理性，保證參數(shù)的合理范圍，最終確保通信網(wǎng)的快速運(yùn)行。

總結(jié)：大數(shù)據(jù)時(shí)代已經(jīng)到來，對(duì)于移動(dòng)通信而言，用戶增多，需求增多，每天產(chǎn)生的數(shù)據(jù)只能用海量來形容。應(yīng)對(duì)大數(shù)據(jù)時(shí)代的特征，移動(dòng)網(wǎng)絡(luò)的優(yōu)化也應(yīng)充分采用云計(jì)算等技術(shù)。分析網(wǎng)絡(luò)運(yùn)行中存在的問題，對(duì)通信網(wǎng)信道衰落，信號(hào)影響因素進(jìn)行處理，促進(jìn)我國移動(dòng)通信網(wǎng)絡(luò)的發(fā)展，滿足客戶需求。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析在通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)中的應(yīng)用

【摘要】 通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)在我國有著重要的意義，企業(yè)和個(gè)人越來越注重隱私。適應(yīng)這一需求需要企業(yè)基于大數(shù)據(jù)的特征，分析客戶需求，滿足客戶需求，幫助客戶建立專業(yè)的、優(yōu)質(zhì)的通信網(wǎng)絡(luò)監(jiān)控體系。

【關(guān)鍵詞】 大數(shù)據(jù) 通信網(wǎng)絡(luò)監(jiān)控系統(tǒng) 應(yīng)用

通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)存在的意義是發(fā)現(xiàn)通信問題并解決通信問題。移動(dòng)通信系統(tǒng)快速發(fā)展的同時(shí)，還應(yīng)注重用戶體驗(yàn)，致力于建立人性化服務(wù)體系。通信網(wǎng)絡(luò)監(jiān)控包括多種不同模式，其中最常見的是以告警為出發(fā)點(diǎn)的設(shè)備和以客戶感知為出發(fā)點(diǎn)的設(shè)備。前者主要是關(guān)注設(shè)備的被破壞程度，但無法反應(yīng)網(wǎng)絡(luò)的優(yōu)良程度，主要用于故障解決。但是要將客戶放在第一位，筆者認(rèn)為，還需要采取更先進(jìn)的通信網(wǎng)絡(luò)監(jiān)控模式，建立從客戶體驗(yàn)出發(fā)的監(jiān)控體系，嚴(yán)把質(zhì)量關(guān)。文章將這兩種模式進(jìn)行了對(duì)比分析，肯定了大數(shù)據(jù)時(shí)代應(yīng)該以滿足客戶為目標(biāo)的企業(yè)發(fā)展戰(zhàn)略，致力于促進(jìn)該時(shí)期通信網(wǎng)絡(luò)監(jiān)控行業(yè)的發(fā)展。

一、以告警為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控體系

以告警為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控體系目前依然是監(jiān)控市場的主流，這一監(jiān)控體系主要用于對(duì)網(wǎng)絡(luò)故障進(jìn)行及時(shí)的處理。移動(dòng)通信業(yè)在發(fā)展過程中，監(jiān)控部門應(yīng)把握問題的輕重緩急，合理利用時(shí)間，提供優(yōu)質(zhì)服務(wù)以滿足客戶服務(wù)。其主要原理就是在設(shè)備出現(xiàn)問題時(shí)及時(shí)發(fā)出警報(bào)，這樣就可避免一些損失。在故障的處理中，依然要堅(jiān)持這一原則，從而快速消除故障，確保通信穩(wěn)定。大數(shù)據(jù)時(shí)代，物聯(lián)網(wǎng)、云計(jì)算等新興模式的出現(xiàn)使以告警為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控體系稍顯落后。這一時(shí)期的數(shù)據(jù)多且復(fù)雜，能夠促發(fā)報(bào)警的數(shù)據(jù)多，一旦出現(xiàn)報(bào)警又不能及時(shí)出臺(tái)解決策略，將影響網(wǎng)絡(luò)用戶體驗(yàn)，因此告警系統(tǒng)的功能應(yīng)進(jìn)一步拓寬。以告警為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控體系存在一定的問題，比如對(duì)報(bào)警系統(tǒng)過于依賴，接口不穩(wěn)定等原因都會(huì)導(dǎo)致目標(biāo)脫離監(jiān)控。

同時(shí)，這一時(shí)期的客戶感知度無法真實(shí)的從客戶那里得到，還必須通過破壞程度來判斷，但是這中間存在一定的偏差。發(fā)出警報(bào)要么影響網(wǎng)絡(luò)安全，要么影響業(yè)務(wù)輸出，因此很難最終確定原因。

當(dāng)然，以告警為出發(fā)點(diǎn)的監(jiān)控體系能夠大量應(yīng)用，其一是他具有大量的市場需求，其二是技術(shù)設(shè)計(jì)容易實(shí)現(xiàn)，第三是一定程度上可以保證用網(wǎng)安全。未來，針對(duì)這一網(wǎng)絡(luò)通信模式，還應(yīng)致力于提高網(wǎng)絡(luò)服務(wù)質(zhì)量。并且要做好一定的預(yù)防工作，不能總是等到故障出現(xiàn)采取處理。

二、以客戶感知為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控系統(tǒng)

以客戶感知為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控系統(tǒng)是近年來提出的一種新的監(jiān)控模式，與大數(shù)據(jù)時(shí)代的要求保持一致，且在大數(shù)據(jù)背景下很容易實(shí)現(xiàn)。其實(shí)現(xiàn)的主要流程是通過大數(shù)據(jù)采集海量客戶感知信息，并將其進(jìn)行整理后形成客戶的習(xí)慣和興趣點(diǎn)，從而分析和對(duì)比用戶需求。結(jié)合已有的信息進(jìn)行告警設(shè)備的重新設(shè)置或者調(diào)整，可以第一時(shí)間保證用戶的用網(wǎng)安全。建立不同區(qū)域的服務(wù)質(zhì)量等級(jí)，根據(jù)服務(wù)數(shù)據(jù)特征分析原因，提出意見，并且形成客戶感知度報(bào)告，以此來進(jìn)行網(wǎng)絡(luò)的優(yōu)化，最大化的發(fā)揮了監(jiān)控系統(tǒng)的作用，對(duì)其過程進(jìn)行如下分析。

2.1客戶感知信息數(shù)據(jù)的采集

信息的采集是實(shí)現(xiàn)通信網(wǎng)絡(luò)監(jiān)控的前提。信息的采集可以是多渠道的，可以動(dòng)用戶終端設(shè)備，也可以是寬帶客戶。可以在終端設(shè)備上安裝軟件，記錄用戶的位置，并以區(qū)域和時(shí)間為軸線分析用戶移動(dòng)通信網(wǎng)絡(luò)的信號(hào)強(qiáng)度、掉話次數(shù)，下載速度等數(shù)據(jù)，根據(jù)需求對(duì)通信網(wǎng)絡(luò)進(jìn)行適當(dāng)?shù)膮?shù)調(diào)整，可以提高客戶的用網(wǎng)體驗(yàn)。寬帶用戶的收集是將信息收集軟件安裝于計(jì)算機(jī)端，記錄客戶的位置、下載速率等基本信息，并將數(shù)據(jù)上傳至感知信息接收平臺(tái)。最后在感知終端這一模擬客戶終端的收集下獲得用戶數(shù)據(jù)，感知終端是一種特殊的終端，他集無線網(wǎng)、寬帶網(wǎng)和窄帶與一體，是靠模擬的方式完成收集相關(guān)參數(shù)。可以將其安裝于通信網(wǎng)絡(luò)中的某個(gè)節(jié)點(diǎn)上，并利用PING測試本節(jié)點(diǎn)和下游設(shè)備的參數(shù)，并且可以收集線下的服務(wù)參數(shù)。以收集大客網(wǎng)絡(luò)的情況信息。該系統(tǒng)的安裝位置隨意，具有特殊性，應(yīng)用較為廣泛，能夠正確的反應(yīng)客戶的信息，對(duì)通信監(jiān)控系統(tǒng)的優(yōu)化具有積極作用。

2.2客戶感知信息的處理

在感知信息系統(tǒng)中，對(duì)通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)的信息進(jìn)行收集后，還需要采取一定的辦法對(duì)其進(jìn)行處理。處理信息是大數(shù)據(jù)時(shí)代，移動(dòng)通信網(wǎng)絡(luò)監(jiān)控的主要目的，處理數(shù)據(jù)才能解決問題。當(dāng)然這一過程是復(fù)雜的，需要通過數(shù)據(jù)庫、資源庫和設(shè)備預(yù)警等多項(xiàng)技術(shù)相結(jié)合，并且要不斷的更新技術(shù)，形成區(qū)域網(wǎng)絡(luò)服務(wù)質(zhì)量圖，并且要始終堅(jiān)持以人文本的原則。Y合已有的網(wǎng)絡(luò)結(jié)構(gòu)庫、資源庫、設(shè)備告警庫等進(jìn)行分析處理，形成區(qū)域網(wǎng)絡(luò)服務(wù)質(zhì)量視圖。

三、總結(jié)

網(wǎng)絡(luò)監(jiān)控體系在社會(huì)發(fā)展中發(fā)揮著重要作用，促進(jìn)行業(yè)的發(fā)展具有必要性。大數(shù)據(jù)一定程度上改變企業(yè)的商業(yè)模式和營銷模式。因此了解大數(shù)據(jù)時(shí)代的特征，并且基于大數(shù)據(jù)進(jìn)行通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)的分析，能夠促進(jìn)其發(fā)展。文章分析了基于大數(shù)據(jù)的移動(dòng)通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)的應(yīng)用。

大數(shù)據(jù)分析論文:油田生產(chǎn)中大數(shù)據(jù)分析技術(shù)的研究及應(yīng)用

摘 要：自始以來，由于地理位置的影響我國的石油資源處于緊缺的狀態(tài)，傳統(tǒng)的人工技術(shù)已不能滿足我國石油需求的問題，那么將大數(shù)據(jù)技術(shù)應(yīng)用于油田的建設(shè)中是一項(xiàng)急不可待的工程。文章以新疆油田公司為例，利用數(shù)據(jù)挖掘技術(shù)發(fā)掘油田隱藏的數(shù)據(jù)價(jià)值，提高數(shù)據(jù)的使用效率，利用數(shù)據(jù)找到合適油田，指導(dǎo)生產(chǎn)工作，更好地節(jié)約成本，提高綜合效益。

關(guān)鍵詞：油田生產(chǎn)；大數(shù)據(jù)；數(shù)據(jù)挖掘

前言

新疆油田重油開發(fā)公司是以稠油開采為主的采油廠。有著將近10年的數(shù)字油田建設(shè)歷史。而且中心數(shù)據(jù)庫已經(jīng)做得很成熟，主要包括五大業(yè)務(wù)板塊數(shù)據(jù)。即勘探業(yè)務(wù)板塊、開發(fā)業(yè)務(wù)板塊、生產(chǎn)業(yè)務(wù)板塊、經(jīng)營業(yè)務(wù)板塊的數(shù)據(jù)庫。數(shù)據(jù)庫包括的內(nèi)容主要有單井、區(qū)塊的日月報(bào)數(shù)據(jù)、試井與生產(chǎn)測井?dāng)?shù)據(jù)、分析化驗(yàn)數(shù)據(jù)、井下作業(yè)和地理信息數(shù)據(jù)等。數(shù)據(jù)庫的數(shù)據(jù)資源種類齊全，質(zhì)量高。2010年新疆油田重油開發(fā)公司正式開始進(jìn)行智能化油田建設(shè)工作，利用物聯(lián)網(wǎng)診斷單井問題，使用大數(shù)據(jù)技術(shù)對(duì)油田進(jìn)行全面感知、分析預(yù)測、優(yōu)化決策找到油水井的生產(chǎn)規(guī)律，從而有助于油田生產(chǎn)工作進(jìn)行。

1 油田大數(shù)據(jù)的概念及處理流程

大數(shù)據(jù)有四個(gè)特點(diǎn)即量大（Volume）、快速生產(chǎn)（Velocity）、類型豐富（Variety）、真實(shí)性（Veracity），被稱為4V[1]。由于數(shù)據(jù)的數(shù)量非常大，就將數(shù)據(jù)組成數(shù)據(jù)集，進(jìn)行管理、處理實(shí)現(xiàn)數(shù)據(jù)的價(jià)值。大數(shù)據(jù)對(duì)數(shù)據(jù)庫的整理流程是將數(shù)據(jù)轉(zhuǎn)化為信息，將信息轉(zhuǎn)化為知識(shí)，再將知識(shí)轉(zhuǎn)化為智慧。這個(gè)過程應(yīng)用于油田可以理解為是對(duì)油田的生產(chǎn)和管理工作。大數(shù)據(jù)的七個(gè)處理步驟包括：對(duì)數(shù)據(jù)的提取和收集、清洗數(shù)據(jù)、分析數(shù)據(jù)找到潛在的內(nèi)在價(jià)值規(guī)律、建立預(yù)測模型、對(duì)結(jié)果進(jìn)行可視化的估計(jì)、驗(yàn)證結(jié)果、評(píng)估模型。

2 大數(shù)據(jù)分析平臺(tái)及體系架構(gòu)研究

新疆油田為了滿足生產(chǎn)應(yīng)用，構(gòu)建了一個(gè)有效的大數(shù)據(jù)分析平臺(tái)及體系架構(gòu)。此平臺(tái)主要包括四個(gè)基礎(chǔ)架構(gòu)：數(shù)據(jù)抽取平臺(tái)、進(jìn)行分布式的存儲(chǔ)平臺(tái)、大數(shù)據(jù)的分析與展示平臺(tái)。最底層是數(shù)據(jù)抽取平臺(tái)主要是實(shí)現(xiàn)數(shù)據(jù)的整合，將數(shù)據(jù)轉(zhuǎn)化成適合進(jìn)行數(shù)據(jù)挖掘或者建模的形式，構(gòu)建可靠的樣本數(shù)據(jù)集。存儲(chǔ)平臺(tái)主要是對(duì)數(shù)據(jù)進(jìn)行匯總、建模、分析，最后將處理好的數(shù)據(jù)進(jìn)行儲(chǔ)存。其功能與數(shù)據(jù)倉庫相似。大數(shù)據(jù)分析層，是在大數(shù)據(jù)建模的工具和算法基礎(chǔ)上，挖掘隱藏的數(shù)據(jù)模式和關(guān)系，利用數(shù)據(jù)軟件進(jìn)行分類、建模，生成預(yù)測的結(jié)果，結(jié)合專家經(jīng)驗(yàn)利用測試的樣本選定評(píng)價(jià)方案不斷提高模型的精度，更好的用于油田的決策。數(shù)據(jù)應(yīng)用層主要是把建立的模型設(shè)計(jì)為運(yùn)行軟件，運(yùn)用建模方法實(shí)現(xiàn)數(shù)據(jù)的可視化界面設(shè)計(jì)，更好的實(shí)現(xiàn)人機(jī)交互。

3 大數(shù)據(jù)分析技術(shù)研究

進(jìn)行大數(shù)據(jù)分析時(shí)我們經(jīng)常采用兩大技術(shù)即大數(shù)據(jù)預(yù)處理和抽取技術(shù)，大數(shù)據(jù)分析技術(shù)。

3.1 大數(shù)據(jù)抽取及預(yù)處理技術(shù)

大數(shù)據(jù)預(yù)處理和抽取技術(shù)的原理是指將不同名稱，不同時(shí)間，不同地點(diǎn)的多種不同結(jié)構(gòu)和類別的數(shù)據(jù)抽取處理成一種所表達(dá)的算法和內(nèi)涵一致便于處理類型的數(shù)據(jù)結(jié)構(gòu)[2]。在檢查數(shù)據(jù)缺失、數(shù)據(jù)異常時(shí)可以使用數(shù)據(jù)清洗方法確定有用的數(shù)據(jù)，一般采用剔除法或估計(jì)值法、填補(bǔ)平均值替換錯(cuò)誤的數(shù)據(jù)。為了滿足建模所需的大量數(shù)據(jù)，創(chuàng)建新的字段時(shí)需要進(jìn)行數(shù)據(jù)庫的構(gòu)建。將原始數(shù)據(jù)用一定的方法如歸一法轉(zhuǎn)換為可用于數(shù)據(jù)挖掘的數(shù)據(jù)，這個(gè)過程為數(shù)據(jù)轉(zhuǎn)換。

3.2 大數(shù)據(jù)分析技術(shù)

應(yīng)用于油田的大數(shù)據(jù)分析技術(shù)為：因子分析技術(shù)、聚類分析技術(shù)、回歸分析技術(shù)和數(shù)據(jù)挖掘技術(shù)。其中的因子分析技術(shù)是指，利用少數(shù)的因子對(duì)多個(gè)指標(biāo)和因素間的相關(guān)性進(jìn)行描述，一般將密切相關(guān)的多個(gè)變量歸納為一類，這一類數(shù)據(jù)就屬于一個(gè)影響因子，用較少的因子反應(yīng)大量數(shù)據(jù)的信息。聚類分析技術(shù)是指把具有某種共同特性的事物或者物體歸屬于一個(gè)類型，并按照這些特性劃分為幾個(gè)類別，同種類型的事物相似性較高。這樣更利于辨別預(yù)先未知的事物特征。回歸分析是指在一組數(shù)據(jù)的基礎(chǔ)之上，研究一個(gè)變量和其他變量間隱藏的關(guān)系。利用回歸方程，進(jìn)行回歸分析，從而有規(guī)律地把變量之間的不規(guī)則，不確定的復(fù)雜關(guān)系簡單得表示出來。

在使用大數(shù)據(jù)進(jìn)行分析時(shí)，數(shù)據(jù)挖掘技術(shù)是最關(guān)鍵的一門技術(shù)。該技術(shù)將大量復(fù)雜的、隨機(jī)性的、模糊的、不完整的數(shù)據(jù)進(jìn)行分析，挖掘出對(duì)人類未來有用的數(shù)據(jù)，即提前獲得未知信息的過程[3]。數(shù)據(jù)挖掘功能分為預(yù)測功能和描述功能。數(shù)據(jù)預(yù)測是指對(duì)數(shù)據(jù)進(jìn)行處理推算，完成預(yù)測的目的。數(shù)據(jù)描述是展現(xiàn)集體數(shù)據(jù)的特性。數(shù)據(jù)挖掘功能是與數(shù)據(jù)的目標(biāo)類型有關(guān)，有的功能適用于不同類型的數(shù)據(jù)，有的功能則只適用于特定功能的數(shù)據(jù)。數(shù)據(jù)挖掘的作用就是讓人們能夠提前得到未知的消息，提升數(shù)據(jù)的有效性，使其可以應(yīng)用于不同的領(lǐng)域。

4 大數(shù)據(jù)分析在油田生產(chǎn)中的應(yīng)用研究

4.1 異常井自動(dòng)識(shí)別

油田生產(chǎn)過程中影響最大的一個(gè)因素是異常井的出現(xiàn)，因此生產(chǎn)管理人員加大了對(duì)異常井的重視。最初，異常井的識(shí)別主要是依靠生產(chǎn)部門的生產(chǎn)人員，必須經(jīng)過人工查閱許多關(guān)于油田生產(chǎn)的資料才能確定異常井，這種人工檢閱的方法存在很多缺陷。比如說大量的檢索工作、耗費(fèi)時(shí)間長等，對(duì)異常井的診斷和措施制定造成很大的困難。異常井是指油井當(dāng)天的產(chǎn)油量和上個(gè)月相比波動(dòng)很大，并大于正常的波動(dòng)范圍。目前廣泛采用數(shù)據(jù)挖掘技術(shù)和聚類分析技術(shù)對(duì)異常井進(jìn)行識(shí)別，提高效率。為了實(shí)現(xiàn)算法編譯使用技術(shù)，系統(tǒng)架構(gòu)B/S模式進(jìn)行，能夠及時(shí)發(fā)現(xiàn)異常井的存在。

4.2 異常井智能診斷

異常井診斷是油田每天進(jìn)行生產(chǎn)必須要完成的工序。而大部分油田采用人工方法對(duì)其進(jìn)行異常診斷，工作量極大，影響因素較多，診斷結(jié)果的可靠性較低，對(duì)后期進(jìn)行計(jì)劃實(shí)施造成很大的影響。這時(shí)可以采用智能診斷方法，利用灰度圖像處理技術(shù)和人臉識(shí)別算法建立抽油井的特征功圖庫，對(duì)比油井當(dāng)前的功圖和所建立的特征功圖，實(shí)現(xiàn)異常井的診斷。若是相似則不屬于異常井，反之，則為異常井。但是有時(shí)一種工況可能會(huì)有許多中表現(xiàn)方式，致使功圖解釋存在很多種狀況，可以采取因子分析法，分析每個(gè)工況下關(guān)聯(lián)的因子間是如何變化，然后建立參數(shù)診斷數(shù)據(jù)庫，對(duì)比相關(guān)因子的指標(biāo)項(xiàng)，找到異常的原因，采取適合的方案進(jìn)行修改，從而提高單井的生產(chǎn)效率。

4.3 間抽井開關(guān)井計(jì)劃制訂

當(dāng)油田開發(fā)進(jìn)入后期階段就會(huì)出現(xiàn)很多問題，過度開發(fā)使得地層的能量越來越少，致使更多供液不足的井開發(fā)出來。將這類井稱之為間歇出油井。新疆油田一般會(huì)使用人工方法制訂間歇出油井的開關(guān)時(shí)間計(jì)劃，但是對(duì)于計(jì)劃的合理性沒有進(jìn)行檢驗(yàn)。若是能夠控制好間歇出油井的開關(guān)時(shí)間，對(duì)油田實(shí)現(xiàn)節(jié)能減排是至關(guān)重要的。這時(shí)可以采用因子分析方法和回歸分析法進(jìn)行研究，利用數(shù)據(jù)挖掘技術(shù)找出影響間歇出油井的開關(guān)時(shí)間的因素，建立合適的分析模型，對(duì)模型進(jìn)行線性回歸，進(jìn)行歸一化處理。從而為業(yè)務(wù)人員提供制訂間歇出油井開關(guān)時(shí)間的合理方案，達(dá)到節(jié)能減排的效果。

4.4 油井清防蠟預(yù)測

目前油田上對(duì)于油井清蠟采取平均每口井一個(gè)月清洗一次蠟的措施，按照人工計(jì)劃進(jìn)行，出現(xiàn)了許多問題。比如，一些井還沒有結(jié)蠟就已被清洗，有些井已經(jīng)結(jié)蠟，卻沒有得到及時(shí)清洗。這樣既浪費(fèi)大量的人力物力，而且還對(duì)油田的生產(chǎn)效率產(chǎn)生不利影響。若是利用因子分析法，將收集的關(guān)于結(jié)蠟周期、清蠟方式、清蠟用量、油井狀況等數(shù)據(jù)進(jìn)行分析，建立油井Y蠟?zāi)Ｐ停倮没貧w分析法對(duì)建立的模型建立曲線方程，進(jìn)行預(yù)測，找到結(jié)蠟時(shí)間，推斷出結(jié)蠟周期，更好的指導(dǎo)油田清蠟工序的進(jìn)行，提高油田的精細(xì)化管理。

5 結(jié)束語

總之，對(duì)比以前利用人工進(jìn)行油田生產(chǎn)可以發(fā)現(xiàn)大數(shù)據(jù)對(duì)于油田生產(chǎn)是非常必要的，可以更快的挖掘油田的生產(chǎn)作業(yè)規(guī)律，解決油田生產(chǎn)的困難。而且，可以利用油田數(shù)據(jù)進(jìn)行可視化分析，關(guān)注問題的主要影響因素找到管理中存在的不足，預(yù)防未來問題的出現(xiàn)。大數(shù)據(jù)的核心價(jià)值就是通過以往大量數(shù)據(jù)進(jìn)行分析，預(yù)測出未來，從而更好地指導(dǎo)油田的生產(chǎn)工作。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析在企業(yè)管理中的應(yīng)用

自改革以來，我國社會(huì)經(jīng)濟(jì)取得了巨大的發(fā)展，同時(shí)也帶動(dòng)了各行各業(yè)的迅猛崛起和發(fā)展，市場競爭日益激烈。而隨著大數(shù)據(jù)時(shí)代的到來，大數(shù)據(jù)分析逐漸成為當(dāng)今社會(huì)各界的談?wù)摕狳c(diǎn)，各大企業(yè)也想通過大數(shù)據(jù)分析來使自身的競爭力得到有效提升。但是每個(gè)企業(yè)對(duì)大數(shù)據(jù)分析的理解和應(yīng)用等方面均存在部分差異，我們?cè)撊绾问勾髷?shù)據(jù)分析充分發(fā)揮它應(yīng)用的作用，進(jìn)而有效提升企業(yè)的管理水平，這點(diǎn)成為企業(yè)需要解決的首要任務(wù)之一。本文將大數(shù)據(jù)分析在企業(yè)管理中的應(yīng)用作為論述的重點(diǎn)，希望能為廣大的管理人員提供幫助，進(jìn)而有效促進(jìn)我國企業(yè)管理水平的提升。

由于大數(shù)據(jù)時(shí)代的到來，大數(shù)據(jù)分析漸漸成為社會(huì)各界關(guān)注的重點(diǎn)之一，各個(gè)行業(yè)都或多或少地涉及以及正在應(yīng)用大數(shù)據(jù)分析。有人曾說：在二十一世紀(jì)中，如果不緊跟大數(shù)據(jù)時(shí)代的發(fā)展步伐，就很可能與時(shí)代脫軌，在市場競爭中毫無優(yōu)勢可言。但現(xiàn)代很多企業(yè)對(duì)大數(shù)據(jù)的相關(guān)含義以及作用等的理解不夠科學(xué)和全面，在這一前提下，要想使大數(shù)據(jù)分析真正發(fā)揮應(yīng)有的效用是很難的。基于此，本文不但對(duì)大數(shù)據(jù)的含義做了簡要介紹，還從企業(yè)管理方面出發(fā)，說明了大數(shù)據(jù)分析應(yīng)用時(shí)需要注意的相關(guān)事項(xiàng)，旨在提高國內(nèi)企業(yè)的管理水平。

大數(shù)據(jù)分析簡述

近些年來，信息技術(shù)得到了驚人的發(fā)展和成熟，同時(shí)它也真正走入了人們的生產(chǎn)、生活中，各行業(yè)的日常運(yùn)作和發(fā)展也離不開現(xiàn)代信息系統(tǒng)的支持。特別是上世紀(jì)90年代數(shù)據(jù)倉庫技術(shù)產(chǎn)生后，給各行業(yè)的發(fā)展帶來了翻天覆地的變化，同時(shí)信息、數(shù)據(jù)規(guī)模開始呈PB級(jí)增長的趨勢。從前的企業(yè)僅僅將信息系統(tǒng)視為企業(yè)運(yùn)行程序的一類輔佐系統(tǒng)，對(duì)其中龐大信息、數(shù)據(jù)并沒有足夠的重視，所以數(shù)據(jù)的作用并未得到真正的發(fā)揮。但通過長期的觀察和研究，企業(yè)發(fā)現(xiàn)利用數(shù)據(jù)分析不但能減少工作人員的任務(wù)量，還能夠?qū)蛻舻亩鄻踊枨筮M(jìn)行全面、準(zhǔn)確地分析，進(jìn)而有利于企業(yè)效益的增長，因此，“大數(shù)據(jù)分析”的概念就產(chǎn)生了。大數(shù)據(jù)分析的根本是在龐大的數(shù)據(jù)中尋找并發(fā)現(xiàn)價(jià)值，利用大數(shù)據(jù)分析充分挖掘潛藏的商業(yè)機(jī)遇與價(jià)值。但如果企業(yè)對(duì)大數(shù)據(jù)分析的理解僅僅停留在分析數(shù)據(jù)與數(shù)據(jù)分析的話，就會(huì)掉進(jìn)技術(shù)的陷阱中，進(jìn)而嚴(yán)重影響企業(yè)的經(jīng)濟(jì)效益。大數(shù)據(jù)分析中的“大”是由企業(yè)數(shù)據(jù)分析的原點(diǎn)和數(shù)據(jù)處理的方法共同決定的，因此大數(shù)據(jù)中的重點(diǎn)不該單單放在“大”上。大數(shù)據(jù)擁有“4V”的特性，也就是Variety多樣、Vohame大量、Value價(jià)值、Velocity高速。

大數(shù)據(jù)分析的中心理念是脫離以往數(shù)據(jù)分析的方式，并在龐大的數(shù)據(jù)里深入尋找和挖掘企業(yè)的潛在價(jià)值和機(jī)遇，進(jìn)而提升企業(yè)的經(jīng)濟(jì)效益。當(dāng)使用者脫離了信息系統(tǒng)的傳統(tǒng)視角。所關(guān)心的重點(diǎn)從系統(tǒng)自身成功轉(zhuǎn)移到信息篩選的數(shù)據(jù)上時(shí)，就可以在龐大的數(shù)據(jù)中充分發(fā)現(xiàn)潛在的企業(yè)價(jià)值和商機(jī)。

為了更加清晰全面的了解大數(shù)據(jù)分析在企業(yè)管理中的作用，下面將以CapitalOne公司為例進(jìn)行說明。長時(shí)間以來，Capital One都是通過對(duì)客戶行為數(shù)據(jù)的分析來針對(duì)客戶具體情況制定產(chǎn)品以及相應(yīng)服務(wù)方案的，大數(shù)據(jù)分析系統(tǒng)會(huì)對(duì)客戶的人口統(tǒng)計(jì)特征及消費(fèi)模式等進(jìn)行分析，從而為用戶指定針對(duì)性的服務(wù)方案。大數(shù)據(jù)分析技術(shù)在Capital One公司的應(yīng)用不僅提升了Capital One的利潤提升空間，同時(shí)對(duì)提升其在同類企業(yè)中的綜合競爭實(shí)力也具有積極的意義。大數(shù)據(jù)分析技術(shù)應(yīng)用之前，Capital One公司制定客戶服務(wù)項(xiàng)目過程中存在著一定的盲目性，針對(duì)性不高，經(jīng)常出現(xiàn)客戶與產(chǎn)品不對(duì)應(yīng)的情況，不僅公司利潤增加不明顯。同時(shí)部分客戶也會(huì)對(duì)產(chǎn)品或者是服務(wù)產(chǎn)生一定的反感，對(duì)企業(yè)長遠(yuǎn)發(fā)展是十分不利的。如表1所示為Capital One公司大數(shù)據(jù)分析前后數(shù)據(jù)對(duì)比。

企業(yè)管理中大數(shù)據(jù)分析的作用

提高企業(yè)內(nèi)部數(shù)據(jù)統(tǒng)計(jì)的真實(shí)性。通常來說，企業(yè)內(nèi)部需要收集的信息、數(shù)據(jù)是和企業(yè)管理或者運(yùn)營有關(guān)的，以利于企業(yè)活動(dòng)的正常開展。在以前，企業(yè)收集的數(shù)據(jù)均采用傳統(tǒng)的人工統(tǒng)計(jì)，并使用報(bào)表方式，這樣大大降低了數(shù)據(jù)統(tǒng)計(jì)的工作效率，也存在許多人為失誤，導(dǎo)致數(shù)據(jù)統(tǒng)計(jì)的真實(shí)性始終得不到提高。數(shù)據(jù)統(tǒng)計(jì)結(jié)果的目的是為了幫助企業(yè)管理層做出正確、科學(xué)、合理的有關(guān)決策，但由于數(shù)據(jù)統(tǒng)計(jì)的可信度不高，所以很可能造成管理層的決策失誤，進(jìn)而影響企業(yè)的運(yùn)營效益。但自從大數(shù)據(jù)分析出現(xiàn)后，操作人員能夠?qū)?shù)據(jù)統(tǒng)計(jì)結(jié)果的真實(shí)性開展再次檢驗(yàn)，并從多方位出l針對(duì)數(shù)據(jù)統(tǒng)計(jì)的結(jié)果開展深層次的解析，以有效保障統(tǒng)計(jì)數(shù)據(jù)的可靠性和真實(shí)性。

從前企業(yè)中各個(gè)部門為了增加自身的效益和績效難免會(huì)擅自改動(dòng)上報(bào)數(shù)據(jù)，由于采用的是單口徑方式，所以最終將出現(xiàn)多種數(shù)據(jù)統(tǒng)計(jì)結(jié)果的現(xiàn)象，存在很大的干擾性。但如果利用了大數(shù)據(jù)分析，就可以從多方位對(duì)數(shù)據(jù)進(jìn)行分析，不同部門的上報(bào)數(shù)據(jù)將彼此牽制和影響，從而有效保障了數(shù)據(jù)的真實(shí)性。需要注意的是，要想充分達(dá)到數(shù)據(jù)彼此牽制的目的，就必須利用數(shù)據(jù)結(jié)果的最終效益進(jìn)行調(diào)節(jié)。

例如，當(dāng)生產(chǎn)車間定時(shí)上報(bào)自身的產(chǎn)量數(shù)據(jù)時(shí)，應(yīng)當(dāng)完成當(dāng)天的產(chǎn)量兌現(xiàn)率、當(dāng)周兌現(xiàn)率以及當(dāng)月兌現(xiàn)率，而要想達(dá)到上報(bào)數(shù)據(jù)產(chǎn)量，就一定要按時(shí)達(dá)到產(chǎn)量。然后當(dāng)月的上報(bào)總產(chǎn)量就將自動(dòng)求和每天的產(chǎn)量，一旦中間過程產(chǎn)生沖突就說明車間上報(bào)數(shù)據(jù)存有問題，最后將準(zhǔn)確地反映在企業(yè)的財(cái)務(wù)成本口徑中，進(jìn)而有效提高企業(yè)內(nèi)部數(shù)據(jù)統(tǒng)計(jì)的真實(shí)性。

給企業(yè)管理提供情報(bào)支持。通常來說，大中型的企業(yè)均將設(shè)立情報(bào)部門，它們的工作核心是深入、準(zhǔn)確地探究企業(yè)產(chǎn)業(yè)的前沿情況、市場競爭情況等方面。從前企業(yè)的情報(bào)分析工作一般僅依靠情報(bào)員的相關(guān)經(jīng)驗(yàn)與專業(yè)知識(shí)技能，由情報(bào)員自身的觀察力與直覺進(jìn)行情報(bào)收集和判斷，進(jìn)而得出情報(bào)探究的最終結(jié)果。盡管傳統(tǒng)的人工情報(bào)分析可以獲得一定成果結(jié)論，但其中的不確定性和風(fēng)險(xiǎn)性較大，因?yàn)榍閳?bào)員的主觀洞察力和判斷力的準(zhǔn)確性是個(gè)未知數(shù)，不能有效保障結(jié)論的可靠性。然而由于近代科學(xué)信息技術(shù)的飛速發(fā)展和成熟，人的主觀能動(dòng)性所具有的局限性愈加突出，企業(yè)對(duì)情報(bào)員的相關(guān)標(biāo)準(zhǔn)和要求也在逐漸提升。

這時(shí)大數(shù)據(jù)分析的產(chǎn)生給現(xiàn)代企業(yè)的情報(bào)分析工作提供了無限可能，在一定程度上促進(jìn)了企業(yè)管理水平的提高。大數(shù)據(jù)所具有的“4V”特征和現(xiàn)代企業(yè)情報(bào)分析的高標(biāo)準(zhǔn)、高要求等完全符合。具體來說就是高速化特征符合現(xiàn)代企業(yè)情報(bào)分析的時(shí)間性要求，數(shù)據(jù)分析注重?cái)?shù)據(jù)的時(shí)效性；大規(guī)模特征符合現(xiàn)代企業(yè)情報(bào)分析的廣泛性，數(shù)據(jù)分析注重?cái)?shù)據(jù)的數(shù)量；多樣化特征符合現(xiàn)代企業(yè)情報(bào)分析的來源廣泛性。數(shù)據(jù)分析注重收集的多渠道化；價(jià)值特征符合現(xiàn)代企業(yè)情報(bào)分析的終極目標(biāo)，也是大數(shù)據(jù)分析的本質(zhì)，從數(shù)據(jù)中充分挖掘數(shù)據(jù)的價(jià)值。