亚洲国产精品无码成人片久久-夜夜高潮夜夜爽夜夜爱爱-午夜精品久久久久久久无码-凹凸在线无码免费视频

期刊大全 雜志訂閱 SCI期刊 投稿指導 期刊服務 文秘服務 出版社 登錄/注冊 購物車(0)

首頁 > 公文范文 > 數據管理論文

數據管理論文

時間:2022-05-21 11:40:42

序論:寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感,挖掘那些隱藏在內心深處的真相,好投稿為您帶來了一篇數據管理論文范文,愿它們成為您寫作過程中的靈感催化劑,助力您的創作。

數據管理論文

數據管理論文:建立機電設備大數據管理系統探討

摘要:大同煤礦集團公司機電設備盤活工作采用手工記賬,主要存在處理速度慢、傳遞不及時等問題;建立機電設備盤活系統可以對集團公司機電設備盤活管理所涉及存量機電設備信息生成、存量機電設備信息公示、盤活步驟、存量機電設備使用情況跟蹤、分析等進行全程閉環式信息化管理,加快了設備周轉、提高工作效率。

關鍵詞:機電設備;大數據管理;系統

1建立盤活大數據管理的必要性

大同煤礦集團公司設備機電管理處、設備租賃中心的機電設備盤活工作存在諸多問題,主要集中在業務停留在手工記賬階段,機電設備信息以紙質單據或報表形式分散存放于各生產礦與集團不同部門,共享程度低,處理速度慢,易出錯;機電設備信息匯總、統計慢,傳遞不及時,造成信息滯后,影響決策、分析;財務信息、存量機電設備臺帳信息、現場實際情況對比困難,可能造成存量機電設備過儲或供應欠缺;存量機電設備價值計算、平衡利庫、庫存預警等均依靠人工計算,工作量大。集團機電設備盤活信息管理系統(以下簡稱:機電設備盤活系統或系統)對集團公司機電設備盤活管理所涉及存量機電設備信息生成、存量機電設備信息公示、盤活申請、審批、價值評估、調撥、租賃、出售、轉讓、接受、報廢、存量機電設備使用情況跟蹤、分析等進行全程閉環式信息化管理。

2盤活設備管理流程

系統從各礦設備臺帳及集團各部門財務數據開始,生成存量機電設備臺帳,實時/定期對該臺帳進行數據更新;各生產礦可通過實際需求查詢或由系統庫存報警自動生成機電設備盤活申請;設備機電管理處、設備租賃中心依據該申請,聯系設備歸屬礦、機電處、集團財務等相關單位、對該申請進行線上核實/審批,以及線下現場檢驗等;獲得審批通過的設備,將在存量機電設備原所屬單位進行出庫,在接收單位進行入庫。系統為管理流程中的每一環節都提供詳盡準確數據,有效輔助集團公司解決存量機電設備盤活過程中業務管理、庫存管理、財務管理存在的執行、監控、統計等問題。其主要工作流程如圖1所示(圖中資產即指機電設備)。針對集團機電設備盤活業務停留在手工記賬階段,機電設備信息以紙質單據或報表形式分散存放于各生產礦與集團不同部門,共享程度低,處理速度慢,傳遞效率低,易出錯;機電設備信息匯總、統計慢,傳遞不及時;財務信息、存量機電設備臺帳信息、現場實際情況對比困難,可造成存量機電設備過儲或供應欠缺;存量機電設備價值計算、平衡利庫、庫存預警等均依靠人工計算,工作量大等問題,研究開發集團機電設備盤活數據管理系統[1]。

2.1建立集團盤活機電設備源數據倉庫

目前集團公司各直屬礦井、千萬噸礦井、二級子公司所轄礦井的各類盤活機電設備信息共享程度低,針對各礦可盤活機電設備管理的不摸底,各礦盤活機電設備所在位置、盤活機電設備完整性、可用性、可靠性情況不明朗。建立基于利用集團局域網和國際互聯網的集團盤活機電設備設備數據倉庫,對各礦盤活機電設備建立集團統一的標準化信息管理平臺。

2.2建立集團盤活機電設備管理信息化體系

目前集團盤活機電設備管理流程是基于手工層面的管理流程,各礦信息獲取、申報、審核、批準等均處于手工或半手工狀態。建立基于電子信息流程的管理體系,盤活機電設備信息狀態在線共享,與集團財務系統,設備管理系統實現對接,共享盤活機電設備的設備信息,狀態建立集團層面的盤活機電設備管理運營標準實現機電設備盤活流程的電子信息化。

2.3建立集團盤活機電設備的考核指導體系

目前盤活機電設備的管理流程中有些環節還存在管理困難。目前集團各生產礦所屬盤活機電設備的完整性,該機電設備是否已經被拆卸成不同配件;盤活機電設備的可用性,該機電設備是否在可以運行的狀態;盤活機電設備的可靠性,該機電設備是否得到了應有的維護。由于手工操作的局限性,上述工作的管理處于缺失或部分缺失狀態。利用互聯網電子信息化技術,將管理顆粒延伸到每一臺盤活機電設備設備,針對各臺設備進行信息化考核。

2.4完善盤活機電設備分析預測功能

通過對盤活機電設備的機電設備管理運營,建立設備完整性、可用性、可靠性的大數據分析模型,對各礦盤活機電設備調撥、屬地化管理等進行數據分析,實現風險庫存、調撥預警等功能。

2.5實現平臺分級管理、遠程訪問等功能

系統提供數據網絡接口,可以利用Internet和集團局域網將盤活機電設備信息和分析報表等傳送到有關部門及生產礦井,實現盤活機電設備信息的整合和信息共享、遠程查詢。同時針對各級領導和管理者開放不同級別的盤活機電設備數據,做到信息分級化管理。

3大數據在機電設備盤活方面的應用及創新

將大數據概念引入機電設備盤活領域,同時兼顧煤礦集團企業架構與煤機管理特殊背景,在國內外此項研究均屬首次。系統為同煤集團機電設備盤活管理工作定制開發,以機電設備盤活工作為主線,同時兼顧研究設備維檢運行、煤機調配規律等實現對集團直屬礦井、千萬噸礦井、子公司等分級進行機電設備設備狀態的跟蹤監督;通過與設備管理系統、財務系統對接,利用現有集團局域網、國際互聯網等,實現信息共享,與機電設備盤活工作信息化。主要創新如下:(1)建立集團盤活機電設備設備的數據倉庫,記錄從設備采購、地理位置、歸屬、維檢、盤活等信息,記錄盤活機電設備的“前世今生”。(2)建立基于集團局域網、國際互聯網的混合網絡架構,通過與財務系統、設備管理系統對接,實現的煤礦機電設備盤活信息化工作體系。(3)通過對每臺設備的數據信息化管理,建立完善的機電設備盤活監督考核體系,彌補了手工作業條件下,單臺設備監督苦難的缺陷。(4)通過K-means、最大期望等大數據算法,建立機電設備盤活的大數據預警機制,實現庫存、采購、盤活等多維度數據分析功能。

4前期研究工作情況、現有的基礎和條件

同煤集團集團公司在煤礦信息化方面已取得了較成功的經驗,塔山、同發東周窯等千萬噸礦井已經成功實施庫存管理系統,馬脊梁礦實施了安全生產大數據系統。集團機電設備盤活大數據管理系統可充分利用機電設備管理與大數據風險預警的積累經驗,為集團機電設備盤活管理工作進行定制開發。

5社會經濟效益

(1)系統對集團盤活機電設備設備信息進行了統一化、標準化、數據化。通過建立盤活機電設備數據倉庫,將集團各所屬礦井的閑置機電設備進行統一歸口管理,將各類可盤活機電設備進行信息公開與信息共享。可極大提高閑置機電設備的使用效率,避免重復采購。(2)系統對集團盤活機電設備管理工作進行了數據化、信息化梳理,建立完善基于現代網絡信息化技術的機電設備盤活管理流程。從過去的手工/半手工管理模式,全面提升為信息化/自動化管理模式。(3)系統對集團盤活機電設備工作進行了深耕細作,借助信息化管理手段,從過去管理到礦/大類別的設備,精細化到每臺設備的管理,通過監測每臺設備的屬地性、完整性、可用性、可靠性。大大提高機電設備盤活工作效率、通過對每臺設備的精確考核,從而實現了機電設備盤活工作的閉環管理。(4)系統利用K-means、最大期望等大數據常用算法,建立大數據設備管理平臺,通過監測盤活機電設備設備狀態,為設備采購、設備報廢、庫存預警等提供管理支撐。

6結語

同煤集團存量機電設備盤活工作已經取得了豐碩的成果,機電管理處、設備租賃中心每年僅有數名管理人員,便已經實現了每年四億元以上的機電設備盤活,為集團節省了大量采購開支。機電設備盤活大數據管理系通過對每一臺盤活機電設備的精確管理、管理流程信息化實現、與現有設備管理系統財務系統對接、商業智能機制引入,可有效提高閑置機電設備使用效率,大大節約集團設備采購數量。

作者:龐海龍 單位:同煤集團機電管理處

數據管理論文:大數據管理會計信息化解析

摘要:

在大數據時代下,信息化不斷發展,信息化手段已經在我國眾多領域已經得到較為廣泛的應用和發展,在此發展過程,我國的管理會計信息化的應用和發展也得到了非常多的關注。同時也面臨著一些問題。本文通過分析管理會計信息化的優勢和應用現狀以及所面臨的的問題,以供企業在實際工作中對這些問題的控制和改善進行參考和借鑒。

關鍵詞:

大數據;管理會計信息化;優勢;應用現狀;問題

在這個高速發展的信息時代,管理會計的功能已經由提供合規的信息不斷轉向進行價值創造的資本管理職能了。而管理會計的創新作為企業管理創新的重要引擎之一,在大數據的時代下,管理會計的功能是否能夠有效的發揮,與大數據的信息化,高效性、低廉性以及靈活性等特點是密不可分的。

一、大數據時代下管理會計信息化的優勢及應用現狀

在大數據時代下,管理者要做到有效地事前預測、事后控制等管理工作,在海量類型復雜的數據中及時高效的尋找和挖掘出價值密度低但是商業價值高的信息。而管理會計信息化就能夠被看做是大數據信息系統與管理會計的一個相互結合,可以認為是通過一系列系統有效的現代方法,不斷挖掘出有價值的財務會計方面的信息和其他非財務會計方面的綜合信息,隨之對這些有價值的信息進行整理匯總、分類、計算、對比等有效的分析和處理,以此能夠做到滿足企業各級管理者對各個環節的一切經濟業務活動進行計劃、決策、實施、控制和反饋等的需求。需要掌控企業未來的規劃與發展方向就能夠通過預算管理信息化來實現;需要幫助管理者優化企業生產活動就能夠通過成本管理信息化對供產銷一系列流程進行監控來實現;需要對客觀環境的變化進行了解以此幫助管理者為企業制定戰略性目標能夠通過業績評價信息化來實現。

(一)預算管理信息化

在這個高速發展的信息時代下,預算管理對于企業管理而言是必不可少的,同時對企業的影響仍在不斷加強。正是因為企業所處的環境是瞬息萬變,與此同此,越來越多的企業選擇多元化發展方式,選擇跨行業經營的模式,經營范圍的跨度不斷增大。這就需要企業有較強的市場反應能力和綜合實力,對企業的預算管理提出了新的發展挑戰要求。雖然不同企業的經營目標各不相同,但對通過環境的有效分析和企業戰略的充分把握,從而進行研究和預測市場的需求是如出一轍的。企業對需求的考量進而反應到企業的開發研發、成本控制以及資金流安排等各個方面,最終形成預算報表的形式來體現企業對未來經營活動和成果的規劃與預測,從而完成對企業經營活動事后核算向對企業經營活動全過程監管控制的轉變。然而從2013國務院國資委研究中心和元年諾亞舟一起做的一項針對大型國有企業的調研結果中得出,僅僅有4成的企業完成了預算管理的信息化應用,大型的國有企業在預算管理信息化應用這方面的普及率都不高,足以說明我國整體企業的應用情況也不容樂觀。所以從整體上來講,預算管理信息化的應用并未在我國企業中獲得廣泛的普及。

(二)成本管理信息化

企業由傳統成本管理企業向精益成本管理企業轉換是企業發展壯大的必然選擇。而基于大數據信息系統能夠為企業提供對計劃、協調、監控管理以及反饋等過程中各類相關成本進行全面集成化管理。而進行成本管理的重中之重就是對企業價值鏈進行分析以及對企業價值流進行管理。企業能夠通過成本管理信息化對有關生產經營過程中的原材料等進行有效地信息記錄及進行標示,并結合在財務信息系統中產生的單獨標簽,使與企業有關的供應商、生產經營過程和銷售等的過程全都處于企業的監控。以此企業可以做到掌握生產經營的全過程,即能夠通過財務信息系統實時了解到原材料的消耗,產品的入庫及出庫等一切企業生產經營活動。同時,結合價值鏈的分析和價值流管理,企業通過將生產過程進行有效地分解,形成多條相互連接的價值鏈,運用信息化手段對企業的每條價值鏈的成本數進行有效的追蹤監管和綜合分析,以此為基礎為企業提出改進方案,并使用歷史成本進行預測,達到減少企業的不需要的損失及浪費,最終達到優化生產經營過程。雖然成本管理信息化是企業發展的一個重要趨勢,以大數據信息技術為基礎的信息系統可以使得企業完成全面的成本管理,給企業的成本管理帶來了巨大的推動力。然而信息化在成本控制方面的實施效果并不是很理想。

(三)業績評價信息化

業績評價是對企業財務狀況以及企業的經營成果的一種反饋信息,當企業的績效處于良好狀態,代表企業的發展狀況良好,也反映了企業現階段人才儲備充足,發展處于上升期,由此企業定制擴張戰略計劃。而當企業的績效不斷減少,代表企業的發展狀況在惡化,也反映了企業的人才處在流失狀態,企業在不斷衰退,此時企業應該制定收縮戰略計劃。企業進行業績評價信息化的建設,通過對信息系統中的各類相關數據進行綜合分析,有效地將對員工的業績評價與企業的財務信息、顧客反饋、學習培訓等各方面聯系在一起。對于企業而言,具備一套完善且與企業自身相適應的業績評級和激勵體系是企業財務信息系統的一個重要標志,也是企業組織內部關系成熟的一種重要表現。然而,如今對于具備專業的業績評價信息化工具平衡分卡等在企業的發展過程中并未得到廣泛的應用。其中最大的原因應該是對業績評價的先進辦法對于數據信息的要求比較簡單,通常可以由傳統方式獲得。所以,現如今能夠完全將業績評價納入企業信息系統,并能夠利用業績評價信息化來提高企業管理效率的企業數量并不多。

二、大數據時代下管理會計信息化存在的主要問題

(一)企業管理層對管理會計信息化不重視

我國企業管理層對企業管理會計信息化建設存在著不重視的問題。首先,對管理會計信息化概念和建設意義沒有正確的認識,有甚至由于對于企業自身的認識不夠充分,會對管理會計信息化的趨勢產生了質疑和抵觸心理。再者,只有在一些發展較好的企業中進行了管理會計信息化的建設工作及應用,但是,企業應用所產生的效果并不是很理想,進而促使管理會計信息化在企業的發展速度緩慢。

(二)管理會計信息化程度較低

大數據時代下,信息化手段已經在我國眾多領域已經得到較為廣泛的應用和發展,在此發展過程,我國的管理會計信息化的應用和發展也得到了非常多的關注。但是,由于管理會計在我國受重視程度不夠,企業在進行管理會計信息化建設的過程中對與軟件的設計和應用也要求較高,所以與管理會計信息化建設相關的基礎建設還相對較落后。

(三)管理會計信息化理論與企業經管機制不協調

雖然隨著國家政策鼓勵和扶持,很多行業的不斷涌現出新的企業,企業數量不斷增多,但是由于這些企業在規模以及效益等方面都存在著較大的差距,同時在管理決策方面也產生了顯著地差別。很多企業在發展的過程中并沒有實現真正的權責統一,產生了管理層短視行為,沒有充分考慮企業的長遠利益等管理水平低下的問題。

三、管理會計信息化建設的措施

(一)適應企業管理會計信息化發展的外部環境

企業在進行管理會計信息化建設時,要結合企業所處的外部環境進行全方面的規劃和建設。在企業進行規劃和建設時,國家的法律法規等相關政策占據著十分重要的位置,需要對市場經濟發展的相關法律法規進行充分理解和考慮,為企業管理會計信息化建設提供好的法律環境。管理會計信息化系統的正常運轉要求企業處于相對較好的環境之中,以此充分發揮出其應有的作用。

(二)管造合適的管理會計信息化發展內部環境

企業管理會計信息化的良好發展要求企業能夠提供良好的內部環境。樹立有效推進企業管理會計信息化建設的企業文化,企業文化作為企業股東、懂事、管理層以及每個員工的價值觀念體現,有利于各級員工都能夠正確認識到管理會計信息化建設的重要性,接受管理會計信息化的價值取向。再者,企業要儲備足夠的管理會計人才,為管理會計信息化的建設提供源源不斷的血液。同時,為企業管理會計信息化建設提供強大的資金保障。最后,對企業內部控制體系不斷完善,為企業創造長足的生命力,為管理會計信息化賴以生存的環境。

(三)開發統一的企業信息化管理平臺

在大數據時代下,信息化不斷發展,對于企業而言,會同時使用多種不同的信息系統進行組合使用,并且這種情況在未來也可能將持續下去,企業需要建立綜合統一的企業信息化管理平臺。

四、結束語

管理會計信息化已經成為企業發展的重要趨勢。同時也面對著一些問題。因此,相應的措施和不斷地完善和改進是必不可少的,以此才能夠促進管理會計信息化的不斷發展。

作者:李瑞君 單位:河南大學

數據管理論文:制造企業資源數據管理系統設計

[摘要]

制造企業逐漸認識到材料、標準件等基礎資源數據統一管理的迫切性,傳統思路是每一類基礎資源建一個管理系統,存在建設重復、維護成本高、系統集成復雜等問題,文章著重分析了企業基礎資源管理業務流程共性需求,在分析基礎資源數據特點的基礎上,提出了以數據建模為核心的企業基礎資源數據管理系統,實現多種類型的基礎資源數據的統一管理。

[關鍵詞]

制造企業;基礎資源數據管理;管理系統;數據建模

1制造企業基礎資源數據管理存在的問題

隨著數字化技術在產品的設計制造過程中的深入應用,制造企業逐漸認識到基礎信息資源統一管理的迫切性,開始逐步開展設計、制造等基礎信息資源數據庫建設,并應用信息化手段建立統一的信息資源管理體系,將企業經常使用的材料、元器件、標準件等基礎資源整理后形成內部共享的基礎資源數據庫。然而,制造企業研發相關的標準件、材料、元器件等基礎資源的分散在各個下屬單位和部門,都不全面、比較零碎。由于缺乏統一管理和支持,各單位的數據庫結構不一致、編碼不一致、建設要求不一致,信息分散、數據重復、相互封閉,缺少持續維護,各數據庫多數不具備完整性、權威性和開放性。缺乏統一的有效管理,共享程度低,必然影響設計制造一體化效率。傳統的基礎資源管理系統的建設思路是為每一類基礎資源建一個管理系統,雖然實現了各類基礎資源的管理,但也存在著極為嚴重的問題。主要問題表現在:

(1)投資大,開發周期長。

(2)運行維護成本高,管理員需要學習多個系統的管理技巧,需要與多個不同的系統供應商合作完成系統的維護和更新。

(3)使用成本高,使用人員需要熟悉多個系統,在查找一些緊密相關的數據時,需要跨多個系統操作。

(4)缺乏統一的、完整的基礎資源管理,各系統間數據重復存儲,造成大量數據冗余但又有部分數據不全的矛盾現象。

(5)集成應用成本高,各個系統間是獨立的,為實現跨系統間的數據共享和交換,需要額外的集成工作。針對以上問題,制造企業亟需研發支持包括標準件、材料、元器件等基礎資源在內的統一的企業基礎資源管理系統,為企業各單位和部門提供統一的數據服務,也就是說,通過一個管理系統就能完成各類數據的管理和查詢使用。

2基礎資源數據統一管理模式

以標準件在企業里管理基礎信息資源的主要過程如下。

(1)梳理數據模型:標準化管理部門完成標準件信息梳理,包括標準件類別信息,每個標準件的描述信息等。

(2)開發系統:系統開發人員根據標準件信息設計數據庫,完成系統的代碼開發。

(3)部署系統:系統管理員完成系統的初始化,設定人員功能權限。

(4)數據錄入:數據維護人員將標準件數據錄入到相應的管理信息系統中。

(5)數據使用:標準件使用人員訪問管理信息系統,查找需要的標準件并下載數據。材料、元器件以及其他基礎資源的實現方式大同小異,最終企業往往在逐步建設過程中形成了矩陣模式,即標準化人員、軟件開發員、系統管理員、數據管理員和數據使用人員需要再多個不同的系統中完成相應的重復性工作。針對傳統的多個基礎資源管理系統并存的缺點,本文提出的企業基礎資源管理系統抽取業務流程共性需求,通過一次系統開發實現多種類型的基礎資源信息統一管理。

(1)開發系統:系統開發人員總結各類基礎資源信息的數據模型共性,開發企業基礎資源管理系統。

(2)系統建模及部署:系統實施人員根據基礎資源數據結構和管理要求完成基礎資源數據模型、表單模型、流程模型等模型的建立。

(3)數據錄入:數據維護人員選擇待錄入的基礎資源數據模塊,將數據錄入到系統中。

(4)數據使用:使用人員訪問企業基礎資源管理系統,查找需要的數據并下載數據。因此,建立企業基礎資源管理系統后能有效解決多個系統存在的問題,其中最核心的功能是需要設計開發兼容各類基礎資源信息的建模工具。

3系統核心功能

針對新的數據對象的管理需求,數據管理功能模塊為系統實施人員提供業務建模配置工具。

(1)數據建模:利用數據建模工具完成數據對象的數據模型的建立。

(2)表單建模:從數據模型中選擇相關的數據源作為表單展現數據,利用模版自動生成表單的樣式(HTML代碼),美工人員借用第三方網頁設計器完成表單頁面的美化。

(3)報表設計:從數據模型中選擇相關的數據源作為表單展現數據,選擇報表的模版展示方式,生產報表頁面。

(4)利用功能設計工具實現數據對象的展示頁面(WebPage)的布局,設定增加、刪除、修改等基本功能,確定頁面的位置及關聯菜單。

(5)利用工作流引擎設計數據管理的流程,明確各環節的角色、權限和業務邏輯。該步驟可選,即對于部分數據可以不經過流程直接提交數據庫。

(6)用戶使用新功能完成數據維護。

4數據建模設計與實現

數據建模功能是基礎資源管理系統的基礎模塊,是實現多基礎資源數據統一管理系統的核心。從企業設計制造過程中使用的標準件、材料和電子元器件數據特點分析可以得出,基礎資源信息由兩類數據或屬性組成:

(1)基本屬性:可以用數據可中一個字段描述的數據,包括字符、整數、小數、時間、文件、富文本、圖片等。

(2)復雜數據對象:指資源的一個屬性需要用多個數據來描述,在數據庫中需要用一個結構化的表格來表示。因此,企業基礎資源管理系統需要提供支撐上述兩種屬性建模及數據錄入功能。在數據建模中根據描述基礎資源屬性的不同,采用三種類型來創建及管理。對同一種基礎資源建立一個單獨的庫進行管理,對每個庫建立分類。注意到基礎資源每個類別擁有該類別的獨特屬性。以材料數據為例,在金屬材料類別中一個常用的屬性是剪切強度,但對于非金屬材料而言,如橡膠而言,一般不測試熱導率。為保證系統能靈活定義基礎資源屬性的同時保證存儲空間最優化,系統采用繼承樹的方式存儲基礎資源屬性。數據建模的最終目的是生成物理表,在生成物理表的過程中有“繼承”關系的體現,所謂繼承就是根據分類的層級關系,孩子分類結點自動擁有父級結點的屬性,同時孩子結點可以有自己特有的屬性。Browser是瀏覽器段運行的JQuery腳本程序,在客戶端對建模過程字段類型、字段長度、精度以及是否必需等規則開展校驗,T9PcategoryTypeAct為分類管理前后臺交互類,屬于基礎服務層,獲取從瀏覽器發出的建模指令,判斷屬性字段是否存在,T9PropertyCategoryAct負責數據建模前后臺交互類,屬于數據交互層,根據T9PcategoryTypeAct的指令完成在數據庫(DB)中完成數據庫表的建立。

5結語

上所述,本文提出的制造企業基礎資源管理系統基于統一管理模型,能有效降低開發和維護成本,有效解決多種基礎資源管理系統建設重復、缺乏統一管理等突出問題,系統的核心是靈活的數據建模功能,使系統適應基礎資源數據多樣化的特點,目前已在制造企業實際使用,取得了較好的經濟價值。

作者:馬戎 周翀 單位:湖北工業大學 中國兵器工業信息中心

數據管理論文:探析歐洲海洋數據管理網絡及其服務

歐洲的海洋觀測系統是分散的。在歐洲各沿海國家內,分布著政府機構和私人工業的600多個科學數據收集實驗室。他們通過船載傳感器、潛水設備、固定或漂流平臺、飛機、衛星等手段收集數據,用以觀測物理海洋、地球物理、地質、生物、化學等參數。歐洲的海洋觀測系統又是集中的。它是全球海洋觀測體系的重要組成部分。歐洲的主要海洋區域,如北極、大西洋、波羅的海、地中海和黑海以及北美和亞得里亞海都具有各自鮮明的特征,也都有各自的區域海洋觀測系統,如西北大陸架業務化海洋學系統(NOOS)、波羅的海業務化海洋學系統(BOOS)等[2]。另外,歐洲的海岸線蜿蜒曲折,破碎復雜,各國還建立了許多局地海岸帶監測系統,以便為海岸線資源的監測和管理提供支持。

歐洲的數據管理網絡

海洋數據的獲取對于眾多的海洋研究領域具有重要的意義,海洋防災減災、海洋工程開發、海洋環境保護、氣候變化預測、海洋國防安全等都離不開海洋數據。歐洲在先進觀測系統的基礎上,建立了較為全面的數據信息管理和服務網絡,并將它們在互聯網上公開。通過使用人性化簡單快捷的可視化用戶界面,讓來自不同背景的、無論是否具有處理復雜元數據庫經驗的用戶來提取所需要的信息,這些措施有效保證了對海洋學相關數據和信息的輕松訪問。這種便利的訪問和獲取方式將確保網絡的使用并不僅僅局限于業務海洋學中心和機構。學者及來自各界的科學家和企業家將能夠找到各種歐洲海洋觀測系統和數據相關的信息,例如觀測站點/設備,觀測數據要素、測量精度、時空分布及觀測數據所有者等特征信息。

1)歐洲海洋數據和信息管理網絡

歐盟發起的海洋搜索(sea?search)計劃聚集了來自30個歐洲沿海國家的33個研究所/中心,在不同的海洋數據和信息的管理和附加服務方面具有豐富的專業經驗[3]。數據的學科范圍包括物理海洋學、海洋生物、海洋化學、水動力學。另外,這些中心在各自的國家局扮演海洋數據和信息的國家資料中心或聯絡點的角色。它們是國家的中心節點,與其他的組織相連接,積極參與海洋研究和海洋環境管理活動;因此,負責監測和檢查國家海洋研究活動和海洋數據流。大部分的合作伙伴也加入了IOC-IODE系統的國家海洋學數據中心。這些成員機構也參與了很多國家級和國際級別的海洋研究計劃,包括一大批的歐盟委員會①計劃。在多數情況下,成員機構對這些計劃的海洋數據管理給予支持或協調。通過這些過程,成員機構為數據和信息管理的全過程,即數據監測、追蹤、質量控制、處理、存檔、產品制作、數據分析、元數據庫及數據庫維護、支持服務、數據分發/服務等積累了專業的技巧,訓練有素的員工,以及建設基礎設施(軟件、硬件、網絡)。在sea?search(2002—2005年)計劃期間,所有的成員組織一起建立并推廣了來自歐洲30個沿海國家的海洋數據和信息資源的泛歐洲目錄以及概況。這些服務的維護、升級,以及未來的拓展由sea?search的后續計劃———海洋數據網絡計劃(seadatanetproject,2006—2010年)來完成。sea?search計劃的目標包括以下內容。(1)建立、維護及電子3個元數據產品/目錄以追蹤海洋數據和信息的動態,并提高歐洲海洋數據和信息的知名度、總體概況及可獲取性。這3個目錄分別是:①歐洲海洋環境數據集目錄(europeandirectoryofmarineenvironmentaldata?sets,EDMED),一個索引和檢索海洋環境相關數據集的歐洲標準,覆蓋多個學科,它發起于1991年,至今仍在不斷更新。目前,EDMED已經涵蓋了來自超過574個資料中心的2814個數據集。②航次總結報告(cruisesummaryreports,CSR,舊稱ROSCOP),一個通過調查船檢索海洋航次信息的全球標準。它給出了這些航次所涉及的數據收集活動以及研究機構。航次報告由首席科學家編寫。③歐洲海洋環境研究計劃目錄(europe?andirectoryofmarineenvironmentalresearchpro?jects,EDMERP),提供正在進行的研究計劃、數據收集活動、參與機構和科學家、成果產品等信息。目前,EDMERP包括了來自超過62個研究中心的320多個研究計劃。(2)針對數據和信息管理實踐與方法交流經驗,共同促進其發展和實施。(3)建立并組織形成處理、質控、存檔不同格式海洋學數據的總體能力,并充分考慮單個團體能力差異以及新數據種類的出現。(4)定義、建立、實施公共數據索引(commondataindex)元數據目錄,保證用戶可以獲得詳細的海洋數據可獲取性和地理分布信息。可擴展標記語言(XML)技術將被應用于以分布式網絡方式建立并維護新的元數據庫,支持跨越多平臺的檢索。

2)海洋數據管理歐洲基礎設施

歐盟海洋數據網絡(seadatanet)計劃是sea?search計劃的后續計劃,它的目標是建立一個標準化的系統來管理由海洋調查船和新型自動觀測系統所收集的不同種類的海量數據集以及網絡,并鞏固現有基礎設施,即來自35個歐洲國家的積極進行數據收集工作的40個國家海洋數據中心和衛星數據中心。這些專業數據中心的聯合將產生一個獨特的數據管理系統來在線提供統一質量標準的綜合數據集[4]。seadatanet已聯合開放數字資源庫,對來自海洋船隊,新型自動觀測系統和空間傳感器的數據、信息、產品和知識,進行管理、訪問和共享。

通過使用通信和信息技術的新發展和標準,現場和衛星海洋數據平臺正在作為一個獨特的虛擬數據中心提供元數據、數據和產品。seadatanet的各國合作伙伴將確保數據的歸檔和保存,以便它們被用于新的研究,保護不可能被重復創建的獨特觀測數據,提高供研究項目及海洋環境管理和教育、歷史以及其他用途的數據的可用性。seadatanet還涵蓋了以數據為基礎的研究所強調的重要信任問題:安全性、保密性、所有權、保證來源、真實性,以及數據質量和元數據。標準的制定及其在通信和數據、元數據和產品質量保證問題方面的應用,為綜合數據集提供了可通過評估的質量。seadatanet采用分布式網絡方法對其數據資源實現綜合協調的概述和訪問,即通過制定和實施通用數據索引(CDI)服務來為用戶提供了跨越整個歐洲的不同數據中心的海洋數據的可用性和地域分布等詳盡信息。CDI為單個的數據集(如樣本、時間序列、剖面圖、軌跡等)提供了基于ISO19115的指數(元數據庫),并提供了一個獨特的在線數據訪問接口。seadatanet同時還提供數據產品服務,其產品設計的目的是驗證和綜合有關海洋狀態和健康監測的多學科數據集。區域涉及北極地區、北大西洋地區、波羅的海、地中海、北海等區域;主要變量包括熱量和鹽度、海平面、海流,還包括海洋生物資源及生態系統的相關變量,如營養鹽和溶解氧等。區域seadatanet產品已通過這個項目的框架開發了專用的網絡界面———OceanBrowser并向公眾訪問開放。通過這個網絡界面可查看水平斷面和任意垂直剖面。圖形可以導出為各種格式,包括PNG,EPSSVG和KML,還可下載NetCDF格式的整個數據產品或使用OPeNDAP下載一個子集。seadatanet開發的基本型產品主要是環境參數的網格場,用于估算其平均值、季節變化及年際趨勢。分析場使得seadatanet數據中心能夠進行質量比對檢查和其余離群值的檢測。這些產品被科研團隊廣泛使用,如模型初始化和新的觀測地點的優化選取等。#p#分頁標題#e#

同時,一批面向非專業人士的高層次產品也將被,以實現貢獻于國際氣候變化與可預測性研究計劃(CLIVAR)和海洋生物地球化學和海洋生態系統綜合研究計劃(IMBER)等重大國際項目、為Argo/Coriolis、My?Ocean、MFS/MOON等實時/業務項目提供補充產品等目標。用于分析的算法在優先級參數、時間和空間尺度和現有的程序方面,充分考慮了在不同海洋區域的特殊環境條件和需要。不同區域產品之間的一致性問題,由逆變模型分析進行的交叉檢查來確保,并且通過參考DIVA圖形軟件專家和國際專家來實現。目前的工作主要為進一步提高產品的可視化服務:用戶將能夠從產品目錄中搜索到數據產品,然后在地圖中查看以及下載產品。目錄和地圖查看服務正在與My?Ocean合作,根據INSPIRE和OGC標準進行開發[6]。在元數據服務方面,歐洲海洋機構目錄(EDMO)、歐洲海洋環境數據集目錄(EDMED)、歐洲海洋環境研究項目目錄(ED?MERP)、航次總結報告(CSR)、歐洲海洋觀測系統目錄(EDIOS)等5個歐元數據服務,給出了歐洲的海洋組織和他們在海洋研究項目、大型數據集管理,以及調查船和監測計劃獲取的歐洲海洋和全球海洋數據方面的概要。這些目錄由各國協同編制,由seadatanet合作伙伴整理。每個目錄都有各自的來源,然而seadatanet已將所有目錄在使用語法、語義和工具上進行了統一。下面分別介紹seadatanet的5個元數據目錄[7]。

(1)歐洲海洋環境研究計劃目錄

歐洲海洋環境研究計劃目錄(europeandi?rectoryofmarineenvironmentalresearchpro?jects,EDMERP)涵蓋了海洋氣象、物理海洋、化學和生物海洋學、沉積學、海洋生物學和漁業、環境質量、沿海和河口研究,以及海洋地質與地球物理等學科范圍廣泛的研究項目。在EDMERP編目中的研究計劃是根據其題名或最關鍵內容的摘要而排列的[8]。其主要目標是支持用戶在整個歐洲范圍內尋找其感興趣的研究活動,使他們能夠與計劃的科研管理人員聯系,并訪問項目成果,如數據、模型、出版物等。數據庫具有許多實用功能,例如確定沿海和河口的研究項目,包括它們的數據收集活動,確定灰色文獻(greyliterature)等。EDMERP由歐盟海洋搜索(EUsea?search)項目發起。歐盟seadatanet是其后續計劃,參加seadatanet的成員國覆蓋了所有35個歐洲國家。此外,EDMERP最近完成了一次重大升級:EDMERP用戶界面和在線內容管理系統已經升級到第二版(V2),這將更好地銜接其他seadatanet目錄,并使用已被引入seada?tanet的通用詞匯。用戶可以查詢和瀏覽EDMERP目錄,還可以指定搜索條件的組合。由此生成的與查詢匹配的結果將出現在一個瀏覽列表中,清晰顯示所選的個數,并允許在列出的結果之間跳躍瀏覽。此瀏覽列表可按一些關鍵要素排序,也可查看每個條目更多的細節,用戶可以從一個項目跳到另一個。所涉及的組織和國家機構名稱均設置了超鏈接,以鏈接到歐洲海洋組織目錄(EDMO)所提供的具體組織的完整地址和描述介紹。EDMERP條目的匯編和維護由seadatanet網絡的參與伙伴進行協調,它們與各自國家的機構聯系和溝通,確保收集到重要的海洋研究計劃的最新信息以及有關合作伙伴機構的地址和相關配置文件。NODC通過位于荷蘭的機構來協調EDMERP的維護。這是通過一個專門的網上EDMERP內容管理系統(CMS)實現的。NODC可以為該國機構設置子賬戶,使其可以擁有自己的登錄信息,因此,各機構可以添加和編輯自己的計劃記錄。然而,NODC負責驗證由當地機構執行的所有修改和新建條目,然后再通過EDMERP用戶界面提供給用戶。另外,研究機構可以通過XML文件交換提供新條目和現有的條目的修改。因此,已經開發了一個新的適合單機使用的錄入工具———MI?KADO。本著與seadatanet和NODC內的其他元數據庫標準化和統一化的目的,EDMERPV1XML架構和XML交換格式已使用ISO19115元數據標準的標簽來制定。EDMERPXML格式使用了通用詞匯(commonvocabularies),該通用詞匯是在seadatanet計劃內發起建立的,通過網絡服務和用戶客戶端保持業務運行。通過使用ISO標簽和通用詞匯,確保了與其他元數據庫之間的互操作性。MIKADO工具可兼容修訂后的CSRV1的XML格式,并使用seadatanet通用詞匯。

(2)航次總結報告航次總結報告

(cruisesummaryreports,CSR,舊稱ROSCOPs)是記錄和匯報航次調查或海上現場實驗的常用手段[9]。傳統上,首席科學家有義務在航次結束兩星期內向其國家海洋學數據中心(NODC)提交一份航次總結報告。通過此報告給出海上測量和所采集的樣本的第一級目錄清單。在歐盟Sea?Search項目范圍內,德國海洋局(DeutschesOzeanographischesDatenzen?trum,DOD)已經安裝了一個創新的基礎設施,以簡化錄入和更新航次總結報告(CSRON?LINE)的流程,并通過互聯網搜索和提交航次總結報告(CSRRETRIEVAL)。作為其后續項目seadatanet的一部分,覆蓋范圍擴大到了參加seadatanet的所有35個國家。目前正在進行的一個重大的升級是:CSR用戶界面和維護系統已經升級到第一版(V1),與其他seadatanet目錄更加一致,并使用了為seadatanet介紹的通用詞匯。目前,CSR數據庫涵蓋了從1873年直到今天,來自歐洲30個沿海國家覆蓋歐洲海域和全球海洋的超過37萬條航次信息。其中也包括來自歐洲國家歷史的CSR,從國際海洋勘探理事會(ICES)數據庫加載的1960年之后的航次總結報告。CSR的匯編和維護由seadatanet網絡成員負責協調,他們與各自國家的首席科學家溝通并且提交其CSR報表。NODC是荷蘭的責任機構,協調和指導NODC成員機構整理和維護全國的CSR條目。這可以直接使用在線內容管理系統通過seadatanetCSR數據庫完成,或者以CSR的形式提交給NODC,然后NODC將傳輸XML格式的CSR更新至seadatanetCSR數據庫。為了與seadatanet和NODC內的其他元數據庫標準化和統一化,使用ISO19115元數據標準的標簽制定了CSRV1XML架構和XML交換格式。CSRXML格式使用了seadatanet發起的通用詞匯,它通過Web服務和用戶客戶端保持業務。通過ISO標簽和通用詞匯的使用,與其他元數據庫互操作性得到了確保。作為seadatanet項目的一部分,輸入工具也已經升級。已經開發了一個新的輸入工具:MIKADO,它適用于單機使用,與修訂后的CSRV1的XML格式兼容,并使用seadatanet常見通用詞匯。#p#分頁標題#e#

(3)歐洲海洋環境數據庫目錄

歐洲海洋環境數據庫目錄(Europeandirecto?ryofmarineenvironmentaldatasets,EDMED)。由意大利國家海洋學和實驗地球物理學研究所(OGS)維護的海洋資料庫目錄介紹了由意大利幾個科學實驗室收集的500多套意大利海洋數據和普遍關心的國際數據庫。該目錄清單包括物理海洋學、海洋化學、生物海洋學、海洋氣象、水文、海洋生態和水下聲學等學科[10]。自21世紀初開始,已在全球范圍收集多目錄記載的數據集。他們的描述信息包括:觀測的參數、儀器、數據處理、地理區域和時間周期、可用性和協調中心及聯絡人。它們以各自的格式(如數據庫或文件、模擬記錄、紙圖、硬拷貝表格、生物樣品等)被引用。完整數據集目錄位于服務器上。

(4)歐洲海洋機構指南

作為seadatanet檢索服務的一部分,歐洲各國的國家海洋數據中心維護著許多的元數據庫。對于每個目錄,重要的是具有海洋數據采集、處理和管理活動和研究項目所涉及組織的最新名稱和地址。因此,建立了歐洲海洋機構指南(Europeandirectoryofmarineorganisati?ons,EDMO),以簡化和有效一致的方式來管理這些地址和組織概況。目前,EDMO列出并描述了超過1000個研究院、數據保存中心、監測機構、政府和民間組織,它們從事海洋和海洋科研活動和/或數據和信息管理或支持服務。EDMO條目的匯編和維護,由seadatanet網絡的國家海洋學數據中心(NODCs)協調,他們與其所在國家的機構接觸和溝通,以收集信息確保這些機構的最新地址和信息。每個現有的元目錄的維護工作被并入這些NODCs的國家收集活動中,并已經實施新的手段和工作方法,以支持協調的維護。NODCs可以通過網上內容管理系統(CMS)檢查和更新國家組織的條目。

(5)歐洲海洋觀測系統目錄計劃

歐洲海洋觀測系統目錄(Europeandirecto?ryoftheinitialocean-observingsystems,ED?IOS)是一個基于互聯網的歐洲海洋觀測、測量和監測系統的檢索目錄,是歐洲全球海洋觀測系統(EuroGOOS)的倡議之一,由歐洲委員會研究總局共同出資開發。該目錄包含元數據,即位置、測量參數、頻率、數據的可用性、儀器的技術信息、負責機構以及數據持有機構的鏈接等信息。EDIOS目錄的定期更新,確保大多數歐洲進行連續觀測的海洋觀測系統的最新信息。該目錄是EuroGOOS全面實施的先決條件,它實現了對歐洲業務模式的可用數據進行連續分析,從而能夠優化儀器的布放、采樣策略及分類設計;基于EDIOS可訪問數據及其包括的海洋觀測系統,將海洋觀測設置為歐洲標準,并幫助定義歐洲海洋觀測系統。EDIOS有如下幾個目標:①收集目前在波羅的海、東北大西洋(包括西北部的歐洲陸架)、地中海的所有歐洲海洋觀測站點/設備(站、斷面、重復樣品、浮標、平臺等)獲取的信息,包括其地理位置、技術特點、觀測的頻率,并將這些信息傳輸到一個可查詢的數據庫(目錄)。②通過對使用中的海洋觀測站點/設備進行分類來定義歐洲海洋觀測系統。③創建一個可視化用戶界面(用戶參與),以方便各種潛在用戶訪問本目錄。EDIOS分類系統對EDIOS元數據庫中的條目進行了分類,使全球海洋觀測系統(GOOS)的工作人員和使用者能開放式的以最小限制訪問GOOS并立即識別描述觀測站/數據的記錄;訪問某些組織和GOOS區域聯盟的觀測站/數據;以及那些僅設計為單一機構或本地接入和使用的觀測站/數據。目前EDIOS包括12000多個信息條目,并不斷地在更新中。EDIOS收錄的信息包括:①數據收集手段(儀表、傳感器、船舶、網絡等)的技術規格。②地理坐標。③觀測的詳述以及他們的時空特征(但不包括觀測值)。可以包括站點采樣的生物和生物化學數據的信息,沒有必要為這種實際記錄存儲做特殊的考慮。將提供包含實際記錄的數據庫/檔案的鏈接。④測量的近似精度。⑤采樣數據目前的應用,包括衍生產品的應用。⑥每個儀表或傳感器的責任機構/研究所。⑦數據持有機構和研究所的鏈接。EDIOS使得各國的國家海洋觀測系統能夠快速組合和協調,提高歐洲周圍海域的監測和建模,并發展和完善觀測活動。它還允許對海洋觀測和預報系統的性能進行評估,并通過建立業務海洋觀測系統的分類計劃,來為海洋觀測技術設置歐洲標準。EDIOS將鼓勵對目錄中包含海洋觀測系統產生的數據在國家間進行廣泛科學使用,以助于預測、評估,并制訂應對全球變化的方案。

EDIOS對歐洲業務海洋學的促進作用將凸顯在業務系統中的各個組成部分中,從儀器制造商、海洋觀測系統的設計和實施、建模到附加價值處理和客戶的需求。除了IOC/全球海洋觀測系統、EuroGOOS、世界氣象組織等國際計劃的用戶外,該目錄還將尋找自己的用戶群體。他們將是科學家和海洋科研院所和機構,環境和資源管理機構,氣象部門等其他人員;此外還包括SMEs海洋行業的中小企業。EDIOS將有助于一般的海洋資源用戶找到他們感興趣的數據來源。此外,歐洲海洋觀測地點/設備的匯編將有利于業務海洋學產生數據的協作及科學使用,從而減少冗余或重復的數據采樣。由此帶來的成本節約可能吸引更多的調查研究海洋,進而增加我們對海洋過程的整體了解。對ED?IOS測量系統的分類,將建立歐洲的海洋觀測系統所需的歐洲標準。這些標準將處理由國家和區域機構存儲的海洋觀測站點/設備的格式、尺度、單位、地域分布、類型和詳細信息。他們將有可能激勵海洋觀測設備的制造商和業主改善他們的系統。EDIOS將有可能首次實現對歐洲業務模式的連續性數據進行分析。主題網絡將收集分散的海洋觀測系統信息,將其整合歸入目前正在使用的歐洲業務化海洋觀測站點/設備的目錄(包括黑海)。EDIOS的建立將盡可能與現有的如SEANET和EDMED等國際元數據庫密切結合。如上所述,這樣的一個目錄能夠協調各個國家海洋觀測站,以改善歐洲海域周圍的監測和建模,它是EuroGOOS全面實施的先決條件。EDIOS將會包括歐洲目前所有的目錄以及數據存儲機構和研究所的鏈接,從而有利于歐洲的海洋組織、機構和研究機構之間的聯網和數據共享。EDIOS將采用未來定期更新的規定。EDIOS將向海洋科學、機構和企業提供前所未有的服務。這將補充和支持元數據庫,包含項目的檔案記錄,或該清單的科學航次,檔案數據中心,數據中心目錄和其持有者。到目前為止,海洋觀測站/設備的信息包括:海洋站、重復站、錨系浮標、遠程成像等,目前在歐洲這些信息分散且不容易獲得。許多區域數據庫包含某些類型海洋觀測地點/設備的材料,或專注于測量變量和機構持有的數據。國家機構和研究機構通常持有他們經常使用的海洋觀測地點/設備名單,但這個信息在不同的機構之間是不兼容的,即格式、尺度、單位等類型和詳細信息往往不一致。因此,歐洲海洋觀測地點/設備全面的目錄將是業務海洋學和海洋科學領域一個新的非常有用的工具。在海洋數據管理領域,EU/MODB(地中海海洋資料數據庫)率先提供了一個地中海溫度和鹽度的全面數據集。這項工作由EU/ME?DATLAS項目進一步發展,該項目制作了目前地中海地區最完整的數據集,包括溫度和鹽度的氣候圖集。正在進行的EU?MEDAR/ME?DATLAS-II項目,旨在通過收錄化學和生物參數和黑海地區的數據推進上述工作。歐洲海域其他地區的數據庫和元數據庫包括:波羅的海海洋觀測系統(BOOS)收集由波羅的海沿岸國家運行的觀測站觀測信息;對于北海,歐洲北海地區的固定監測網絡研討會(SeaNet)提供浮標和平臺的全面信息;其他歐洲國家建設海洋數據和元數據的數據庫的行動,與歐盟支持的區域海洋大型研究項目框架內進行的海洋數據和信息管理活動相互聯系(OMEX、MTP、CANIGO等)。#p#分頁標題#e#

除了BOOS和SeaNet元數據庫外,所有上述數據庫和元數據庫,主要或完全以傳統海洋航次調查期間收集海洋學數據為基礎。然而,歐洲的海洋預報需要具有實時數據采集能力的觀測網絡和分析系統、數值模式和資料同化程序。為此,大多數歐洲沿海國家維護著業務海洋監測計劃,這些計劃通常由國家機構和研究機構或科研組開展。然而,這些計劃和項目通常只在每個國家內部運作,很少互相協調,即使在一個國家的各機構之間他們往往也是不相容的。一般來講,一個國家有10到15個不同的機構在進行業務觀測,如果計算所有那些地方一級的機構,數字可以達到更高。除了國家方案,業務海洋數據也來源于國際項目(如MF?SPP—地中海預報系統的示范項目)。總之,EDIOS是業務海洋學一個急需的工具,將填補現有歐洲海洋元數據庫存在的差距。EDIOS將通過提供關于歐洲在連續使用的儀器和傳感器信息的一個全面的目錄,幫助Euro?GOOS建立歐洲海洋觀測系統。此外,它的可視化用戶界面會使用戶很容易獲得感興趣的EDIOS資料,從而確保了EDIOS對所有海洋部門、商業和非商業組織的實用性。

歐洲海洋觀測與數據網絡歐洲海洋觀測與數據網絡

(Europeanma?rineobservationanddatanetwork,EMOD?NET)是歐洲海洋委員會2008年發起建立的,其目的是把現有的、分散的歐洲海岸帶、大陸架以及周圍海盆海洋觀測系統獲取的原始數據整合起來,對其進行綜合管理,并制定相應的政策保存數據,為政府決策者、海洋管理部門以及相關部門和研究人員等用戶提供方便快捷的數據訪問和獲取渠道,提高海洋觀測、預報、海洋資源管理、海運安全以及歐洲海洋研究效率等各項工作。EMODNET是端對端的系統,由傳感器與平臺、調查研究、通信系統、數據管理和信息工具幾個模塊組成。EMODNET將形成一個公共的數據管理辦法,倡議和組織協調海洋數據的管理,包括歐盟第六框架計劃全歐洲海洋數據網絡(seadatanet)的延時數據、歐洲海底觀測網(ESO-NET)的海底長期、多學科觀測站,歐洲全球海洋觀測系統(EuroGOOS)區域的實時和準實時數據,歐洲氣象衛星組織(EUMETSAT)的數據、圖像和產品,國際海洋勘測理事會(ICES)的大量海洋學數據等。歐盟委員會已經簽署了創建歐洲海洋觀測數據網絡(EMODnet)試點組件的服務合約。總體目標是創建試點門戶,將分散和訪問不便的海洋數據整合成完整海盆的可互操作的、持續和公開的數據流。整合的結果將有助于歐洲海洋觀測數據網絡的最終業務運行,為其確定流程、最優技術和近似成本。EMODnet-水文地理門戶(EMODnet?hy?drographyportal)是EMODnet正在建設的數據門戶之一。水文地理門戶發起于2009年6月,目前正在為廣大用戶提供越來越多的產品和服務。在編制水深調查(鉛垂線、單波束和多波束調查)目錄方面正在取得突出的進展,并采用SeaDataNet的通用數據索引(commondataindex,CDI)結構,提供其數據檢索和獲取服務。此外,這些調查數據被整合處理,生成了歐洲下列海區的高精度的電子水深產品:①泛北海區域:包括卡特加特海峽(在瑞典和丹麥之間)及延伸海域。②英吉利海峽和凱爾特海。③地中海西部、愛奧尼亞海、地中海中部。④伊比利亞海岸和比斯開灣(大西洋)。⑤亞得里亞海(地中海)。⑥愛琴海-利萬特海(地中海)。通過專門的數據產品查詢服務,用戶可以公開訪問下列地理信息系統圖層:①在0.25′經緯度DTM網格上的格點水深。②標注有等深線的標量水深。③選擇查看單個DTM單元的質控參數和源數據。④選擇顯示沿航線的深度剖面。⑤海岸線。⑥通過OGCWMS協議選擇添加CDI檢索服務所包含的圖層,如測深調查的軌跡等。用戶可以下載多種格式的數字地形。此外,用戶可以檢索原始調查的元數據,并可以向分布式數據管理者提交對這些數據集的訪問請求。OGCWMS還支持用戶使用數字地形與其他門戶網站數據產品相結合進行使用,這些門戶包括EMODnet開發的海洋生物、海洋化學、海洋地質學、物理學和海洋生物棲息地門戶和其他門戶。許多組織參與了水文地理數據和產品的獲取和提供,它們包括:①水文局,負責測量航線、港口航道,生產用于導航的紙質海圖和電子海圖(ENC)。②負責管理和維護港口、海防、航道和水路的主管部門。這些機構開展定期水深監測調查,以確保維持經協商的航海深度或確保國家的海防安全。③研究所,在其科學航次調查中收集多波束調查資料。④工業機構,特別是能源工業,進行多波束調查線路管道和電纜線(風電場),以及電信行業調查電話和互聯網電纜的架設。EMODnet水文和海底制圖組正在積極尋求與這些組織的合作,以生成更多的數據集(單/多波束調查、探測軌道、復合產品),以支持良好的地理覆蓋率和高品質的水文數據產品。接收到的數據集正用于生產區域的數字地形模型(DTM),分辨率為0.25′×0.25′。該數據集本身不,但在CDI的元數據中有所描述,提供有關制作DTM的背景調查的數據,數據的訪問限制、組織者和者等明確信息。這樣一來,門戶網站不但為水文資料的提供者設置了一個向潛在用戶展示數據集的有力窗口,還可以對數據集進行有效的管理。

結束語

海洋環境現場實測資料的采集和管理是監測海洋環境變化、海洋環境保護、海洋資源開發、海洋防災減災、海洋工程建設、海洋國防安全等一系列涉海事業的重要基礎。海洋觀測資料管理涉及海洋環境數據的存儲、管理、分析、處理和共享等多個方面。為此迫切需要建立一套以海洋數據為對象,集海洋環境參數實時監測、海洋數據管理、數據分析處理和數據共享為一體的數據管理系統。在過去的十幾二十年間,全球已經建立了海洋科研數據和元數據的幾個國際數據庫。例如,聯合國教科文組織/政府間海洋學委員會(IOC)已建立了海洋環境數據和信息(MEDI)數據集的查詢目錄。從最初打印的目錄開始,MEDI已于最近被重建為基于PC的應用程序。MEDI的數據庫結構以全球變化的主目錄(GC?MD)為基礎。GCMD是由美國航空航天局開發的一個有關全球變化的數據集目錄(包括海洋數據集)。近年來,國際海洋資料和信息交換委員會(IODE)又發起了海洋數據門戶(ODP)計劃,旨在通過IODE網絡下的國家海洋資料中心完整地獲取海洋數據集和目錄,同時考慮通過網絡服務開發,使用戶能迅速便捷地查詢、評估并獲取數據,發展一個全球性的分布式數據系統。此外,澳大利亞也已經開發了自己的“BluePages”目錄。尤其是海洋國家占大多數的歐洲,海洋數據和元數據的發展更是走在世界前列,歐洲海洋學數據和信息管理網絡(EU/EURONODIM)、歐洲海洋觀測與數據網絡、歐洲海洋數據信息網絡等項目和計劃正在不斷的擴充和更新。歐洲的先進海洋數據管理理念和運行模式值得我們借鑒。我們應采取具體行動,建立我國的綜合海洋數據管理網絡,并確保其能夠持續地發展。這里僅對我國的海洋數據管理和共享網絡持續發展提出幾條建議。#p#分頁標題#e#

(1)對國內現有的各種觀測系統進行行動成本和效益評估,加強基礎設施建設,建立完善的海洋觀測、預報和預警系統。(2)通過加大適當的資金投入、鼓勵機構間的合作、開展統一的海洋戰略研究等手段,縮短各沿海省市、各涉海部門之間的數據觀測和管理方面的差距。(3)盡快制定海洋觀測數據和信息管理規定,指導并提高海洋數據收集方式和數據的科學使用,建立國家海洋觀測資料共享機制,加快海洋數據共享平臺的建設,開發方便快捷的數據檢索和下載界面,以方便用戶能夠非常輕松地訪問并獲取現有海洋數據和產品,并且是高質量的數據和兼容的格式。(4)盡可能收集軍事與工業數據(如石油、天然氣、漁業和海上運輸),收集各沿海地方政府決策需要參考的數據,并列入我國綜合海洋管理網絡。(5)開發新技術(如深海觀測站)、購置和布放新的傳感器(如Argo浮標的有氧傳感器);提高海洋科學儀器設備自主研發和產業化能力,逐步改變我國海洋儀器設備依賴進口的局面。(6)積極參與國際交流與合作,參加全球和區域的觀測計劃,促進海洋數據和信息技術的交流與共享,擴充我國海洋資料儲備,提升我國海洋觀測和預報的能力。

本文作者: 于婷 王海波 董明媚 單位:天津國家海洋信息中心 青島中國海洋大學海洋環境學院

數據管理論文:農業物聯網數據管理

物聯網(Internetofthings)的概念是在1999年提出的,2005年國際電信聯盟(ITU)發榷了《ITU互聯網攝告2005:物聯霹》將之定義鴦萼冬各釋信息傳感設備葛踅聯網結合藏宋而形成的一個臣大網絡.奧巴馬就任美國總統后在一次會議上表示:“經濟刺激資金將會投入到寬帶網絡等新興技術中去,毫無疑問,這就是美國在21世紀保持和奪回競爭優勢的方式n噸].”激家寶總理2009年指出,要大力培育戰略性毅興產照,攘抉物聯網的研發應用并將“發麟物聯網,促進倍感化”作當年“兩會”期間為討論的主題之一.

當前世界各豳都投入了大鬣的人力和物力開展物聯網相關技術的研究,也取得了很多成績.丹麥運輸公司采用IBM的傳感器技術允許園藝供應鏈中的參與者跟蹤鮮花和盆栽植物的運輸進度(從種植者到批發商,到零售商,遍及歐洲40個國家).整條運輸鏈的各方公司都可以利用傳感器對運輸的條件和氣候進行跟蹤.使運輸過程更加透明.英國的Pachube允許給現實世界和虛擬世界中的物品、設備、建筑和環境添加標簽,并分享即時傳感器信息[3].

我國在物聯網方面也展開研究,并取得了很好的成果.無錫傳感網中心的傳感器產品在上海浦東國際機場和上海世博會被成功應用,這套設備由lO萬個微小的傳感器組成,散布在墻頭墻角墻面和周圍道路上.傳感器能根據聲音、圖像、震動頻率等信息分析判斷,爬上墻的究竟是人還是貓鼠等動物.遠望谷開發的完全擁有自主知識產權的XC型鐵路車號自動識別系統已成功應用于中國鐵路車號自動識別系統,在鐵路貨車使用費用清算中實現了精確統計貨車數量;消除了鐵路運輸調度管理的盲區,提高列車正點率.

然而我國當前在農業物聯網應用上做的工作還比較少.本研究結合傳感器網絡、移動網絡與智能手機實現了對農田的實時監控和數據采集,對于農業安全管理、產品溯源都有相當的指導意義.

1材料與方法

1.1概述

物聯網有3個特性:全面感知、可靠的傳送和智能作用[4],其控制特性與傳感器網絡‘51有很大不同,主要強調系統的可控性,而傳感器網絡則強調系統的可觀測性.因此將傳感器網絡作為物聯網的一個組成部分接入時就必須對其進行調整,使之適應物聯網的要求.物聯網包括3個層次:1)傳感網絡,即以二維碼、RFID、傳感器為主,實現‘物’的識別;2)傳輸網絡,即使通過現有的互聯網、廣電網絡、通信網絡等實現數據的傳輸與計算;3)應用網絡,即輸入輸出控制終端,可基于現有的手機、個人電腦等終端進行‘….

本研究中,物聯網中的“物”包括4種:農田(棉田、麥田與玉米地)、傳感器網絡、數據管理終端和智能手機.構建物聯網的目的是將這4種“物”連接起來,使農田能夠成為網絡中的一個可觀測終端,在此一共包括3個層面的連接:

1)直接測量.通過傳感器網絡采集溫濕度和光照;通過數據管理終端歸納并管理采集到的數據;并通過智能手機實現數據的實時查看、分析與管理.

2)多源數據集成.將當前已建成的氣象監測網絡獲取的數據與無線傳感器網絡采集到的數據相結合,建立傳感器網絡采集到的特征點數據與大環境數據的對應關系,使研究人員能夠通過此網絡更好地了解農田各參數之間的關系.

3)數據的開放與共享.利用WebService將網絡內的數據開放出去,使之可以為更廣泛的應用提供數據支持.例如為衛星遙感數據提供地面數據支持等.

1.2網絡結構與部署

網絡由3部分構成:精準灌溉傳感器節點——用于采集空氣溫度、土壤濕度和光照強度,并為鄰居節點提供路由;數據服務提供者——在服務器上部署相關服務,用于連通網內成員,并對外提供數據服務;數據管理終端——包括智能手機、B/S數據管理網頁和C/S客戶端,用戶可通過不同方式查看服務器上的數據.系統在新疆與北京分別部署,服務器設在北京.在北京主要監測種植春小麥和夏玉米的農田,采集土壤濕度、空氣溫度和光照,并由網關節點記錄噴灌機行進數據;由于新疆采用滴灌,故僅采集棉田土壤濕度、空氣溫度和光照,人工記錄灌溉時間與灌溉量.通過B/S網頁或分布部署在智能手機和電腦上的C/S客戶端,用戶可以遠程查看農田參數與農機使用情況,分析數據以提高灌溉效率.

1.3軟硬件配置

傳感器網絡系統采用國家農業信息化工程技術研究中心的FieldwSNs(農田環境無線傳感器網絡系統),載波頻段433MHz,實際部署時節點間距50~100m,每子網包含20個傳感器節點構成對等網.土壤含水率傳感器采用ECH20水分傳感器,工作電壓為2.5V.

由于部署網絡區域經常出現連續陰雨天氣,為方便部署傳感器節點采用4節1.5VAA電池供電,通過穩壓芯片t作電壓3.0V;節點MAC層采用CSMA/CA協議,網絡層采用洪泛協議;在能量管理上采用休眠/同步機制,使全部節點同時工作而后同時進入休眠狀態以節省能量,通訊時利用網絡層的洪泛機制進行全網同步[7].

網關節點采用太陽能供電,工作電壓12V;為保證網關節點在雨季也能正常工作,蓄電池容量為12Ah.

基于智能手機的移動終端采用WindowsMobile操作系統,通過WebService與服務器相連.主要目的是:1)在部署時以機載GPS定位節點,將節點位置信息上傳至服務器;2)在現場查看網絡工作狀態,方便部署與維護;3)方便管理人員遠程監控農田參數、人員工作狀態與農機工作狀態.

1.4數據服務的設計

傳感器網絡在外部看來是網絡化的傳感器,更強調數據的采集,強調系統的可觀測性【8].在傳感器網絡中觀測的對象是傳感器采集到的數據、傳感器的工作狀態以及網絡的連接情況.而物聯網則強調各個相連的事物之間的連通性,以及系統的可控性,物聯網中傳感器網絡是連接觀測者與被觀測對象的渠道.因此,需要對傳感器網絡采集到的數據進行處理,以觀測者需要的形式出去.主要包括2部分服務:濾波和插值和.觀察者可以訪問通過這些服務了解被觀測對象,這一過程對傳感器網絡而言是透明的.

1.5數據濾波

由于傳感器網絡在傳感器端沒有作濾波,可能會有一些奇異數據被采集回來,在一般使用中需要進行濾波,只觀測臺理可靠的數據.在一些特殊的應用中,特別關心奇異數據,也可以通過濾波服務獲取這些奇異數據.為方便計算,采用簡單的平滑濾波∽j.#p#分頁標題#e#

平滑濾波的目的是在不影響低頻率分量的情況下減弱或消除圖像中的高頻率分量并將觀測值中的細小中斷連接起來.處理后的任一輸出值弧均為觀測值≈與相鄰元素運算后的結果,如式(1)所示:Yk=≥:口:zf,

(1)t=FN濾波窗寬度為2N,ai為加權系數,k為濾波窗中值.

為方便計算采用矩陣表達,可得y=IA】X/n,

(2)其中l,為輸出向量,x為輸入向量,Ea-1為濾波矩陣,n為平均值參數.

針對不同情況可以使用線性平滑濾波和加權平滑濾波,線性濾波的濾波矩陣為行列元素皆為1的7階矩陣,n為7;加權濾波的濾波矩陣為行向量為[1,6,15,20,15,6,1-1構成的矩陣,以為64.

對應服務為record[]DataProcess.Smooth(Datetimestart,Datetimeend,boollinear),其中start為起始時間,end為終止時間,linear為線性濾波標志,返回值即為濾波后的輸出值.

1.6插值分析

如果觀測者僅能獲得傳感器所在位置的數據,就無法體現被觀測的農田與觀測者的關系,因此有必要對傳感器采集到的數據進行插值,將空間插值后的數據提供給用戶,使觀測者只需輸入位置信息即可獲得所需的數據.因為同一農田中的溫度、濕度和光照都是連續變化的,所以采用插值分析獲得的數據是可信的.插值方法采用簡單的兩點插值和全圖距離倒數插值2種.

1.6.1兩點插值

兩點插值又叫線性插值,取最近的2個點A,B的觀測值為參考值,計算任意點的值.y一絲堅≯盟,(3)L其中L為最近兩點距離,z。為插值點距A點距離,z:為插值點距A點距離,Y。為A點觀測值,Y:為B點觀測值.兩點插值非常簡單,而且不受其他點干擾,通常在部署網絡時用于校驗觀測點傳感器工作情況.

1.6.2全圖距離倒數插值

兩點插值計算簡單,但是缺乏連貫性,每次參考點發生變化時插值結果會跳變,因此提供全圖距離倒數插值服務,用戶可以任意選用插值方法.全圖距離倒數插值公式如下‘10]:3,一∑暑/∑z1,

其中zi為觀測點i的觀測值'rl為觀測點到插值點的距離,n為觀測點集的規模.對應服務double[]DataProcess.getValue(doublelongitude,doublelatitude,boolsimple),其中longitude為插值點經度,latitude為插值點緯度,simple為兩點插值標志,返回值即為插值點濕度、溫度和光照觀測值.

2結果與分析

網絡被部署在新疆哈密、石河子和北京,圖2為新疆石河子的網絡實際部署圖.為保證通信質量,傳感器節點和網關節點被部署在2m左右的支架上.

由于距離較遠,傳感器節點須通過多跳方式將數據發送到網關,實驗中跳數最大為6,通信距離400m左右.

傳感器網絡在4個月中采集到大量的數據,通過相應的服務,可以采集區域內任意點的數據曲線.

用戶觀測的對象由傳感器網絡節點轉變為被觀測對象,可以通過選擇位置直接獲得觀測值.展示了哈密實驗田中經緯度與石河子實驗田的土壤濕度和光照曲線,在7月4日至7月5日哈密經歷了一場降雨,在降雨期間光照強度急劇下降,而土壤濕度則迅速攀升直到夜間降雨停止濕度才開始回落.而石河子則是多云問陰的天氣光照強度發生變化,而土壤濕度則基本持平.

通過相關數據服務,用戶可以使用裝在手機上的移動客戶端訪問網絡.定位系統包括2部分內容:1)利用手機GPS進行定位,通過服務現場記錄節點經緯度,并提交服務器.2)通過服務獲取網絡中各節點位置及其數據,通過插值算法將數據與位置關聯起來,為用戶提供直接的數據支持.此時傳感器網絡對用戶完全透明,用戶可以直接獲取自己所關心的位置的農田參數.

數據管理論文:環境監測數據管理信息化發展

近幾年,我國各級環境監測部門都積累了大量與環境有關的數據。但是,由于數據管理的手段還停留在單機和手工處理階段,數據質量主要依靠人工檢驗,這就出現了無法有效處理大量數據的情況,甚至還會引發錯誤。如果數據出現錯誤,就無法反映實際情況,相關高層也就無法及時應對緊急的環境事故,繼而造成意想不到的后果。

1開發系統的要求

建設信息化環境監測數據管理平臺主要是為了加強各級環境監測部門對監測數據的管理和綜合分析,進而實現信息共享。利用網絡、B/S、GIS、數據庫、Internet/Intranet、智能化數據分析等先進技術收集、匯總、審核、統計分析各級環境監測部門的數據之后形成報表,從而實現信息的完整收集、迅速傳遞、高效管理、綜合分析和共享。

2系統設計

2.1平臺的開發

不同城市的環境監測系統開發平臺是不同的。其中,大部分系統使用的都是由微軟公司開發的NET作為技術開發平臺,使用的開發語言為NET語言、VB語言和ASP語言,這些都是系統最常用的語言。而個別WebGIS部分是不用語言來編程的,它使用的是MAPINFO家族技術和MAPX技術。這2項技術和語言編程同樣重要,并且該系統主體是用可以使系統保持正常運行的B/S構建的,而錄入使用的結構是由C/S構建的,可以有效提高平臺的運行效率。

2.2數據庫建設

該系統所用的數據庫為SQL-SERVER2000,它是用關系型數據庫來管理數據的。由于該系統的空間關系不復雜,而且空間屬性相對簡單,所以,可以統一管理空間數據和屬性數據。環境監測中涉及到的數據有環境質量基礎數據、環境質量標準數據、自動監測數據和例行監測數據等。其中,環境質量基礎數據包括環境質量各要素的基本信息,即各級環境監測站,湖庫、湖庫垂線,河流、河流斷面,飲用水水廠、飲用水源地、飲用水采樣點,地下水、入海河口以及近岸海域監測點,噪聲監測點,空氣、大氣監測點,網格等主要要素的基本信息;環境質量標準數據是指評價環境時用到的各種國家標準;自動監測數據包括水質自動監測數據和空氣日報預報數據;例行監測數據則由水、氣、聲三大監測數據組成。為了適應環境監測中一點多用的需求,數據庫中還設計了水環境點位屬性表和空氣點位屬性表。通過點位屬性表,分析人員可以靈活管理點位的變化,并且按照某一屬性分析數據,從而實現合理利用、監測數據的目的。

2.3服務器端與客戶端互換

系統使用了B/S架構后,要想簡化操作,就可以利用WebService。這種簡化主要就是實現服務器端與客戶端之間的互換。WebService在網絡運行中能發揮調用的作用,以此來滿足客戶端的調用需求。只要調試了客戶端,那么,WebService就可以在服務器中運行,并處理運行過程中遇到的各種問題,將各個服務端的數據收集起來,最后再把最終的結果返回到調試區域。通過客戶端與服務器端之間的互換可以實現兩者間的高效互動。

3主要功能模塊

信息化環境監測管理平臺的功能模塊主要有例行監測數據的錄入模塊,導入導出模塊,數據管理、分析模塊,自動監測數據的管理模塊,監測點位管理模塊,WebGIS數據查詢分析模塊和系統設置模塊。例行監測數據的錄入模塊主要為C/S結構,它具有清空數據庫、導入數據、檢測值校驗設置、數據錄入、數據查詢修改和設置地區年份等功能,同時,還能得到規范的監測數據。例行監測數據的導入導出模塊主要是提供DBF格式和ACCESS格式的數據,它不僅可以排除掉錯誤的數據,提示錯誤,還可以自行規定校驗的規則,比如監測點位完整性校驗、監測值范圍校驗等。分析結果會在EXCEL中被編輯,使數據和檢測結果更加直觀。例行監測數據管理包括基礎數據管理和監測數據管理兩部分。基礎數據管理主要是指數據的查詢和修改、基礎代碼數據年份間的轉換、數據增加等;監測數據管理主要是數據的簡單、高級查詢,還有要按照點位屬性查詢監測數據。自動監測數據的管理模塊包括水質自動周報管理和空氣質量日報預報管理。監測點位管理模塊是為了適應一點多用監測工作的實際情況而設計的。這個模塊可以實現用戶管理水和空氣點位的需求,同時,用戶還可以添加或修改屬性類別滿足自己的需要。WebGIS數據查詢分析模塊具有視圖功能,可以修改圖像數據,使其達到最佳的效果。而該模塊還可以實現屬性數據與地圖數據的圖文互查,為各類數據的分析繪制專題圖,比如柱狀圖、面狀圖還有餅狀圖等。這樣做,不僅能夠更加方便、快捷地查詢數據,還能夠更加清楚地呈現相關問題。系統設置模塊囊括了地區設置、數據校驗規則管理和環境標準管理。

4結束語

在信息發達的今天,如何利用信息為人們的工作服務,解決問題,已經成為了需要人們不斷思考的內容。環境監測數據的傳統處理方法已經無法滿足現代化發展的需求,所以,實現環境監測數據管理的信息化刻不容緩。

作者:程詩雨 單位:南京市江寧區環境保護局

數據管理論文:主數據管理應用下的軌道交通論文

1主數據管理系統建設需求分析

隨著企業日益向全球化邁進,為應對不同業務部門的個性化需求,信息系統越來越多,眾多系統造成數據量不斷增加。主數據在不同系統中的重疊現象日益顯著,由于同一主數據在不同系統內部的標志和描述不統一,從而導致企業數據大規模形成冗余,用戶無法確定其有效性,造成維護成本居高不下,業務差錯率升高。即便在同一個應用系統內,所涉及的物料、人員、客戶等主數據信息隨著使用范圍不斷擴大,數據規模和分散的程度也不斷增長,同一主數據在同一應用系統中會被不同的用戶維護成為不同的對象,企業無法出具精確的分析報表,導致企業領導無法做出正確的決策。因此,隨著企業不斷發展,在信息化道路上高質量的數據已經成為區別企業管理水平和競爭力的重要指標之一。主數據是企業運作過程中必須使用的基本信息,它們長期存儲在數據庫中,集中存儲并且可以由各組織維護和使用,是系統穩定運行的基礎。主數據的有效管控,可以支持經營管理層便捷地獲取多種業務角度的全面分析報告,加深數據挖掘和透視;可以保證業務管理層使用主數據的一致性和實時性;并可以幫助業務操作層人員統一溝通語言,降低溝通成本。一個企業在信息化建設的道路上是否實施了主數據管理最終的結果有著鮮明的對比。

2主數據管理系統建設目標

根據該公司信息化建設的總體規劃和分布實施的策略,主數據管理系統建設的核心目標為:1)整個集團內制定并執行統一的,并且是符合業務要求的、科學合理的主數據標準;2)通過主數據標準的執行使得企業內部各個業務環節使用的主數據完整統一,只有一個真實的版本并且質量較高;3)提高數據的使用率和用戶對企業數據質量的信任度;4)滿足企業的諸多管理戰略目標的需求。

3主數據管理系統實施

3.1主要實施內容1)制定四類主數據標準會計科目:立足于集團財務報表需求制定統一的會計科目體系。物料:包括原材料、標準件、成品和半成品,重點解決物料整體分類和對應屬性標準。客戶:制定集團統一管理的客戶主數據的數據標準。供應商:制定集團統一管理的供應商主數據的數據標準。2)系統建設固化主數據標準和管理流程等,為用戶管理主數據編碼提供系統平臺。實現對新增主數據編碼的申請、審批、、更改、映射和查詢功能。3)數據清理按制定的各類主數據標準對現有的會計科目、物料、客戶和供應商數據進行清理,對清理后的規范數據進行集團統一編碼,并導入主數據管理系統供集團及各企業共享使用。4)建立有效的管理流程和組織機構建立主數據管理流程和管理規范,建立主數據管理組織及職責設置。

3.2系統應用架構該公司選擇了國際領先的SAP公司最新的主數據管理產品MDM7.1,提供了豐富的數據類型和強大的管理功能,但它本身沒有流程審批控制功能。為了實現對集團主數據的申請、審核、等關鍵環節進行控制,將主數據標準、流程固話到系統中,該公司自主開發了工作流平臺,并與SAPMDM系統集成應用,實現了整個集團主數據(物料編碼、會計科目、供應商、客戶)申請、審核、、修改等管理流程,為整個集團實現研發平臺、企業資源計劃系統(ERP)、決策支持系統(BW)等系統的全面集成共享奠定基礎,實現了跨企業、跨系統的業務數據集成應用,主數據管理系統應用架構。

3.3實施方法MDM系統的實施是組織、流程、標準、平臺高度集成的系統工程,實施推動工作巨大,主要的實施方法如下:

1)組織準備和MDM系統培訓宣貫項目調研準備及集團數據標準宣貫,了解企業信息標準化現狀并組織協調集團標準化專家進行標準培訓。(1)了解企業各類主數據活躍數據量(存在于哪些系統,由哪些部門負責收集),確定數據收集范圍。(2)了解企業各類主數據維護流程及編碼規則。(3)建立企業主數據清理團隊(包括內部顧問、關鍵用戶)。(4)通過培訓使最終用戶了解主數據質量的重要性。(5)通過培訓使最終用戶了解物料、客戶、供應商、會計科目等主數據標準規范。(6)通過培訓使數據清理團隊了解數據收集及清理方法。

2)數據收集及清理與數據的初始化(1)按照已確定的數據范圍采集原始數據并存檔。(2)制定數據清理流程及數據清理計劃,劃分數據清理過程相關人員職責。(3)匯總收集數據,按照主數據標準進行數據規范性檢查,組織自身排重,檢查和排重完畢后提報給MDM系統負責人,并存檔;對于物料分類等標準問題,匯總記錄后提交給集團標準化專家,并跟蹤協調,直至問題全部解決。(4)MDM系統負責人對數據進行排重檢查,將疑似重復數據反饋給原企業確認。(5)數據清理并檢查完畢后,將清理出的所有主數據統一進行編碼分配,導入MDM系統并下發至各企業相關信息系統。

3)MDM系統與企業信息系統集成(1)系統集成方案討論,結合集團現有集成模式,根據企業的實際業務進行具體的集成方案討論。(2)了解企業正在實施的系統內容,為系統集成及數據清理做好基礎。(3)集成接口實現,制定數據映射規則,通過SAPPI進行配置,實現系統之間的數據集成。

4)上線前準備及系統配置(1)收集企業組織機構,完成主數據管理系統內組織機構的創建。(2)收集系統用戶申請表,完成平臺內用戶創建,分配用戶的角色、業務權限及功能權限。

(3)配置各類主數據的申請流程,包括物料、客戶、供應商、會計科目等主數據的申請、修改、分發等業務流程。(4)組織相關業務部門關鍵用戶進行MDM系統操作培訓并編寫用戶操作手冊。

5)系統上線及運維支持(1)建立系統運維組織及和職責劃分。(2)做好系統支持及運維工作,及時解決出現的系統與數據問題,對問題進行匯總記錄,并持續優化完善系統功能。

4應用效果及效益分析

4.1應用效果通過成功構建集團統一的主數據管理系統,建立集團統一的主數據標準、管理流程、支撐平臺,保證整個集團基礎公共數據的一致,促進了各企業規范基礎管理,推進了全集團信息資源共享。為集團實現重要物料采購動態對標、財務綜合分析、供應鏈優化提供有力支撐,有效提升集團科學決策分析能力。通過主數據管理系統的實施獲得了以下收益:1)通過主數據管理系統逐步建立起集團公共基礎數據標準庫,實現了ERP、供應鏈管理系統和其它信息系統的靈活數據交換,為集團整體信息化建設綜合集成和信息共享奠定基礎。2)有效解決集團在進行信息化建設的過程中遇到的突出問題,即缺乏公共數據的標準和統一編碼,尤其是物料編碼的統一。這是集團推進ERP系統成功實施的前提條件之一。3)使用統一的公共數據編碼標準可以提高數據的準確性和一致性,降低數據合并、整理、對比等工作量,提高效率,降低工作復雜性,具有長遠的經濟效益。

4.2經濟效益主數據管理系統自2009年12月上線運行以來,日均集團統一主數據編碼300多個。用戶每天登錄主數據管理系統申請、審核、審批物料等主數據。與此同時,主數據管理系統與公司SAP-ERP系統和決策支持系統(BW)的接口每天進行穩定的數據交換。由于有了統一的主數據管理系統,各類主數據的數據質量得到了很大的提升,按照業界調查統計報告,僅數據質量提升一項即可帶來平均28.5%的收益。同時,由于主數據管理系統統一了各企業的物料編碼,使得集中采購業務的操作性大大提高。通過主數據管理系統與集團供應鏈電子采購平臺的集成應用,為推動采購對標、集中采購,陽光采購等管理手段提供了良好的數據基礎,截止2013年底各企業線上采購金額已達到201億元,線上降采金額約為7.6億,綜合線上采購率為50%,如果全部實現線上采購,降采金額預計超過10億元。

作者:魏濤單位:中國北車股份有限公司

數據管理論文:開放存取資源元數據管理案例分析

1OAPS概述

OAPS是由清華大學、香港城市大學、臺灣逢甲大學三校圖書館于2Oo4年7月共同發起的一個聯合式機構倉儲計劃,即學生優秀作品倉儲計劃。目前已經加盟的成員有清華大學、香港城市大學、臺灣逢甲大學、南洋理工大學、廈門大學、上海交通大學,并建立OAPS聯合機構倉儲網站_1]。該聯合機構倉儲的目的在于更廣泛地傳播和利用各個成員機構的優秀作品資源,實現優秀作品快速、有效地交流和共享,激發學生的興趣和思考,提高學生的學習能力和研究能力。OAPS聯合機構倉儲網站是以開源軟件DSpace系統為基礎。通過應用OAIHarvester2.0元數據收割軟件和本地開發XMLParser軟件,收割各成員機構利用DSpace系統建立的本地機構倉儲元數據(及數字對象)的方式建立并提供服務的倉儲網站。OAPS面向全球提供免費元數據檢索。并通過OpenURL技術鏈接至各成員機構的全文資源。

2OAPS元數據標準的選擇

建立OAPS聯合機構倉儲網站的首要任務是確定其元數據標準.由于OAPS采用了DSpace系統,而DSpaee默認的元數據標準就是DC元數據,因此DC元數據自然而然地成為OAPS的首選標準。雖然OAPS的成員機構倉儲都采用了DC元數據標準,但各成員機構在應用時的元數據結構又有所不同,因此OAPS聯合機構倉儲網站采用取合集的原則,盡量保留各成員機構倉儲的所有元數據字段。另外,OAPS聯合機構倉儲網站充分利用了DC元數據的特性,根據自身情況采用了DC元數據的14個基本元素,并增加了Degree和Course元素。OAPS聯合機構倉儲網站的元數據方案如表1的DSpace-DC列所示。表1也給出DC元數據與OAPS聯合機構倉儲網站DSpace—DC的對應關系。

3OAPS元數據的生成

OAPS聯合機構倉儲網站的各成員機構的元數據主要通過表單提交元數據的方式生成。當然.OAPS各成員機構都規定了只有獲得授權的用戶才能提交元數據表單。用戶只需參照各成員機構DSpace幫助項中的“submit”指示提交元數據,“sub—mit”中對每個元數據元素的填寫進行了明確的說明。雖然DSpace系統利用元數據提交表單生成元數據很方便快捷,但是在提交的過程中,缺乏自動糾錯功能。如填寫Tide元素時,出現詞匯錯誤,DSpace系統的提交程序無法自動檢測,只有通過管理員的審核工作才能發現。OAPS聯合機構倉儲網站的元數據生成主要有2種途徑:一種是收割成員機構倉儲中的元數據;一種是遠程直接提交元數據。收割生成方式將在下節闡述。遠程直接提交元數據方式與各成員機構的元數據提交方式相同,在此不再贅述。

4OAPS元數據的

OAPS聯合機構倉儲網站以及各成員機構倉儲都采用了DSpace系統,DSpace系統通過OAICat作為一個數據提供者向外元數據資源。OAICat是OCLC開發的一個開放源代碼軟件,遵循OAI—PMH協議。因此,OAPS聯合機構倉儲網站以及各成員機構倉儲的元數據能夠被諸如GoogleScholar、Scirus、OAIster之類的網絡搜索引擎檢索。

5OAPS元數據的收割與解析

OAPS聯合機構倉儲網站的元數據收割主要通過遵循OAI—PMH協議的OAI.Harvester2.0軟件實現。0AIHarvester2.0的主要功能是作為一個服務提供者(ServiceProvider)從遵循OAI—PMH協議的倉儲中收割元數據。OAIHarvester2.0遵循OAI—PMH協議的技術框架,它通過HrrP協議向數據提供者發送請求,數據提供者根據相應的請求返回一個XML文檔,發送的H11、P請求不同,返回的XML文檔內容就不同。OAIHarvester2.0主要通過請求動詞和時間戳控制其收割的元數據范圍。截止到2011年5月13日。OAPS聯合倉儲網站已經收割到1614條元數據記錄。OAIHarvester2.0將收割到的元數據存儲至本地服務器。為了將收割到的XML文件解析為DSpace系統能夠導人的格式。需要利用元數據解析技術對XML進行解析。OAPS聯合機構倉儲網站自行設計開發了一個XMLParser軟件。設計者在開發時。考慮到不同數據提供者在提供的xML文檔數據格式存在一定的差異,因而在XML—Parser開發過程中,采用了通用性和適應性原則。由于OAIHarvester2.0收割到的是DC元數據元素名稱,但DSpace系統可接受的DSpace—DC元數據既有元素名稱又有修飾詞,XMLParser在解析數據時,對二者的關系進行了映射處理。另外,考慮到各成員機構倉儲提供的元數據有所差別.XMLParser為針對每個倉儲建立了專門的映射文檔,以便準確地解析出元數據。

6OAPS元數據的增值

OAPS聯合機構倉儲網站將收割到的DC元數據轉換為本地統一的DSpace—DC元數據,通過統一的界面對元數據進行了索引。從而解決了由于不同成員機構倉儲元數據結構和索引方法的不同.給用戶帶來的資源難發現、難檢索的問題。OAPS以用戶服務為中心。對收割來的元數據進行了不同角度的聚類,如從主題、題名、作者、日期等角度對元數據進行聚類。這樣用戶可以根據自己不同的需要,選擇不同的檢索瀏覽方式。

7對OAPS元數據管理的評價

0APS聯合機構倉儲在發展的過程中得到了各成員機構的大力支持和重視,自成立以來,成員機構每年都會組織召開相關會議。討論OAPS的發展事項.積極探討有關OAPS的相關技術問題,如元數據標準及共享方案等技術問題。OAPS聯合機構倉儲網站采用DSpace系統作為資源組織的基礎,遵循了OAI—PMH協議,統一了元數據標準,實現了倉儲之間的互操作,并對元數據進行了一定的增值處理。雖然OAPS聯合機構倉儲網站在元數據發展方面取得了一定的成果,但也存在一定的問題。與同樣利用DSpace軟件開發的香港科技大學機構倉儲相比,首先。OAPS聯合機構倉儲缺乏明確的相關元數據政策說明,不便于用戶對其元數據細節的相關了解和使用。而香港科技大學機構倉儲中有明確的元數據使用政策說明、元數據提交政策說明,比如其在元數據使用政策中規定任何人可以免費獲得元數據,同時規定在非商業應用的情況下,只要提供其OAI標識符或原始元數據記錄鏈接,就可以在沒有獲得事先許可的條件下以任何方式使用其元數據『3_。其次,OAPS聯合機構倉儲缺乏相關元數據技術說明,而香港科技大學機構倉儲在其系統特征中明確說明其采用的是OAI—PMH協議和SRW協議。便于用戶對其元數據互操作技術的了解。最后,OAPS聯合機構倉儲缺乏對DSpace已有元數據提交界面的修改.而香港科技大學機構倉儲針對DSpace本身提交界面太復雜的特性,在其基礎上進行了重新設計,使得元數據提交更便捷,也更符合用戶習慣。由于DSpace系統本身存在一些元數據處理方面的缺陷,比如DSpace在元數據擴展問題上,只能完成對新元素的注冊,并不能在資源提交過程中自動添加新注冊元素的屬性描述項_4]。這就造成采用DSpaee系統的倉儲在元數據管理上難免有些不足,因此.需要對DSpace系統進行不斷的完善和修正,以增強其元數據管理功能。

數據管理論文:經計局發展數據管理計劃

2009年我縣統計工作的總體思路是:以鄧小平理論、“三個代表”重要思想為指導,全面落實科學發展觀,認真貫徹黨的十七大精神,按照省、市統計工作總體要求和工作任務,緊緊圍繞經濟發展大局和縣委、縣政府的中心工作,深化統計改革,夯實統計基礎,規范統計行為,加大統計執法力度,提高統計數據質量,加強機關作風建設,以良好的精神狀態和優質的統計服務,抓好各項工作的落實,推進統計工作再上新臺階。

(一)精心組織,抓好國情國力調查

2009年是第二次全國經濟普查的關鍵之年,按照經濟普查工作方案,重點抓好以下工作:

一是抓好普查登記工作。普查登記工作是經濟普查能否取得一次性成功的關鍵性工作,必須全力以赴高質量完成。要切實強化責任意識,加強普查業務培訓和指導,嚴把普查源頭數據質量關。要堅持依法普查,嚴肅查處經濟普查中的違法行為。要嚴格按照普查計劃,力爭在確保質量的前提下抓進度、保質量,確保普查登記工作緊張有序穩步推進。

二是抓好數據審核處理工作。要嚴格按照數據處理方案,做好普查數據的審核、錄入和處理工作。要落實好審核及錄入人員,要加強業務培訓。及早做好數據處理硬件、軟件設備的準備工作,確保此項工作的順利展開。

三是加強數據質量控制。認真落實各種數據質量控制措施,做好各個環節的質量控制,做好質量抽查、審核與評估,接受上級經普辦的檢查。要成立普查數據質量控制小組,負責質量控制與監督檢查,確保普查數據質量。

四是做好普查數據工作。在數據審核、評估的基礎上,及時向社會公布我縣第二次經濟普查的有關數據,為各級領導和部門的宏觀決策提供依據。

五是繼續抓好普查宣傳工作。動用各種新聞媒體,采用多種宣傳方式,集中宣傳經濟普查的有關知識及方針政策,使各類企事業單位充分理解經濟普查,主動配合經濟普查,確保經濟普查順利推進。

(二)拓展職能,打響統計服務品牌

圍繞縣委、縣政府中心工作,不斷充實服務內容,改進服務手段,增加服務品種。緊緊抓住我縣經濟社會發展熱點、難點問題,增強統計服務的針對性。要進一步拓展服務領域,提升服務質量和水平,充分發揮統計信息的主渠道作用。

一是把握重點。加強對全縣經濟社會運行情況的監測分析,努力把握和反映苗頭性、趨勢性問題,重點加強對經濟運行形勢、經濟發展方式、節能減排、固定資產投資、服務業發展、新農村建設等問題的分析研究,有針對性地開展統計跟蹤、統計服務,充分發揮統計晴雨表功能。

二是注重調研。圍繞黨委、政府關心的重點、熱點和難點問題,依托全面、系統的統計資料,深入開展調研,加強專題研究,形成有較高價值的統計研究成果,為黨委、政府提供決策咨詢,當好參謀,做好助手。

三是深化服務。積極主動為黨委、政府、人大有關會議提供參閱資料。加強部門協作,做好統計數據對外加工整理服務,并依法為企業及鄉鎮和有關部門做好評比、論證材料的認證工作。做好政府信息公開工作,及時在*門戶網站公開有關統計信息和統計數據。通過撰寫《統計信息》、《統計分析》,編印《*經濟動態》、《鎮區主要經濟指標完成情況》卡片、《*統計年鑒》等統計資料,滿足社會需求。

(三)深化改革,提高統計數據質量

一是注重服務業調查、貿易業調查、能源調查等專業報表制度和“一套表”制度的進一步完善,建立健全社情民意調查等新制度,從方法制度的合理性、科學性上確保數據質量。

二是加強第三產業增加值核算基礎工作。根據市局統計業務和我縣相關考核工作要求,強化第三產業名錄庫管理工作,做好第三產業核算考核。

三是嚴格統計數據的審核評估,加強對基層數據的審核力度,保證數據的可靠性和嚴肅性。

四是嚴格執行地區生產總值核算下管一級的規定,積極推進專業統計與地區生產總值核算制度方法的協調,做好國民經濟核算數據與專業統計數據銜接,著力提高地區生產總值核算數據與專業統計數據的匹配性。

(四)夯實基礎,提升統計工作水平

一是要進一步加強基層統計隊伍建設。繼續貫徹落實縣政府《關于進一步加強統計基層基礎工作的意見》(鹽政辦發〔20*〕1*號),進一步明確統計機構的綜合職能和職責范圍,完善基層統計網絡,加強部門、鎮(區)和村(社區)統計力量。加強統計業務培訓,組織好企事業單位等社會統計人員的統計繼續教育培訓,抓好統計職稱教育和高級統計師的評審推薦工作,提高統計隊伍的整體素質。

二是要進一步做好名錄庫維護管理工作。積極協調工商、稅務、質監等部門,建立協調配合工作機制,利用窗口行政記錄及招商信息,依托各鎮(區)及部門的力量,做好統計單位登記工作,確保名錄庫資料按時提供、動態維護、信息共享,提高名錄庫信息的全面性和準確性。

三是要進一步加強統計信息化建設和網上直報工作。加強基層計算機技能培訓,拓展網上直報專業統計領域。加強統計信息網的安全管理與維護,提高統計軟件的應用與開發水平。強化統計基礎工作規范化的管理,指導和督促基層單位建立和完善各種原始記錄和統計臺帳。

四是要加強指導和檢查督促。按照基層統計規范化、報表臺賬標準化、統計管理制度化、統計調查科學化、統計手段現代化的要求,加強對基層的業務指導和考核,全面推進統計基層基礎建設。

五是加強部門協調。理順與部門統計的關系,搭建優勢互補、資源共享的統計平臺。

(五)及時準確,全面完成統計調查

一是強化質量意識,做好統計定、年報工作。進一步強化質量意識,加強組織實施,明確目標責任,落實規范標準,及時、準確、全面完成農業、規模工業、固定資產、房地產、建筑業、科技、勞動工資、批發零售、住宿餐飲等專業統計20*年年報和2009年定報工作。

二是強化能源統計工作。落實能源統計制度,加強節能降耗統計,認真做好我縣節能進展情況、地區單位生產總值能耗數據質量和重點耗能企業節能降耗情況的監測,確保能源監測工作客觀性、公正性和嚴肅性。同時,根據部門間分工協作的能源統計工作機制要求,協同配合做好我縣節能降耗目標年度考核工作。

三是強化服務業統計工作。進一步完善全縣服務業統計報表制度,以提高三產比重為突破口,完善服務業統計,健全規范服務業統計信息搜集渠道,全面準確反映我縣服務業發展進程。

四是抓好各項專項調查和監測工作。進一步完善抽樣調查方法和質量評估機制,積極開展規模以下工業、規模以下能源、限額以下服務業、限額以下貿易業、企業景氣調查、5‰人口變動與勞動力抽樣調查等各項專項調查;做好“平安浙江”群眾滿意率、食品安全感、軟環境調查等社情民意調查工作。做好科技、婦女兒童等統計監測工作。

(六)依法行政,推進統計法制建設

一是要繼續深入開展統計“五五”普法教育。按照省、市縣“五五”普法規劃,落實好2009年的“五五”普法工作。充分利用業務培訓、經濟普查和專項調查等有利契機,有針對性地開展統計法制宣傳月、宣傳周、宣傳日等各項宣傳活動,加強《統計法》和《普查條例》的宣傳力度,積極營造依法統計的良好氛圍,增強全社會的統計法制意識,推進各項統計工作任務的完成。

二是要加強統計執法隊伍建設。研究統計執法工作的新情況新問題,探索解決統計執法的突出問題。加強執法業務培訓,不斷提高統計執法水平。堅持行政執法責任制,規范統計執法行為,推進統計法制建設。

三是要繼續加大統計稽查力度,嚴肅查處統計違法案件。以重點行業為突破口,加強日常稽查工作,扎實開展統計專項檢查,加大遲報、拒報、瞞報、虛報的處罰力度。強化監察、法制、司法、統計聯合執法。加大對部門、鎮(區)、企事業單位典型統計違法案件的查處和曝光力度,著力推進依法行政、依法統計進程。

(七)強化效能,增強統計工作執行力

一是要加強政治理論和政策法規的學習。要切實抓好十七大精神的學習、貫徹和落實,要把機關全體工作人員的思想統一到十七大精神上來,統一到統計工作的具體實踐上來。在嚴峻的國際國內經濟形勢下,要進一步理清工作思路、凝心聚力,確保機關人員思想不亂,人心不散,工作不斷。

二是要加強能力建設。要從宏觀著眼、微觀著手,更新、學習統計專業知識,全面掌握國家及區域整體經濟社會發展狀況,努力培養既精通統計專業知識,又具有較好思考分析問題和判斷預測能力的專家型專業工作人員,進一步提高統計部門的工作水平。

三是要強化內部管理。進一步完善落實爭先創優等各項機制,充分調動全體干部職工的積極性和能動性。要深化機關作風建設和效能建設,深入開展“五型”機關的創建活動,使局內部形成一個團結、協調、齊心、高效的事業型、創業型團隊。

數據管理論文:計算機網絡數據管理

[論文關鍵詞]數據交換電路交換報文交換、分組交換綜合業務數字交換

[論文摘要]本論文討論計算機網絡數據交換技術的發展歷程,闡述數據交換每個發展階段的技術特點。著重對分組交換技術進行分析論述。

交換設備是人類信息交互中的重要實施,在相互通信中起著立交橋的作用。交換技術的發展總是依賴于人類的信息需求、傳送信息的格式和技術,以及控制技術的發展而螺旋型發展。從電話交換一直到當今數據交換、綜合業務數字交換,交換技術經歷了人工交換到自動交換的過程。人們對可視電話、可視圖文、圖象通信和多媒體等寬帶業務的需求,也將大大地推動異步傳輸技術(ATM)和同步數字系列技術(SDH)及寬帶用戶接入網技術的不斷進步和廣泛應用。

從交換技術的發展歷史看,數據交換經歷了電路交換、報文交換、分組交換和綜合業務數字交換的發展過程。

一、電路交換

自1876年美國貝爾發明電話以來,隨著社會需求的增長和通信技術水平的不斷發展,電路交換技術從最初的人工接續方式,經歷了機電與電子式自動交換、存儲程序控制的模擬和數字交換、第三方可編程交換等技術的變革,當前正在發展中的融合多媒體格式相互通信的軟交換技術。

隨著電子技術,尤其是半導體技術的迅速發展,人們在交換機內引入電子技術,這類交換機稱作電子交換機。最初是在交換機的控制部分引入電子技術,話路部分仍采用機械接點,出現了“半電子交換機”、“準電子交換機”。只有在微電子技術和數字技術的進一步發展以后,才開始了全電子交換機的迅速發展。

1946年第一臺電子計算機的誕生,對交換技術的發展起了巨大的影響。在20世紀60年代后期,脈沖編碼調制(PCM)技術成功地應用在通信傳輸系統中,對通話質量和節約線路設備成本都產生了很大好處。隨著數字通信與PCM技術的迅速發展和廣泛應用,于是產生了將PCM信息直接交換的思想,各國開始研制程控數字交換機。1970年法國首先在拉尼翁(Lanion)成功地開通了世界上第一臺程控數字交換系統,標志著交換技術從傳統的模擬交換進入到了數字交換時代。程控數字交換技術采用PCM數字傳輸和數字交換,非常適合信息數字化應用,除應用于普通電話通信以外,并且為開通用戶電報、數據傳送等非話業務提供了有利條件。目前在電信網中使用的電路交換機全部為程控數字交換機,可向用戶提供電路方式的固定電話業務、移動電話業務和窄帶ISDN業務。

二、報文交換

報文交換方式的數據傳輸單位是報文,報文就是站點一次性要發送的數據塊,其長度不限且可變。當一個站要發送報文時,它將一個目的地址附加到報文上,網絡節點根據報文上的目的地址信息,把報文發送到下一個節點,一直逐個節點地轉送到目的節點。

每個節點在收到整個報文并檢查無誤后,就暫存這個報文,然后利用路由信息找出下一個節點的地址,再把整個報文傳送給下一個節點。因此,端與端之間無需先通過呼叫建立連接。報文在每個節點的延遲時間,等于接收報文所需的時間加上向下一個節點轉發所需的排隊延遲時間之和。

三、分組交換

分組交換是交換技術發展的重要成果,代表著網絡未來演進的方向。分組交換方式兼有報文交換和線路交換的優點。分組交換技術使用統計復用,與電路交換相比大大提高了帶寬利用率。這要求在交換節點使用存儲轉發,從而導致掉隊現象的發生。因此,分組交換全引入不固定的延遲的概念。分組交換網絡主要有面向連接和無連接兩種方式.分組網絡包含3個功能面,分別是數據面、控制面和管理面。數據面負責分組轉發,因此需要高性能的實現。目前主要的分組交換網包括面向連接的X.25、幀中繼、ATM、MPLS以及無連接的以太網、CP/IP網絡。

分組交換網有兩種主要的形式:面向連接和無連接。對于分組交換技術來說,面向連接的網絡與電路交換類似,也需要通過連接建立過程在交換機中分配資源;但由于它采用統計復用,所分配的資源是用邏輯標號來表示的。自分組交換技術出現以來,已經有多種分組交換網投人運行。電信領域最早提出的是X.25網絡,但由于它協議復雜,速度有限,逐漸被性能更好的網絡如幀中繼代替。幀中繼網絡可以認為是X.25的改進版本,它簡化了協議以提高處理效率。

計算機領域的一個側重點是局域網,即小范圍、小規模的網絡,用于互連辦公室內的計算機。目前以太網已成為占統治地位的局域網技術。

在20世紀90年代中后期,因特網獲得較大發展,規模持續擴大,對核心路由器吞吐量的要求也越來越高。由于路由器對IP分組進行轉發時路由表的查找比較復雜,轉發速度受到很大限制。前面指出,面向連接網絡使用邏輯子信道標號進行轉發表查找,速度是很快的。人們結合ATM技術在這方面的優點,提出將核心網絡改為使用類似于ATM的交換機,而只在邊緣網絡使用路由器的IP交換技術,最終發展為多協議標記交換(MPlS)。然而,在隨后的幾年中,提出了多種實用的高速路由查找方法,使其不再成為瓶頸。此時,MPLS最大的優點就是流量工程(TramcEn小needng)能力,即人為控制分組流向。但是由于目前高速路由器還能夠很好地工作,MPLS技術并沒有被廣泛使用。

四、綜合業務數字交換

綜合業務數字網是集語音、數據、圖文傳真、可視電話等各種業務為一體的網絡,適用于不同的帶寬要求和多樣的業務要求。異步傳輸模式ATM(AsynchronousTransferMode)就是用于寬帶綜合業務數字網的一種交換技術。ATM是在分組交換基礎上發展起來的。它使用固定長度分組,并使用空閑信元來填充信道,從而使信道被等長的時間小段。由于光纖通信提供了低誤碼率的傳輸通道,因而流量控制和差錯控制便可移到用戶終端,網絡只負責信息的交換和傳送,從而使傳輸時延減小。所以ATM適用于高速數據交換業務。

隨著通信技術和通信業務需求的發展,迫使電信網絡必須向寬帶綜合業務數字網(B—ISDN)方向發展。這要求通信網絡和交換設備既要容納非實時的數據業務,又要容納實時性的電話和電視信號業務,還要考慮到滿足突發性強、瞬時業務量大的要求,提高通信效率和經濟性。在這樣的通信業務條件下,傳統的電路交換和分組交換都不能夠勝任。電路交換的主要缺點是信道帶寬(速率)分配缺乏靈活性,以及在處理突發業務情況下效率低。而分組交換則由于處理操作帶來的時延而不適宜于實時通信。因此,在研究新的傳送模式時需要找出兩全的辦法,既能達到網絡資源的充分利用,又能使各種通信業務獲得高質量的傳送水平。這種新的傳送模式就是后來出現的“異步轉移模式”(ATM)。

ATM是在光纖大容量傳輸媒體的環境中分組交換技術的新發展。在大量使用光纜之前,數字通信網中的中繼線路是最緊張也是質量最差的資源,提高線路利用率和減少誤碼是最著重考慮的事情。光纜的大量使用不僅大大增加了通信能力,而且也大大提高了傳輸質量。這使得人們逐漸傾向于寧可犧牲部分線路利用率來減少節點的處理負擔。

與此同時,人類對于通信帶寬的需求日益增加。特別是傳送圖像信息和海量數據,已經使人們對于數據通信的速率由過去的幾千比特/秒增加到幾兆比特/秒。這樣,節點的處理能力成了數據通信網中的“瓶頸”。ATM對于節點處理能力的要求遠低于分組轉送方式,更能適應現代的這種環境。

ATM方式中,采用了分組交換中的虛電路形式,同時在呼叫建立過程中向網絡提出傳輸所希望使用的資源,網絡根據當前的狀態決定是否接受這個呼叫。可以說,ATM方式既兼顧了網絡運營效率,又能夠滿足接入網絡的連接進行快速數據傳送的需要。

五、計算機網絡數據交換技術發展的展望

近年來。以Internet為代表的新技術革命正在深刻地改變著傳統的電信觀念和體系架構,并且隨著信息社會的到來,人們的日常生活、學習工作已經離不開網絡,這導致了人類社會對網絡業務需求急劇增長,并且對網絡也提出了更高的要求,不僅要提供話音、數據、視頻業務,也要同時支持實時多媒體流的傳送,并且要求網絡具有更高的安全性、可靠性和高性能。下一代網絡應是—個能夠屏蔽底層通信基礎設施多樣性,并能提供一個統一開放的、可伸縮的、安全穩定和高性能的融合服務平臺,能夠支持快速靈活地開發、集成、定制和部署新的網絡業務。

下一代網絡將是—一個以軟交換為核心、光網絡為基礎、分組型傳送技術的開放式的融合網。軟交換的出現,可通過一個融合的網絡為用戶同時提供話音、數據和多媒體業務,實現國際電聯提出的“通過互聯互通的電信網、計算機網和電視網等網路資源的無縫融合,構成一個具有統一接入和應用界面的高效率網路,使人類能在任何時間和地點,以一種可以接受的費用和質量,安全的享受多種方式的信息應用”的目標。

數據管理論文:電子商務數據管理

[摘要]企業的競爭優勢并不取決于信息的擁有量,而是取決于信息的處理利用能力。如何化信息優勢為競爭優勢,是企業制勝于市場的一個法寶。本文論述了一種信息處理利用的有效工具——數據挖掘方法及其在電子商務中的應用。

[關鍵詞]數據挖掘方法電子商務應用

隨著網絡技術和數據庫技術的成熟,傳統商務正經歷一次重大變革,向電子商務全速挺進。這種商業電子化的趨勢不僅為客戶提供了便利的交易方式和廣泛的選擇,同時也為商家提供了更加深入了解客戶需求信息和購物行為特征的可能性。數據挖掘技術作為電子商務的重要應用技術之一,將為正確的商業決策提供強有力的支持和可靠的保證,是電子商務不可缺少的重要工具。

一、何謂數據挖掘及方法

確切地說,數據挖掘(DataMining),又稱數據庫中的知識發現(KnowledgeDiscoveryinDatabase,KDD),是指從大型數據庫或數據倉庫中提取隱含的、未知的、非平凡的及有潛在應用價值的信息或模式。它融合了數據庫、人工智能、機器學習、統計學等多個領域的理論和技術。比較典型的數據挖掘方法有關聯分析、序列模式分析、分類分析、聚類分析等。它們可以應用到以客戶為中心的企業決策分析和管理的各個不同領域和階段。

1.關聯分析。關聯分析,即利用關聯規則進行數據挖掘。關聯分析的目的是挖掘隱藏在數據間的相互關系,它能發現數據庫中形如”90%的顧客在一次購買活動中購買商品A的同時購買商品B”之類的知識。

2.序列模式分析。序列模式分析和關聯分析相似,但側重點在于分析數據間的前后序列關系。它能發現數據庫中形如”在某一段時間內,顧客購買商品A,接著購買商品B,而后購買商品C,即序列ABC出現的頻度較高”之類的知識,序列模式分析描述的問題是:在給定交易序列數據庫中,每個序列是按照交易時間排列的一組交易集,挖掘序列函數作用在這個交易序列數據庫上,返回該數據庫中出現的高頻序列。在進行序列模式分析時,同樣也需要由用戶輸入最小置信度C和最小支持度S。

3.分類分析。設有一個數據庫和一組具有不同特征的類別(標記),該數據庫中的每一個記錄都賦予一個類別的標記,這樣的數據庫稱為示例數據庫或訓練集。分類分析就是通過分析示例數據庫中的數據,為每個類別做出準確的描述或建立分析模型或挖掘出分類規則,然后用這個分類規則對其他數據庫中的記錄進行分類。

4.聚類分析。聚類分析輸入的是一組未分類記錄,并且這些記錄應分成幾類事先也不知道,通過分析數據庫中的記錄數據,根據一定的分類規則,合理地劃分記錄集合,確定每個記錄所在類別。它所采用的分類規則是由聚類分析工具決定的。采用不同的聚類方法,對于相同的記錄集合可能有不同的劃分結果。

應用數據挖掘技術,較為理想的起點就是從一個數據倉庫開始,數據挖掘可以直接跟蹤數據并輔助用戶快速做出商業決策,用戶還可以在更新數據的時候不斷發現更好的行為模式,并將其運用于未來的決策當中。

二、據據挖掘在電子商務中的應用

數據挖掘能發現電子商務客戶的的共性和個性的知識、必然和偶然的知識、獨立和關聯的知識、現實和預測的知識等,所有這些知識經過分析,能對客戶的消費行為如心理、能力、動機、需求、潛能等做出統計和正確地分析,為管理者提供決策依據。具體應用如下:

1.分類與預測方法在電子商務中的應用。在電子商務活動中,分類是一項非常重要的任務,也是應用最多的技術。分類的目的是構造一個分類函數或分類模型,通常稱作分類器。分類器的構造方法通常由統計方法、機器學習方法、神經網絡方法等。這些方法能把數據庫中的數據映射到給定類別中某一個,以便用于預測,也就是利用歷史數據記錄,自動推導出給定數據的推廣描述,從而對未來數據進行預測。

2.聚類方法在電子商務中的應用。聚類是把一組個體按照相似性原則歸成若干類別。對電子商務來說,客戶聚類可以對市場細分理論提供有力的支持。市場細分的目的是使得屬于同一類別的個體之間的距離盡可能小,而不同類別的個體之間的距離盡可能大,通過對聚類的客戶特征的提取,電子商務網站可以為客戶提供個性化的服務。

3.數據抽取方法在電子商務中的應用。數據抽取的目的是對數據進行濃縮,給出它的緊湊描述,如求和值、平均值、方差值、等統計值、或者用直方圖、餅狀圖等圖形方式表示,更主要的是他從數據泛化的角度來討論數據總結。數據泛化是一種把最原始、最基本的信息數據從低層次抽象到高層次上的過程。可采用多維數據分析方法和面向屬性的歸納方法。在電子商務活動中,采用維數據分析方法進行數據抽取,他針對的是電子商務活動中的客戶數據倉庫。在數據分析中經常要用到諸如求和、總計、平均、最大、最小等匯集操作,這類操作的計算量特別大,可把匯集操作結果預先計算并存儲起來,以便用于決策支持系統使用。

4.關聯規則在電子商務中的應用。管理部門可以收集存儲大量的售貨數據和客戶資料,對這些歷史數據進行分析并發現關聯規則。如分析網上顧客的購買行為,幫助管理者規劃市場,確定商品的種類、價格、質量等。通常關聯規則有兩種:有意義的關聯規則和泛化關聯規則,有意義的關聯規則,即滿足最小支持度和最小可信度的規則。最小支持度,它表示一組對象在統計意義上的需滿足的最低程度,如電子商務活動中的客戶數量、客戶消費能力、消費方式等。后者即用戶規定的關聯規則的最低可靠度。第二是泛化規則,這種規則更實用,因為研究對象存在一種層次關系,如面包、蛋糕屬西點類,而西點又屬于食品類,有了層次關系后,可以幫助發現更多的有意義的規則。

三、結束語

電子商務是現代信息技術發展的必然結果,也是未來商業運作模式的必然選擇。利用數據挖掘技術,充分發揮企業的獨特優勢,促進管理創新和技術創新,使企業在在電子商務的潮流中立于不敗之地。隨著數據挖掘算法的不斷發展和成熟,數據挖掘一定會有更加廣闊的應用前景。

主站蜘蛛池模板: 在线中文字幕乱码英文字幕正常| 亚洲爆乳无码精品aaa片蜜桃| 人妻内射一区二区在线视频| 中国老太婆野外xxxx| 欧美牲交a欧美牲交aⅴ久久| 国产精品久免费的黄网站| 久久久久久夜精品精品免费啦| 久久99精品国产99久久6尤物| 亚洲av福利院在线观看| 成年无码av片在线| 蜜臀av在线播放| 红杏亚洲影院一区二区三区| 成人午夜亚洲精品无码网站| 国产欧美精品一区二区三区| 99精品国产兔费观看久久99| 丰满人妻一区二区三区免费视频| 国产免费av片无码永久免费| 免费观看羞羞视频网站| 两个人的视频免费高清在线观看| 丁香五月缴情在线| 好吊色欧美一区二区三区视频| а天堂中文在线官网| 久久亚洲国产精品成人av秋霞| 伊人情人综合网| 最刺激黄a大片免费观看下载| 国产无套抽出白浆来| 无码成人aaaaa毛片| 大地资源网第二页免费观看| 亚洲av无码国产精品夜色午夜| 亚洲va在线va天堂va不卡| 国产精品岛国久久久久| 成全视频在线观看在线播放| 久久精品中文闷骚内射| 少妇伦子伦精品无吗| 成人午夜亚洲精品无码网站| 久久aⅴ人妻少妇嫩草影院| 久久久亚洲欧洲日产国码aⅴ| 亚洲国产欧美一区二区好看电影| 香港日本三级亚洲三级| 精品久久久久久综合日本| 黑人大战欲求不满人妻|