首頁 > 精品范文 > 編碼技術(shù)論文
時間:2022-02-16 04:27:12
序論:寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感,挖掘那些隱藏在內(nèi)心深處的真相,好投稿為您帶來了七篇編碼技術(shù)論文范文,愿它們成為您寫作過程中的靈感催化劑,助力您的創(chuàng)作。
關(guān)鍵詞:網(wǎng)絡(luò)編碼無線網(wǎng)絡(luò)信息交換
一、網(wǎng)絡(luò)編碼技術(shù)與傳統(tǒng)網(wǎng)絡(luò)的差異
在傳統(tǒng)的計算機網(wǎng)絡(luò)數(shù)據(jù)傳輸過程中,要借助路由器進行數(shù)據(jù)傳遞,根據(jù)數(shù)據(jù)的目標地址,路由器將數(shù)據(jù)包向各個鏈路發(fā)送。由于沒有統(tǒng)一的安排和協(xié)調(diào),在同一鏈路中會出現(xiàn)很多數(shù)據(jù)包,必須排隊等待通過的情況,這就制約了計算機網(wǎng)絡(luò)的傳輸速度和效率的提升。2000年,新型網(wǎng)絡(luò)編碼技術(shù)一經(jīng)出現(xiàn)就得到了廣泛關(guān)注。網(wǎng)絡(luò)編碼技術(shù)著力解決的問題是有效地將同時到達路由器的數(shù)據(jù)同時發(fā)送出去,不讓數(shù)據(jù)產(chǎn)生擁塞,從而提高數(shù)據(jù)傳輸速度。
二、網(wǎng)絡(luò)編碼技術(shù)在無線網(wǎng)絡(luò)中的應(yīng)用
2.1網(wǎng)絡(luò)編碼的概念
網(wǎng)絡(luò)編碼是一種融合了路由和編碼的信息交換技術(shù),它的核心思想是在網(wǎng)絡(luò)中的各個節(jié)點上對各條信道上收到的信息進行線性或者非線性的處理,然后轉(zhuǎn)發(fā)給下游節(jié)點,中間節(jié)點扮演著編碼器或信號處理器的角色。
2.2網(wǎng)絡(luò)編碼應(yīng)用于無線網(wǎng)絡(luò)的優(yōu)勢
網(wǎng)絡(luò)編碼融合了路由和編碼的概念,使網(wǎng)絡(luò)節(jié)點不僅可以對數(shù)據(jù)進行存儲轉(zhuǎn)發(fā),還可以進行編碼處理,已證明了使用線性網(wǎng)絡(luò)編碼已經(jīng)能足夠達到網(wǎng)絡(luò)多播容量。但網(wǎng)絡(luò)編碼的好處不止這些,尤其是當(dāng)網(wǎng)絡(luò)編碼應(yīng)用于無線網(wǎng)絡(luò)時。網(wǎng)絡(luò)編碼首先應(yīng)被應(yīng)用在無線網(wǎng)絡(luò)環(huán)境。無線網(wǎng)絡(luò)的特性是不可靠性和廣播特性,使網(wǎng)絡(luò)編碼非常適合應(yīng)用在無線網(wǎng)絡(luò)上,因為無線鏈路的不可靠性和物理層廣播特性非常適合使用編碼的方法。應(yīng)用網(wǎng)絡(luò)編碼,可以解決傳統(tǒng)路由、跨層設(shè)計等技術(shù)無法解決的問題,提高網(wǎng)絡(luò)編碼在無線網(wǎng)絡(luò)中的應(yīng)用。無線網(wǎng)絡(luò)的廣播特性使其非常適合使用網(wǎng)絡(luò)編碼,當(dāng)一個節(jié)點傳輸一個數(shù)據(jù)包給它的一個鄰居節(jié)點時,它的其它鄰居節(jié)點也可以接收到這個數(shù)據(jù)包。因此,當(dāng)一個節(jié)點的鄰居節(jié)點對不同的數(shù)據(jù)包感興趣時,可以將這些數(shù)據(jù)包編碼后再一起傳輸,這樣子可以使其所有的鄰居節(jié)點都收到感興趣的數(shù)據(jù)包并可以節(jié)約無線資源。
應(yīng)用網(wǎng)絡(luò)編碼,可以解決傳統(tǒng)路由、跨層設(shè)計等技術(shù)無法解決的問題,提高網(wǎng)絡(luò)性能。網(wǎng)絡(luò)編碼在無線網(wǎng)絡(luò)中的應(yīng)用可以提高網(wǎng)絡(luò)的吞吐量,尤其是組播吞吐量。可以減少數(shù)據(jù)包的傳播次數(shù),降低無線發(fā)送能耗。當(dāng)網(wǎng)絡(luò)部分節(jié)點或鏈路失效時采用隨機網(wǎng)絡(luò)編碼,最終在目的節(jié)點仍然能恢復(fù)原始數(shù)據(jù),增強網(wǎng)絡(luò)的容錯性和魯棒性。網(wǎng)絡(luò)編碼對無線網(wǎng)絡(luò)的性能改善主要體現(xiàn)在提高網(wǎng)絡(luò)編碼的吞吐量上,網(wǎng)絡(luò)編碼已經(jīng)被證明對于提高某些網(wǎng)絡(luò)的吞吐量有著很大的作用。運用網(wǎng)絡(luò)編碼可以在很大程度上提高網(wǎng)絡(luò)吞吐量,但是同時會增加網(wǎng)絡(luò)的復(fù)雜性。不少研究者在研究提高無線網(wǎng)絡(luò)的組播吞吐量的同時,研究如何降低因采用網(wǎng)絡(luò)編碼帶來的復(fù)雜性。在網(wǎng)絡(luò)狀況惡劣的條件下,網(wǎng)絡(luò)編碼和路由之間組播吞吐量的差別不大,網(wǎng)絡(luò)編碼的優(yōu)勢體現(xiàn)在降低網(wǎng)絡(luò)復(fù)雜性上;在網(wǎng)絡(luò)狀況較好的條件下,網(wǎng)絡(luò)編碼相對于路由方法,在很大程度上,提高了組播吞吐量。這為根據(jù)網(wǎng)絡(luò)狀況動態(tài)調(diào)整網(wǎng)絡(luò)編碼算法提供了可能。
2.3網(wǎng)絡(luò)編碼如何提高無線網(wǎng)絡(luò)的安全性
網(wǎng)絡(luò)編碼在提高無線網(wǎng)絡(luò)的安全性研究方面亦取得了一定的成果。在無線網(wǎng)絡(luò)組播中,對于數(shù)據(jù)包的惡意修改的檢測,過去是使用基于消息認證碼或者數(shù)字簽名的方法。基于網(wǎng)絡(luò)編碼產(chǎn)生了一種基于數(shù)據(jù)包的隨機網(wǎng)絡(luò)編碼檢測策略,這種方法計算量小,而且檢測概率可以根據(jù)通信控制開銷、網(wǎng)絡(luò)編碼復(fù)雜程度和檢測時間這些因素進行調(diào)控。但這種方法亦存在不足。這種方法要求接收節(jié)點需要預(yù)先獲得至少一個沒有被惡意修改過的數(shù)據(jù)包,并且數(shù)據(jù)包的內(nèi)容不能被攻擊者知曉,因此,這種方法對抗攻擊效果不好。
無線網(wǎng)絡(luò)廣播重傳處理中,多個接收節(jié)點中的任意一個節(jié)點的丟包都要求源節(jié)點重傳數(shù)據(jù)包,需要廣播發(fā)送較多的重傳次數(shù).本文將隨機線性網(wǎng)絡(luò)編碼技術(shù)應(yīng)用在無線網(wǎng)絡(luò)廣播重傳中,提出一種新穎的廣播重傳方法(RLNCBR)。該方法中,源節(jié)點記錄多個接收節(jié)點中丟包最多的接收節(jié)點丟包數(shù),再按照隨機線性網(wǎng)絡(luò)編碼的方法編碼組合該丟包數(shù)個線性編碼包。源節(jié)點廣播重傳,接收節(jié)點采用運算編碼線性組合的方法獲得信息包數(shù)據(jù)。數(shù)學(xué)分析表明,該方法能保證所有接收節(jié)點的編碼可解性,同時重傳次數(shù)可達到理論最優(yōu)性。模擬測試結(jié)果表明:與傳統(tǒng)重傳方法相比,RLNCBR有效地減少了信息包的平均傳輸次數(shù),提高了傳輸效率。
三、網(wǎng)絡(luò)編碼在無線網(wǎng)絡(luò)的應(yīng)用發(fā)展方向
網(wǎng)絡(luò)編碼正在給現(xiàn)有的網(wǎng)絡(luò)帶來革命性的變化:網(wǎng)絡(luò)編碼從用來達到有線網(wǎng)絡(luò)中的組播容量,發(fā)展到在有線和無線網(wǎng)絡(luò)中提高吞吐量、節(jié)省能量、增強魯棒性和安全性,甚至改變網(wǎng)絡(luò)結(jié)構(gòu)、改變網(wǎng)絡(luò)協(xié)議設(shè)計方法。網(wǎng)絡(luò)編碼在無線網(wǎng)絡(luò)中的應(yīng)用還存在著以下的幾個問題:網(wǎng)絡(luò)編碼的具體實現(xiàn)和降低網(wǎng)絡(luò)編碼的復(fù)雜性。現(xiàn)在已經(jīng)提出了很多網(wǎng)絡(luò)編碼方法,有集中式線性網(wǎng)絡(luò)編碼和分布式隨機網(wǎng)絡(luò)編碼,但是如何在實際網(wǎng)絡(luò)環(huán)境中實現(xiàn)網(wǎng)絡(luò)編碼,需要考慮許多實際應(yīng)用問題,例如同步、控制開銷等。網(wǎng)絡(luò)編碼在實際網(wǎng)絡(luò)環(huán)境中如何實現(xiàn)是一個很迫切的問題。采用網(wǎng)絡(luò)編碼可以在很大程度上提高網(wǎng)絡(luò)性能,但設(shè)計和實現(xiàn)上的復(fù)雜性也隨之增加。如何在不顯著增加網(wǎng)絡(luò)開銷,綜合考慮效率和性能的前提下,實現(xiàn)網(wǎng)絡(luò)編碼問題是將來需要進行深入研究的方向。
四、結(jié)束語
無線網(wǎng)絡(luò)環(huán)境由于環(huán)境的多變性,使得數(shù)據(jù)包在傳輸過程中更加容易丟失。目前,重傳常被用來實現(xiàn)無線廣播的錯誤處理,普通重傳方法思想基于發(fā)送方通過反饋得到接收方的出錯情況,重傳出錯的數(shù)據(jù)報文來恢復(fù)出錯的報文。:
網(wǎng)絡(luò)編碼技術(shù)是近十年來飛速發(fā)展的一個研究課題。雖然還沒有應(yīng)用到實際的通信網(wǎng)絡(luò)中,但已引起了較大的關(guān)注,比如美國軍方已經(jīng)意識到網(wǎng)絡(luò)編碼技術(shù)的優(yōu)勢,已經(jīng)撥款研究網(wǎng)絡(luò)編碼技術(shù)在移動自組網(wǎng)(MobileAdHocNetwork)中的應(yīng)用。因此,我們也應(yīng)當(dāng)及時跟蹤國際上的網(wǎng)絡(luò)編碼技術(shù)的發(fā)展趨勢。同時,結(jié)合各種應(yīng)用深入思考網(wǎng)絡(luò)所涉及的各種安全技術(shù)問題。
參考文獻
[1]范明,盂小峰.數(shù)據(jù)挖掘概念與技術(shù)[M].機械工業(yè)出社,2001.8.
[2]胡國強.數(shù)據(jù)挖掘在遠程教育決策支持系統(tǒng)的運用[J].開放教育研究,2003,(5)44-45.
[3]YEUNGRW,ZHANGZ.Distributedsourcecodingforsatellitecommunications[J].IEEETransactionsonInformationTheory,1999,45(3):1111-1120.
關(guān)鍵詞: H.264標準;視頻壓縮;視頻編碼
0 引言
以數(shù)字視頻的采集、壓縮、處理為核心的現(xiàn)代視頻監(jiān)控技術(shù),采用先進圖像處理芯片對視頻進行壓縮處理,把智能圖像處理技術(shù)用于圖像顯示、監(jiān)控成為嵌入式視頻監(jiān)控系統(tǒng)的重點研究方向[1]。無論是MPEG1、MPEG2或者是MPEG4、H.263都已經(jīng)無法滿足運動圖像壓縮的要求,這時新一代的H.264標準便被制定,H.264作為新一代的編碼方式,有效提升了視頻壓縮率,僅需原先的一半帶寬即可播放相同質(zhì)量的視頻,而且視頻編碼的碼率更加靈活,架構(gòu)主要包括,幀內(nèi)預(yù)測、幀間預(yù)測、轉(zhuǎn)換、量化、去區(qū)塊濾波器、熵編碼等模塊,下面將研究H.264視頻編碼的關(guān)鍵技術(shù)及其應(yīng)用前景。[2]
1 H.264壓縮標準
H.264是兩個組織專家ITU-T和ISO為多媒體傳輸設(shè)計的數(shù)字視頻編碼標準[3],全稱是MPEG-4AVC,翻譯成中文意思是“活動圖像專家組-4的高等視頻編碼”,或稱為MPEG-4Part10。各種分辨率的視頻圖像格式都可以被H.264視頻編碼標準支持,包括sub-QCIF、QCIF、CIF、4CIF、16CIF等[4]。H.264是一種視頻壓縮標準,同時也是一種被廣泛使用的高精度視頻的錄制、壓縮和格式。H.264比其他編碼標準有著更高的視頻質(zhì)量和更低的碼率,被廣泛用于網(wǎng)絡(luò)流媒體數(shù)據(jù)、各種高清晰度電視陸地廣播以及衛(wèi)星電視廣播等領(lǐng)域。H.264的特點是能低碼率、高清晰持續(xù)提供較高的視頻質(zhì)量,能大大加強圖像的編碼效率和改善圖像數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸效率。[1],使網(wǎng)絡(luò)更加靈活、適應(yīng)性更強,最大的好處就是節(jié)約了成本,彌補了技術(shù)差距,讓存儲與視頻管理變得更高效。
2 H.264編碼器的結(jié)構(gòu)和特點
H.264只是規(guī)定了輸入碼流的格式及編碼之后輸出比特流的句法結(jié)構(gòu),其標準的編碼思路是混合編碼模式,以幀間和幀內(nèi)預(yù)測來清除空間和時間的冗余分量,用變換和量化編碼來清除頻域冗余分量。H.264視頻編碼在一定情況下提高了視頻壓縮編碼性,其視頻解碼與編碼實現(xiàn)的過程相反,依據(jù)幀內(nèi)編碼進行逆量化,反變換,重構(gòu)幀,最后經(jīng)塊濾波器平滑濾波后得到重建圖像,[1]H.264編碼器的功能組成框圖如1。
3 H.264編碼器關(guān)鍵環(huán)節(jié)分析
3.1 幀內(nèi)預(yù)測 比起H.263,H.264提供了更多不同的工具來降低碼率,以編碼單位來說,h.264中每個宏塊(macroblock/mb)大小都是固定的16×16像素,能夠?qū)崿F(xiàn)高分辨率視頻的壓縮,對于幀間編碼來說,它允許變換塊的大小根據(jù)運動補償塊的大小進行自適應(yīng)的調(diào)整;對于幀內(nèi)編碼來說,它允許變換塊的大小根據(jù)幀內(nèi)預(yù)測殘差的特性進行自適應(yīng)的調(diào)整。
3.2 幀間預(yù)測 H.264標準與早期標準不同之處在于,它所使用的是塊結(jié)構(gòu)運動補償,運算精度精確到1/4像素點上。[8]不僅如此,H.264標準還使用了多幀預(yù)測的方法,能夠明顯改善預(yù)測增益。[5]
3.3 整數(shù)變換與量化 H.264中整型變換與之前的MPEG系列標準所采用的DCT變換都有區(qū)別:
①它是整形變換(所有的操作都為整數(shù)運算,不存在解碼精度損失)。②用整數(shù)算術(shù)變換可以確保編解碼之間實現(xiàn)零失配。③變換的核心運算部分只用到加法和移位運算,不需要乘除運算。④到量化器的縮放乘積因子為整數(shù),減少了乘積因子的數(shù)據(jù)位數(shù)。[4]量化的目的是減小信號的值域,以更少的比特來表示信號,從而達到減少數(shù)據(jù)量的目的。H.264中量化的步長總共有52種,其按照12.5%遞增,并且變換系數(shù)的讀取有雙掃描和之字形兩種方式。
3.4 熵編碼 熵編碼是對數(shù)據(jù)的冗余信息進行壓縮的方法,變長編碼和Huffman編碼相結(jié)合進行,以較短的字長表示出現(xiàn)概率較大的數(shù)據(jù),較長的字長表示出現(xiàn)概率較小的數(shù)據(jù)來達到降低數(shù)據(jù)量的目的。
CAVLC是一種變長編碼。先對變換系數(shù)進行zig-zag掃描。用行程碼(L,V)表示掃描以后的數(shù)據(jù),V代表數(shù)值,L代表該數(shù)出現(xiàn)的次數(shù)。因為視頻塊在整形變換和量化后,大部分變換系數(shù)成為0,只有很少的數(shù)據(jù)在低頻部分,用行程數(shù)L代表連續(xù)出現(xiàn)的0的個數(shù),V代表0串后挨著的非零值,接著對L和V分別采用Huffman編碼進一步壓縮,有不同的碼表可以查詢亮度塊和色度塊。行程編碼大大降低了編碼的碼字字長。CABAC是一種二進制算術(shù)編碼,其通過構(gòu)建模型來預(yù)測當(dāng)前的視頻信號。相對于CAVLC編碼,CABAC的編碼效率更高,更節(jié)省碼率。[4]
3.5 碼率控制 H.264視頻編碼標準雖然對于編碼器的結(jié)構(gòu)實現(xiàn)模式?jīng)]有具體的規(guī)定,但編碼器實現(xiàn)的核心問題要解決編碼器的結(jié)構(gòu)、相應(yīng)的視頻編碼如何控制。H.264編碼器采用基于拉各朗日Lagrangian優(yōu)化算法的率失真優(yōu)化模型實現(xiàn)視頻編碼的控制,其實現(xiàn)方法簡單而且效率高。[5]
H.264編碼標準由于以上關(guān)鍵技術(shù)的支持,獲得了較高性能編碼,但編碼器復(fù)雜度增加,約為MPEG2的4倍,MPEG4的2倍。其高復(fù)雜度原因有兩個方面,一是編碼選項復(fù)雜,二是計算量高。具體內(nèi)容有宏塊的劃分及搜索模式的組合的選取、高精度亞像素運動補償和多參考頓預(yù)測,H.264更細化,更精確的數(shù)據(jù)壓縮導(dǎo)致了計算量高。[6]
4 應(yīng)用前景
H.264作為一種具有高效壓縮性能的視頻壓縮編碼技術(shù),其在制定的過程中就充分參考和吸收了H系列和MPEG系列的優(yōu)秀研究成果,修改或重新制定了其中不合理的部分,使其有很好的壓縮性能。H.264能夠比H.263和MPEG-4大約省去50%的碼率。[7]H.264的高效的視頻壓縮能力和優(yōu)異的網(wǎng)絡(luò)適應(yīng)性,為視頻數(shù)據(jù)傳輸?shù)目煽啃蕴峁┝吮U希淇蓮V泛應(yīng)用于數(shù)字攝像、英特網(wǎng)、數(shù)字視頻錄像、DVD及電視廣播等領(lǐng)域的圖像壓縮。
5 結(jié)束語
網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)要達到良好的監(jiān)控效果,僅提高攝像頭的分辨率是不行的,只有通過改善數(shù)字視頻的壓縮技術(shù),降低視頻傳輸?shù)恼`碼率,提高視頻的質(zhì)量,才能推動網(wǎng)絡(luò)視頻走向智能化。[1]H.264標準的推出是視頻編碼標準的一次重要的進步,盡管其算法復(fù)雜,但是能夠大幅度提高編碼效率,使得應(yīng)用范圍更加的廣泛。
參考文獻:
[1]李紅京.基于H.264視頻壓縮技術(shù)的網(wǎng)絡(luò)視頻傳輸系統(tǒng)設(shè)計[J].河北工業(yè)科技,2011,28(4):236-239.
[2]齊淋淋,向健勇,唐巍.H.264視頻壓縮關(guān)鍵技術(shù)及其應(yīng)用前景[J].電子科技,2005(10)13-16.
[3]黨曉軍,尹俊文.基于H264的嵌入式視頻監(jiān)控系統(tǒng)研究[J].計算機技術(shù)與應(yīng)用進展,2008:407-412.
[4]劉繼紅,孫海龍,屈鵬.TD-MBMS中H.264視頻壓縮的實現(xiàn)過程[J].信息通信,2008,4:14-16.
[5]牛建民.H.264視頻壓縮算法應(yīng)用研究[M].同濟大學(xué)工程碩士學(xué)位論文,2007,5.
[6]蔣文倩.基于H.264視頻采集與無線傳輸系統(tǒng)的設(shè)計與實現(xiàn)[M].武漢理工大學(xué)碩士學(xué)位論文,2013,3.
關(guān)鍵詞:H.264,運動估計,整像素預(yù)測
1、引言
H.264是一種高性能的視頻編解碼技術(shù), 它是ITU-T的VCEG(視頻編碼專家組)和ISO/IEC的MPEG(活動圖像編碼專家組)的聯(lián)合視頻組(JVT:joint video team)開發(fā)的一個新的數(shù)字視頻編碼標準,它既是ITU-T的H.264,又是ISO/IEC的MPEG-4的第10 部分。論文寫作,整像素預(yù)測。
作為新一代的視頻編碼標準,它具有很高的數(shù)據(jù)壓縮比率和優(yōu)異的性能,廣泛應(yīng)用于視頻會議、視頻點播、高清視頻、移動播放器等多個領(lǐng)域。
H.264最大的優(yōu)勢是具有很高的數(shù)據(jù)壓縮比率,在同等圖像質(zhì)量的條件下,H.264的壓縮比是MPEG-2的2倍以上,是MPEG-4的1.5~2倍。論文寫作,整像素預(yù)測。和MPEG-2和MPEG-4ASP等壓縮技術(shù)相比,H.264壓縮技術(shù)將大大節(jié)省用戶的下載時間和數(shù)據(jù)流量收費。論文寫作,整像素預(yù)測。尤其值得一提的是,H.264在具有高壓縮比的同時還擁有高質(zhì)量流暢的圖像。
在H.264的編碼芯片結(jié)構(gòu)中,相比幀內(nèi),幀間(Inter Prediction)編碼的效率高,但是運算復(fù)雜度也比較高。幀間編碼的核心運算部分是“ME”(motion estimation)即運動估計,占用最多的邏輯與時鐘資源。幀間預(yù)測的運動估計過程分為整像素運動估計(IME)和分像素運動估計(FME),首先找到整像素的最佳MV,然后再進行分像素的搜索。除了巨大的計算復(fù)雜度,編碼過程也很長,包括預(yù)測,重構(gòu)和熵編碼。
2、運動估計運算
H.264幀間預(yù)測是利用已編碼視頻幀/場和基于塊的運動補償?shù)念A(yù)測模式。由于引入了1/4像素精度、多種分割預(yù)測等先進技術(shù),在獲得更高壓縮率的同時,其算法復(fù)雜度也大大提高,使得幀間預(yù)測編碼耗時占到整個編碼計算時間的50%以上,若采用全軟件實現(xiàn)高清圖像的實時編解碼,明顯力不從心,這就要求使用高性能的硬件編解碼器來完成高清實時編解碼任務(wù),這也是本人研究的主要內(nèi)容。
編碼宏塊(16x16象素)可以分割成不同大小的塊像數(shù)據(jù),例如16x16、16x8、8x16、8x8、8x4、4x8、4x4等七種模式。而“ME”的再對各種宏塊分割方式下的每個塊象素進行預(yù)測運算,然后由后續(xù)模塊統(tǒng)計和比較出最優(yōu)的分割方式。
運動估計包括整像素預(yù)測(IME)和分像素預(yù)測(IME)兩部分,這兩部分是串行的。每一個宏塊,只有在IME 做完之后,找到最佳整像素MV,再進行FME。
在進行IME計算時,首先要計算MVP,對于一個塊象素,預(yù)測運算就是在參考幀中搜索出最佳匹配(即兩者差異最小)的同尺寸塊象素作為當(dāng)前塊的參考區(qū)域。如果在整個參考幀的范圍下進行全面的搜索,固然可以得到最為匹配的區(qū)域,但是復(fù)雜度太大。事實上,相鄰塊在參考幀中的匹配區(qū)域一般位置比較接近。綜合考慮算法復(fù)雜度,編碼效果,資源使用等方面,幀間預(yù)測做了如下處理:首先根據(jù)周邊塊的Mv值預(yù)測出當(dāng)前塊的Mv值,即Mvp,然后在Mvp所指參考幀中象素點周邊搜索最佳塊象素。
MVP的搜索過程如圖2所示,假定E為當(dāng)前的宏塊、宏塊分割或者亞宏塊分割,除了16x8和8x16,MVP為A、B、C的MV的中值;對于16x8分割,上面部分MVP由A預(yù)測,下面部分MVP由B預(yù)測;對于8x16分割,左面部分MVP由B預(yù)測,右面部分MVP由C預(yù)測。論文寫作,整像素預(yù)測。以MVP作為搜索的起點。
圖2 MVP 計算
IME在進行當(dāng)前宏塊MB(x)的MVP計算的時候,前面的宏塊MB(x-1)包含分像素的MV還未得到,這個時候我們無法得到準確的A,所以我們此時以MB(x-1)的16x16分割搜索時所得到的整像素MV來代替A,并把據(jù)此計算得到的MVP作為搜索的起點。
3、IME模塊及功能
IME模塊的架構(gòu)如下圖所示
圖3 IME模塊架構(gòu)圖
IME的主要功能是:
(1)數(shù)據(jù):把原始和參考YUV從inter_config模塊中取出,為PS和FME模塊準備預(yù)測所需數(shù)據(jù);
(2)控制:控制幀間預(yù)測的過程
IME的模塊劃分及各自功能:
Pipe_ctrl:不同分割間的搜索和選擇 將不同分割方式的順序搜索改為并行,用兩條水線來實現(xiàn)加速 Pipe0:進行P16x16,P8x16,P4x8 ;Pipe1:進行P8x8,P16x8,P8x4,4x4由兩條共同完成(為了減少pipe0的等待時間,把pipe1的部分工作放到pipe0中)
MVp_ctrl:每種分割的具體搜索過程
(1)計算MVp值
(2)控制reg_ctrl模塊的數(shù)據(jù)存取
Reg_ctrl:為相連模塊準備數(shù)據(jù)
(1)為整像素準備數(shù)據(jù),傳輸給PS模塊;
(2)為分像素搜索準備數(shù)據(jù),傳輸給FME模塊;
(3)為重構(gòu)準備數(shù)據(jù),傳輸給FME模塊
4、與IME模塊相關(guān)的主要功能模塊
圖3中與IME工作相關(guān)的有兩個主要的部分,一個是Inter_config 模塊,還有一個是PS模塊,它們在系統(tǒng)中起著重要的作用。論文寫作,整像素預(yù)測。
1. Inter_config模塊及功能描述
Inter_config模塊,即幀間數(shù)據(jù)調(diào)度模塊,其數(shù)據(jù)傳送如圖4所示,Inter_config模塊有兩部分功能:一是為IME服務(wù),把IME所需的數(shù)據(jù)從DDR取到Sram;二是為Loop Filter服務(wù),把LoopFilter模塊的deblock運算所需要的一部分數(shù)據(jù)從DDR取到Sram以及將deblock運算后的宏塊數(shù)據(jù)存入DDR。
圖4 Inter_config模塊數(shù)據(jù)傳送
Inter_config模塊與IME有關(guān)的工作包括:
1)取原始YUV數(shù)據(jù),Luma部分直接拉給IME_Reg_o,Chroma部分存入Sram0。
2)為IME準備計算所需的9個宏塊的Luma數(shù)據(jù),并存入Sram0和Sram1。
3)將這9個宏塊的Chroma數(shù)據(jù)準備到Sram1中,用于Chroma資料拼接之用。
4)接收到IME_ChromaStart_i信號有效后,開始FME運算所需Chroma數(shù)據(jù)的相關(guān)準備工作。包括:①從Sram0中取Chroma的原始YUV送給IME;②從Sram0中取Chroma3x3Mb數(shù)據(jù)并進行拼接(將每個block對應(yīng)的2x2像素,向右向下擴展,變成3x3像素)后送給IME。論文寫作,整像素預(yù)測。
5)把最后一行的5個mv(當(dāng)前Mb最后一行的block的4個mv及右側(cè)相鄰的1個mv)存入Sram0,作為下一宏塊行進行Mvp預(yù)測所需數(shù)據(jù)。
2. PS模塊功能描述
PS模塊,即預(yù)測選擇模塊,本模塊主要用于選擇當(dāng)前編碼宏塊的最佳預(yù)測方式,幀內(nèi)預(yù)測還是幀間預(yù)測;若是幀間預(yù)測還需給出宏塊的最佳分割以及分割的最佳MV,除此之外,還需求殘差值,用于后面的重建。其主要功能如下:
1)接收IME模塊的整像素亮度值,以進行整像素搜索,找出最佳的整像素MV;
2)將兩套流水線所得出的cost進行比較,選出最佳partition;
3)接收inter_ctrl模塊中IME模塊的亞像素亮度值,以進行亞像素搜索,找出最佳的亞像素MV以及cost,并與最佳的整像素MV的cost相比較,選擇最佳的MV;
4)將選出的最佳的cost與intra_ctrl中的最佳的cost,比較得出最佳的預(yù)測方式,幀間還是幀內(nèi);
5)若選出的是幀內(nèi),則結(jié)束當(dāng)前宏塊的幀間操作,準備下一個宏塊的幀間操作;若選出的是幀間,則接收IME或FME的亮度和色度值,進行求殘差操作,送給DCT以備后面重建。
5、總結(jié)及展望
本文對幀間編碼中IME運算所需數(shù)據(jù)進行探討和分析,并提出一套架構(gòu)設(shè)計方案,時序和資源使用都比較優(yōu)化。設(shè)計方案在空間上具有較高的并行度,處理能力高,非常適合實現(xiàn)高清視頻編碼。目前市場上對于H.264的研究開發(fā)一般都是基于PC或者DSP解決,很少有基于硬件實現(xiàn)的開發(fā),功能上還不足以實現(xiàn)高清實時信號的編碼和解碼。本設(shè)計能夠?qū)崿F(xiàn)幀間預(yù)測的關(guān)鍵部分,在后續(xù)的研究中如果能使用H.264標準在幀間預(yù)測所帶來的高壓縮率,如果能將其帶來的復(fù)雜度的增加限制在可容忍的范圍內(nèi),支持幀間預(yù)測的高清實時視頻編解碼的芯片實現(xiàn)是非常有意義的,應(yīng)用前景很廣闊。
參考文獻
[1]新一代視頻壓縮編碼標準——H.264/AVC 畢厚杰 人民郵電出版社
[2]Iain E.G.Richardson.H.264 and MPEG-4 Video Compression: VideoCoding for Next Generation Multimedia. U.S: Wiley Press, 2003.
[3]Tung-Chien Chen, Chung-JrLian, and Liang-Gee Chen. Hardware Architecture Design of an H.264/AVC VideoCodec. Asia and South Pacific Conference on. Design Automation, 2006.
[4]Renxiang Li, Bing Zeng, and Ming L. Liou. A new three-stepsearch algorithm for block motion estimation. IEEE Trans.Circuits Syst.Video Technol., vol. 4, No. 4,Aug 1994
《職業(yè)時空》,主管部門:河北省教育廳,主辦單位:河北職業(yè)技術(shù)學(xué)院,國內(nèi)統(tǒng)一刊號:CN13-1349/C,國際標準刊號:ISSN1672-8963,郵發(fā)代號18-347,半月刊,正刊。創(chuàng)刊于1995.ASPT來源刊中國期刊網(wǎng)來源刊,該刊是04年度北大中文核心期刊,《中國知網(wǎng)》、《中國學(xué)術(shù)期刊(光盤版)》全文收錄期刊,中國學(xué)術(shù)期刊綜合評價數(shù)據(jù)庫來源期刊
主要欄目:現(xiàn)代職業(yè)新理念、職場宏觀管理、職業(yè)政策研究、職業(yè)心理研究、職業(yè)教育研究、法制建設(shè)、主題論壇、高管論壇、爭鳴、觀點輯要、國外研究與借鑒、調(diào)查與探索等
1.來稿要求論點明確、數(shù)據(jù)可靠、邏輯嚴密、文字精煉,每篇論文必須包括題目、作者姓名、作者單位、單位所在地及郵政編碼、摘要和關(guān)鍵詞、正文、參考文獻和第一作者及通訊作者簡介(包括姓名、性別、職稱、出生年月、所獲學(xué)位、目前主要從事的工作和研究方向),并請在文稿的首頁地腳處注明論文屬何項目、何基金(編號)資助,沒有的不注明。
2.論文摘要盡量寫成報道性文摘,包括目的、方法、結(jié)果、結(jié)論4方面內(nèi)容(100字左右),應(yīng)具有獨立性與自含性,關(guān)鍵詞選擇貼近文義的規(guī)范性單詞或組合詞(3~5個)。
3.文稿篇幅(含圖表)一般不超過4000字,一個版面2400字內(nèi)。文中量和單位的使用請參照中華人民共和國法定計量單位最新標準。外文字符必須分清大、小寫,正、斜體,黑、白體,上下角標應(yīng)區(qū)別明顯.
4.文中的圖、表應(yīng)有自明性。圖片不超過2幅,圖像要清晰,層次要分明。
5.參考文獻的著錄格式采用順序編碼制,請按文中出現(xiàn)的先后順序編號。所引文獻必須是作者直接閱讀參考過的、最主要的、公開出版的文獻。未公開發(fā)表的、且很有必要引用的,請采用腳注方式標明,參考文獻不少于3條。
來稿特別約定
1來稿勿一稿多投,收到稿件之后,7個工作日內(nèi)共同審稿,電子郵件回復(fù)作者。重點稿件將送同行專家審閱。如果10日內(nèi)沒有收到擬用稿通知(特別需要者可寄送紙質(zhì)錄用通知),則請與我們聯(lián)系確認。
2.來稿文責(zé)自負。所有作者應(yīng)對稿件內(nèi)容和署名無異議,稿件內(nèi)容不得抄襲或重復(fù)發(fā)表。對來稿有權(quán)作技術(shù)性和文字性修改,作者需要安排版面數(shù),出刊日期,是否加急等情況,請在郵件投稿時作特別說明
3.請作者自留備份稿,不退稿。
4.論文一經(jīng)發(fā)表,贈送當(dāng)期樣刊1冊。
關(guān)鍵詞:Ad Hoc網(wǎng)絡(luò);智能手機;語音通信系統(tǒng)
中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2012)01-0081-03
Design of a Smart Phone Voice Communication System Based on Ad Hoc Networks
LIN Qiu-peng
(College of Computer Science and Technology, Shandong Jianzhu University, Jinan 250101, China)
Abstract: Mobile flexibility of ad hoc network lead to a broad prospect of application,currently,smart phones develop rapidly and support wifi,which formed ad hoc networks will convenient and affordable. This paper analyzes the problems and key technology in the ad hoc networks famed by smart phones ,and build a ad hoc network architecture by the voice communication features in the smart phones.And I pro? posed a design of smart mobile voice communication system based on the system architecture and the characteristics of smart phones.
Key words: Ad Hoc Network; Smart Phone; Voice Communication System
Ad hoc網(wǎng)絡(luò)是一種分布式的無線移動網(wǎng)絡(luò),它不依賴固定的基礎(chǔ)通信設(shè)施,沒有中心節(jié)點,具有自組織能力,抗毀性強,網(wǎng)絡(luò)中的各節(jié)點地位平等,且具有轉(zhuǎn)發(fā)報文的功能。一般適用于軍事通信、搶險救災(zāi)、應(yīng)對突發(fā)事件等無法得到有線網(wǎng)絡(luò)支持或者臨時需要通信的環(huán)境。
隨著wlan技術(shù)及手機應(yīng)用的迅速發(fā)展,越來越多的智能手機加入了WI-FI功能,諸如主流的iOS、Android、Windows Mobile、Sym? bian等手機操作系統(tǒng)都支持無線網(wǎng)絡(luò)的接入,為手機終端組建ad hoc網(wǎng)絡(luò)提供了支持。在應(yīng)對自然災(zāi)害等緊急場合中,固定網(wǎng)絡(luò)往往受損,導(dǎo)致人們之間無法通信,此時利用手機組建Ad Hoc網(wǎng)絡(luò)進行通信就變的必要可行。同時,隨著手機的應(yīng)用發(fā)展,人們希望降低手機的各項費用,尤其對于學(xué)生這樣的低消費人群,在小范圍內(nèi)如果可以組建Ad Hoc網(wǎng)絡(luò)通信,便可以節(jié)省通信費用,因此,提出一種基于Ad Hoc網(wǎng)絡(luò)的智能手機語音通信系統(tǒng)方案,以實現(xiàn)智能手機終端間無需借助運營商網(wǎng)絡(luò)支持的自組織語音通信。
1國內(nèi)外發(fā)展現(xiàn)狀
國內(nèi)外對無線Ad Hoc網(wǎng)絡(luò)已經(jīng)有了比較廣泛的研究并取得了大量的成果,但已有研究絕大多數(shù)針對介質(zhì)訪問控制(MAC)[18]、路由系統(tǒng)[17]、拓撲管理、功率控制、服務(wù)質(zhì)量控制[9][12][16]、安全[11]等領(lǐng)域來開展,且通常以無線Ad Hoc網(wǎng)絡(luò)作為一種網(wǎng)絡(luò)基礎(chǔ)設(shè)施支持多樣性應(yīng)用為研究背景,研究的理論成分較重。
從公開發(fā)表的文獻看,利用智能手機內(nèi)置的IEEE802.11構(gòu)建Ad Hoc網(wǎng)絡(luò)并實現(xiàn)節(jié)點之間語音數(shù)據(jù)傳輸?shù)某晒欢唷.B. Vel? loso等人利用仿真實驗研究了移動性和QoS提供等對Ad Hoc網(wǎng)絡(luò)語音通信容量問題進行了研究[1];HuiYao Zahng等人研究了不同路由協(xié)議對語音應(yīng)用系統(tǒng)性能的影響[2];C.H.Saleem等人研究了利用Ad Hoc組建對等網(wǎng)絡(luò)支持緊急情況下指揮控制系統(tǒng)的語音通信問題[4]; Feng GAO等人構(gòu)建了Symbian平臺下基于藍牙無線Ad Hoc網(wǎng)絡(luò)語音通信的中間件系統(tǒng)[3]。清華大學(xué)的陳萍萍在“手機終端的自組織通信協(xié)議的實現(xiàn)”[5]一文中基于Symbian智能手機終端實現(xiàn)了一種基于藍牙和WiFi的Ad Hoc網(wǎng)絡(luò)語音通信系統(tǒng),但其測試網(wǎng)絡(luò)規(guī)模過小。同時董梅也在Symbian平臺下實現(xiàn)了流媒體即時通信系統(tǒng)[7],但同樣存在質(zhì)量保證跟網(wǎng)絡(luò)規(guī)模問題,鑒于小規(guī)模網(wǎng)絡(luò)和大規(guī)模網(wǎng)絡(luò)的問題迥異程度較高,其實現(xiàn)方法在較大規(guī)模網(wǎng)絡(luò)中的可行性和性能需要進一步研究;李振宇等在“一種移動Ad Hoc網(wǎng)絡(luò)中實時語音通信方法的研究”[6]一文中從網(wǎng)絡(luò)層面和應(yīng)用層面兩個方面討論了機遇As Hoc網(wǎng)絡(luò)的語音通信方法,包括QoS控制機制等,但相關(guān)討論建立在仿真實驗基礎(chǔ)上,并沒有構(gòu)建實驗驗證網(wǎng)絡(luò)。
可以看出,盡管對Ad Hoc網(wǎng)絡(luò)和VoIP[10][13]技術(shù)的研究已經(jīng)取得了大量成果,但公開發(fā)表文獻未見關(guān)于“基于無線Ad Hoc網(wǎng)絡(luò)的智能手機終端語音通信系統(tǒng)”可以實用的成果發(fā)表。
2關(guān)鍵技術(shù)
由于Ad Hoc網(wǎng)絡(luò)獨有的無中心,自組織,多跳路由,動態(tài)拓撲,特殊的無線信道特征,安全性差等特點,所以需要考慮路由協(xié)議、服務(wù)質(zhì)量保證、語音編碼技術(shù)、安全性等多個方面的問題,其中主要對路由協(xié)議與服務(wù)質(zhì)量、語音編碼技術(shù)進行重點研究。2.1 VOIP技術(shù)
VOIP技術(shù)是將語音電話建立在IP技術(shù)上的語音傳輸技術(shù),其基本原理是將普通電話的模擬信號轉(zhuǎn)換為數(shù)字語音信號,通過語音壓縮算法將語音數(shù)據(jù)進行壓縮編碼處理,然后把這些語音數(shù)據(jù)按相關(guān)協(xié)議進行打包封裝處理,通過IP網(wǎng)絡(luò)把數(shù)據(jù)包傳輸?shù)侥康牡亟邮斩耍侔堰@些語音數(shù)據(jù)包重新裝配,經(jīng)過解碼解壓縮處理后,恢復(fù)成原來的模擬語音信號,從而達到利用IP網(wǎng)絡(luò)進行語音通信的目的。我們可以利用此技術(shù)在ad hoc網(wǎng)絡(luò)上實現(xiàn)手機的語音通信,通信模型如圖1。
2.2語音編碼方案
通過網(wǎng)絡(luò)傳輸實時語音與傳輸普通數(shù)據(jù)不同,應(yīng)用網(wǎng)絡(luò)的組成必須符合這種實時傳輸?shù)男枰UZ音的分組傳送通常要求網(wǎng)絡(luò)提供充足的帶寬。但是Ad Hoc網(wǎng)絡(luò)帶寬資源有限,在這種情況下,我們可以通過編碼壓縮技術(shù)來減少對帶寬的使用
目前,語音編碼方案較多,主要包括G.711(64kbps)、G.723(5.3kbps~6.3kbps)、G.728(16kbps/8kbps)、G.729(8kbps)、MP3(128-112kb? ps)等,不同編碼方案的編碼碼率不同。目前智能手機中應(yīng)用的802.11b/g協(xié)議的標準數(shù)據(jù)速率分別是11/54Mbps,而實際應(yīng)用中可能遠達不到此標準。手機中GSM語音通話是采用G.711編碼,由于無線Ad Hoc網(wǎng)絡(luò)的鏈路容量較低,加之由于移動性導(dǎo)致的傳輸路徑的變化,采用固定的編碼方案和編碼速率可能無法較好的在語音質(zhì)量和應(yīng)用系統(tǒng)性能之間進行折中,所以可以采用G.729與G.711相結(jié)合的動態(tài)語音編碼方案。在鏈路狀況好的情況下優(yōu)先考慮語音質(zhì)量,采用G.711編碼,當(dāng)網(wǎng)絡(luò)中發(fā)生擁堵斷路等影響傳輸速率的時候,選用低速率的G.729編碼方案。
2.3 QoS路由協(xié)議
在Ad Hoc網(wǎng)絡(luò)中,隨著節(jié)點移動,網(wǎng)絡(luò)拓撲結(jié)構(gòu)在不斷變化。如何快速準確地選擇到達目的節(jié)點的路由是一個重要和核心的問題,路由協(xié)議分類如圖2。
語音通信系統(tǒng)對傳輸性能要求較高,延遲抖動要小、丟包率要低,在Ad Hoc語音通信系統(tǒng)中,Ad Hoc網(wǎng)絡(luò)中的節(jié)點在不斷移動,這樣就會引起網(wǎng)絡(luò)拓撲結(jié)構(gòu)的動態(tài)變化,從而出現(xiàn)路由中斷,節(jié)點或鏈路擁塞,傳輸鏈路故障等問題,同時手機作為網(wǎng)絡(luò)節(jié)點能量有限,所以基于QoS/基于能量考慮的路由協(xié)議更適合于該系統(tǒng)。
QoS路由協(xié)議是一種基于數(shù)據(jù)流QoS請求和網(wǎng)絡(luò)可用資源進行路由的機制。一般QoS路由協(xié)議有兩個目標:一個是找到滿足QOS要求的路徑;另一個是充分利用全局網(wǎng)絡(luò)資對現(xiàn)有路由協(xié)議的分析。結(jié)合Ad Hoc網(wǎng)絡(luò)的特殊性,通過兩個節(jié)點之間可能存在的多條路徑傳輸語音數(shù)據(jù)能夠更好地滿足需求。針對目前Ad Hoc路由協(xié)議的研究現(xiàn)狀,按需多路徑距離矢量(AOMDV)路由協(xié)議更適用于本系統(tǒng),如何找多多條路徑、如何維護多條路徑、如何實現(xiàn)多條路徑的負載平衡等問題是關(guān)鍵。
3 Ad Hoc網(wǎng)絡(luò)體系結(jié)構(gòu)
根據(jù)Ad Hoc網(wǎng)絡(luò)中手機通信的特性,構(gòu)建語音通信系統(tǒng)的Ad Hoc網(wǎng)絡(luò)體系結(jié)構(gòu)。將整個網(wǎng)絡(luò)分成五層。針對各層的功能,將所用協(xié)議進行分層劃分,詳細結(jié)構(gòu)如圖3。
應(yīng)用層根據(jù)voip協(xié)議原理采用自適應(yīng)編碼方案,根據(jù)網(wǎng)絡(luò)負載情況,當(dāng)網(wǎng)絡(luò)負載輕時選用語音通信質(zhì)量好的G.711編碼方案,當(dāng)網(wǎng)絡(luò)出現(xiàn)擁塞等情況導(dǎo)致網(wǎng)絡(luò)傳輸下降時選用G.729編碼方案。
傳輸層根據(jù)voip原理將包進行封裝,為了更好的實現(xiàn)語音通信的實時傳輸,需要加入實時控制協(xié)議RTP頭,將數(shù)據(jù)進行RTP封裝后加入UDP頭等信息進行UDP封裝,然后交由ad hoc網(wǎng)絡(luò)進行傳輸。網(wǎng)絡(luò)層根據(jù)ad hoc網(wǎng)絡(luò)特性采用AOMDV協(xié)議進行路由選 路。鏈路層MAC協(xié)議采用DCF可以避免隱藏終端與暴露終端的問題。目前主流手機采用的無線協(xié)議多是802.11b/g兩種協(xié)議。
4系統(tǒng)概要設(shè)計
因為Ad Hoc網(wǎng)絡(luò)中的每一個節(jié)點都是獨立平等的,所以系統(tǒng)每一個模塊都應(yīng)包含客戶端和服務(wù)器端兩部分的功能。根據(jù)語音通信過程將系統(tǒng)分為以下四個模塊,具體如下圖4。
4.1語音處理模塊
手機作為客戶端,利用麥克風(fēng)對語音信號進行采集,并對采集的信號進行數(shù)字化,用合適的編碼方式對數(shù)據(jù)進行壓縮;作為服務(wù)器端,對接收到的數(shù)據(jù)進行解壓,將解壓后的語音信號在手機上通過話筒播放。
4.2實時控制模塊
源節(jié)點將語音模塊處理的數(shù)據(jù)進行封裝處理(RTP封裝、IP封裝),將數(shù)據(jù)通過合適的端口發(fā)送到網(wǎng)絡(luò)中;中間節(jié)點對接收到的數(shù)據(jù)包進行轉(zhuǎn)發(fā);目的節(jié)點將接收到的數(shù)據(jù)包按照正確的順序排列,去掉報頭等交給語音模塊進行處理。
4.3路由模塊
客戶端(源節(jié)點)發(fā)起路由的查詢與建立,并對路由信息進行維護;服務(wù)器端(中間節(jié)點、目的節(jié)點)對源節(jié)點進行響應(yīng),建立源節(jié)點到目的節(jié)點之間的數(shù)據(jù)通信線路,實現(xiàn)語音數(shù)據(jù)的雙向通信,根據(jù)網(wǎng)絡(luò)變化狀況對路由進行控制維護。
4.4無線傳輸模塊
對系統(tǒng)的wifi進行配置管理,獲得接入Ad Hoc覆蓋范圍內(nèi)手機終端的信息(SSID、MAC、IP等),網(wǎng)絡(luò)周期性的更新與維護,根據(jù)路由模塊選擇的路徑發(fā)送數(shù)據(jù)包。
5結(jié)束語
本文根據(jù)目前智能手機的發(fā)展情況,結(jié)合ad hoc網(wǎng)絡(luò)的特性,提出一個基于ad hoc網(wǎng)絡(luò)的智能手機語音通信系統(tǒng)的設(shè)計方案,該方案只是一個概要設(shè)計,對于路由協(xié)議、編碼方案、信令協(xié)議等問題可以進一步研究改進。
參考文獻:
[1] Pedro Braconnot Velloso,Marcel0 G. Rubinstein,Otto Carlos M. B. Duarte. Analyzing voice transmission capacity on ad hoc networks. Pro? ceedings of ICCT,2003,1254-1257.
[2] HuiYao Zhang, Marek Bialkowski, Garry Einicke, John Homer. An Extended AODV Protocol for VoIP Application in Mobile Ad Hoc Net? work. 2007 International Symposium on Communications and Information Technologies ,2007,836- 841
[3] Gao Feng, Weiwei Wang, Jun Cai.Reliable Busy Tone Multiple Access Protocol for Safety Applications in Vehicular Ad Hoc Networks. IEEE Communications Society subject matter experts for publication in the IEEE ICC 2010 proceedings.
[4] Choudhry Humayun Saleem, Khadim Hussain . Using Peer to Peer Voice Over Wireless Ad Hoc Networks as an Emergency Command and Control System. Technical report, IDE0903, February 2009.
[5]陳萍萍.手機終端的自組織通信協(xié)議的實現(xiàn),[D].清華大學(xué)綜合論文,2008,6.
[6]李振宇,李思敏.一種移動Ad Hoc網(wǎng)絡(luò)中實時語音通信方案的研究[J].電子測量與儀器學(xué)報,2009,23(5):40-45.
[7]董梅,Symbian平臺下基于移動Ad Hoc網(wǎng)絡(luò)的流媒體實時共享系統(tǒng)[D].北京郵電大學(xué)碩士論文,2009,2.
[8]張楠.基于Ad Hoc網(wǎng)絡(luò)技術(shù)的無線通信網(wǎng)絡(luò)平臺研究[J].科學(xué)技術(shù)與工程,2007,7(20):5043-5048.
[9]馮欣,尹方超,賀麗柏,韓永林.Ad Hoc網(wǎng)中經(jīng)典路由協(xié)議QoS性能研究[J].長春理工大學(xué)學(xué)報,2010,33(4):131-133.
[10]顧瑋奇,Ad Hoc網(wǎng)絡(luò)中VOIP應(yīng)用的研究][D].南京郵電大學(xué)碩士論文,2009,6.
[11]余旺科,馬文平,嚴亞俊,陳和風(fēng).AdHoc網(wǎng)絡(luò)單向安全路由協(xié)議[Jl.吉林大學(xué)學(xué)報(工學(xué)版),2011,41(1):193-197.
[12]殷脂,葉春明,溫蜜.移動Ad Hoc網(wǎng)絡(luò)QoS路由的閉環(huán)DNA計算模型[J].上海理工大學(xué)學(xué)報,2010,32(6):593-601.
[13]孫毅,方更法,石晶林.移動自組織網(wǎng)絡(luò)上VoIP的實現(xiàn)方法研究[J].計算機工程,2005,31(18):99-101.
[14]李曉濤.基于Ad-hoc網(wǎng)絡(luò)的短距離語音通話系統(tǒng)的設(shè)計與實現(xiàn),中國科學(xué)論文在線,[DB/Ol].ttp://paper.省略
[15]蔣維華.多跳Ad Hoc網(wǎng)絡(luò)中實現(xiàn)語音通信的技術(shù)研究[D].北京科技大學(xué)碩士論文,2009,5.
[16]錢琛.Ad Hoc網(wǎng)絡(luò)語音通信Qos研究及模擬分析[D].南京郵電學(xué)碩士論文,2008,4.
主要欄目
綜述與評論、綜合自動化系統(tǒng)、過程控制及應(yīng)用、智能控制技術(shù)及應(yīng)用、優(yōu)化控制技術(shù)及應(yīng)用、企業(yè)資源計劃系統(tǒng)、制造執(zhí)行系統(tǒng)、計算機控制系統(tǒng)及軟件
投稿須知
1、來稿要求論點明確、數(shù)據(jù)可靠、邏輯嚴密、文字精煉,每篇論文必須包括題目、作者姓名、作者單位、單位所在地及郵政編碼、摘要和關(guān)鍵詞、正文、參考文獻和第一作者及通訊作者(一般為導(dǎo)師)簡介(包括姓名、性別、職稱、出生年月、所獲學(xué)位、目前主要從事的工作和研究方向),在文稿的首頁地腳處注明論文屬何項目、何基金(編號)資助,沒有的不注明。
2、論文摘要盡量寫成報道性文摘,包括目的、方法、結(jié)果、結(jié)論4方面內(nèi)容(100字左右),應(yīng)具有獨立性與自含性,關(guān)鍵詞選擇貼近文義的規(guī)范性單詞或組合詞(3~5個)。
3、文稿篇幅(含圖表)一般不超過5000字,一個版面2500字內(nèi)。文中量和單位的使用請參照中華人民共和國法定計量單位最新標準。外文字符必須分清大、小寫,正、斜體,黑、白體,上下角標應(yīng)區(qū)別明顯。
4、文中的圖、表應(yīng)有自明性。圖片不超過2幅,圖像要清晰,層次要分明。
5、參考文獻的著錄格式采用順序編碼制,請按文中出現(xiàn)的先后順序編號。所引文獻必須是作者直接閱讀參考過的、最主要的、公開出版文獻。未公開發(fā)表的、且很有必要引用的,請采用腳注方式標明,參考文獻不少于3條。
6、來稿勿一稿多投。收到稿件之后,5個工作日內(nèi)審稿,電子郵件回復(fù)作者。重點稿件將送同行專家審閱。如果10日內(nèi)沒有收到擬用稿通知(特別需要者可寄送紙質(zhì)錄用通知),則請與本部聯(lián)系確認。
7、來稿文責(zé)自負。所有作者應(yīng)對稿件內(nèi)容和署名無異議,稿件內(nèi)容不得抄襲或重復(fù)發(fā)表。對來稿有權(quán)作技術(shù)性和文字性修改,雜志一個版面2500字,二個版面5000字左右。作者需要安排版面數(shù),出刊日期,是否加急等情況,請在郵件投稿時作特別說明。
8、請作者自留備份稿,本部不退稿。
9、論文一經(jīng)發(fā)表,贈送當(dāng)期樣刊1-2冊,需快遞的聯(lián)系本部。
關(guān)鍵詞: 藏文編碼; 搜索引擎; 倒排索引; 網(wǎng)頁爬蟲
中圖分類號:TP393.4 文獻標志碼:A 文章編號:1006-8228(2017)06-22-04
Research on key technologies of Tibetan web search
Zhang Yunyang
(Library of Tibet University, Lhasa, Tibet 850000, China)
Abstract: Through analyzing the characteristics of the Tibetan characters' coding in Tibetan website, and introducing the characteristics of the search engine, this paper studies the key technologies of Tibetan web search. The technologies of URL processing, the qualified crawler, inverted index, words' retrieval, sorting for results and the others for Tibetan web are discussed in detail. This paper proposes a relatively complete method for Tibetan web search, which has certain practical value for Tibetan web's information search and use.
Key words: Tibetan coding; search engine; inverted index; Web crawler
0 引言
藏族是我民族大家庭的重要成員,藏語言文字是藏族同胞在日常工作/生活中廣泛使用的文字。幾千年以來,藏文字作為信息文化的傳播載體,對于傳承藏民族傳統(tǒng)文化、傳播現(xiàn)代科技知識和促進地區(qū)經(jīng)濟的發(fā)展都發(fā)揮著重要的作用。在計算機世界中,藏文字區(qū)別于漢字和英文的最主要特征是字符編碼,目前國內(nèi)網(wǎng)站多數(shù)使用GBK編碼存儲信息,使用基于GBK的字體顯示文字。而目前的藏文網(wǎng)站,為了方便兼容和統(tǒng)一檢索,主要使用基于國際標準編碼的Microsoft Himalaya字體和珠穆朗瑪系列字體。
1 藏文網(wǎng)站字符編碼技術(shù)
藏文在計算機和國際互聯(lián)網(wǎng)的使用,在輸入法和字體方面采用基于Unicode字符集的方法較為合理,方便信息共享,方便藏文廣泛交流。互聯(lián)網(wǎng)世界的藏文網(wǎng)站和網(wǎng)頁,現(xiàn)在都傾向于使用基于Unicode的藏文字體。
通過對國內(nèi)比較著名的藏文網(wǎng)站源碼分析發(fā)現(xiàn),主要的藏文網(wǎng)站均采用utf-8編碼,即藏文字符采用國際標準編碼Unicode字符集,而藏文字體采用基于Unicode的珠穆朗瑪系列字體和 Microsoft Himalaya字體。國內(nèi)部分藏文網(wǎng)站和網(wǎng)站的字符編碼及字體分析如下。
2 網(wǎng)頁URL處理
2.1 URL簡述
URI:Universal Resource Identifier,通用資源標志符。URI通常由三個部分組成:訪問資源的命名機制,存放資源的主機名,資源自身的名稱[1]。
URL是URI的一個子集,它是Uniform Resource Locator的縮寫,譯為“統(tǒng)一資源定位符”,即通常說的網(wǎng)址。URL是Internet上描述信息資源的字符串,主要用在各種WWW客戶程序和服務(wù)器程序上。采用URL可以用統(tǒng)一的格式來描述各種信息資源,包括文件、服務(wù)器地址和目錄等[2]。URL的格式由三部分組成:第一部分是協(xié)議(或稱為服務(wù)方式);第二部分是存有該資源的主機IP地址(有時也包括端口號);第三部分是主機資源的具體地址,如目錄和文件名等。
2.2 URL處理流程
網(wǎng)頁搜索并不是對實時的網(wǎng)站信息進行檢索,在用戶提交檢索提問詞后,實際上是轉(zhuǎn)入搜索引擎的索引數(shù)據(jù)庫檢索,這些索引數(shù)據(jù)庫通常是由網(wǎng)絡(luò)搜索引擎的爬蟲進行采集、更新從而建立起來的。爬蟲最主要的處理對象是URL,它根據(jù)URL地址取得所需要的文件內(nèi)容,然后對它進一步處理,網(wǎng)頁爬蟲URL處理流程如圖2所示。
3 藏文網(wǎng)頁爬蟲
3.1 爬蟲“黑洞”
爬蟲在搜集藏文網(wǎng)頁的過程中,必須考慮可能出現(xiàn)的“黑洞”情況。爬蟲黑洞是指,在抓取一張網(wǎng)頁的鏈接時,鏈接本身是一個無限循環(huán),導(dǎo)致爬蟲抓取時跟著循環(huán),浪費資源。有時一些URL看起來不同,但實際指向同一張網(wǎng)頁,也會使爬蟲陷入重復(fù)抓取的境地。
為了避免爬蟲誤入黑洞,一般采取兩種策略。一是爬蟲回避動態(tài)網(wǎng)頁,因為動態(tài)網(wǎng)頁常常會把爬蟲帶入黑洞。識別動態(tài)網(wǎng)頁時,只需要判斷URL中是否出現(xiàn)問題,含問號的就是動態(tài)網(wǎng)頁。二是使用Visited表記錄已經(jīng)訪問過的URL,凡是遇到新的URL存在于Visited表,就放棄對該URL的繼續(xù)處理。例如:當(dāng)遇到abcdce這樣的環(huán)路鏈接,爬蟲就會掉進去,反復(fù)抓取c、d對應(yīng)的頁面。使用Visited表,就能避免這個問題。
3.2 限定爬蟲
藏文網(wǎng)頁搜索使用的爬蟲,是一種限定爬蟲,在爬蟲的功能定位上只抓取藏文的網(wǎng)頁,本質(zhì)是對網(wǎng)頁文本所用語言的限定。藏文網(wǎng)頁的限定爬蟲,表面上是限定語言,具體操作層面需要通過限定IP、限定URL、限定charset來實現(xiàn)。
限定爬蟲就是對爬蟲所爬取的主機的范圍做一些限制,通常,限定爬蟲包含以下幾個方面[3]:①限定域名的爬蟲。比如,只抓取結(jié)尾的域名;②限定爬取層數(shù)的爬蟲。比如,限定只抓取2層的數(shù)據(jù);③限定IP的抓取。比如,只抓取自治區(qū)內(nèi)的IP;④限定語言的抓取。比如,只抓取中文漢字頁面。
抓取藏文網(wǎng)頁一方面要設(shè)計限定爬蟲,另一方面建立動態(tài)更新的藏文網(wǎng)站域名庫、藏文網(wǎng)站主機IP庫,配合限定爬蟲工作。目前已有部分藏文網(wǎng)站在頁面中加入了標記,如中國藏學(xué)網(wǎng)采用的是,IT網(wǎng)采用的是,瓊邁藏族文學(xué)網(wǎng)采用的是。可以根據(jù)網(wǎng)頁代碼中的標記來識別判斷藏文網(wǎng)站。藏文網(wǎng)站域名庫和藏文網(wǎng)站主機IP庫,需要人工操作,人為添加一些地址,這方面參照現(xiàn)在互聯(lián)網(wǎng)廣泛使用的“純真IP數(shù)據(jù)庫”實現(xiàn)。
3.3 藏文網(wǎng)頁倒排索引
藏文網(wǎng)頁倒排索引的建立流程如下。
第一步:抽取網(wǎng)頁正文。網(wǎng)頁正文是相對網(wǎng)頁噪聲而言。當(dāng)今的互聯(lián)網(wǎng)網(wǎng)頁上,頁面的很多篇幅用在廣告、搜索推薦和其他鏈接上。網(wǎng)頁搜索工具關(guān)注的是網(wǎng)頁本身要表達的信息,所以在通過爬蟲獲取到頁面源碼之后,要去除那些與本文無關(guān)的噪聲,抽取到網(wǎng)頁正文。
第二步:分字。藏文文字區(qū)別于漢文,漢文是一個字使用一個編碼,而藏文是對組成字的基字編碼,一個完整的藏文字可能存在多個編碼,這些編碼按組成藏文字的方法順序排列。藏文的分字通過藏文字分隔符 ‘ ’ 來實現(xiàn),如這段藏文字,中間有四個分隔符,句末有一個斷句符。在分字過程中,需要去掉一些無實際意義的字和符號,只留下有明確表意的字進行網(wǎng)頁的檢索。
第三步:對全文以字建索引。以字建索引,雖然檢索過程的匹配計算量會更大,但考慮到目前藏文網(wǎng)頁總體數(shù)量不大,應(yīng)該是一種可行的提高查全率的辦法。根據(jù)上一步得到的字,記錄每個字在文中出現(xiàn)的位置,計算每個字出現(xiàn)的次數(shù),建立鏈表。位置用于檢索時的準確定位,次數(shù)用于計算字對文檔的重要性,也用于相關(guān)性排序計算。
第四步:對標題建索引。大部分的Web文檔有文檔標題TITLE,標題反映了文檔的主要內(nèi)容,是搜索和導(dǎo)航的重要依據(jù)。標題索引以詞、短語或句子為索引單位,具體根據(jù)詞表匹配情況確定,如果標題匹配詞表中的規(guī)范詞則使用規(guī)范詞,如果沒有則直接以標題建索引。藏文規(guī)范詞表是動態(tài)更新的。檢索時以匹配標題索引為優(yōu)先策略,先查詢標題索引庫,再查詢?nèi)乃饕龓臁?/p>
第五步:索引旄新。網(wǎng)站的頁面信息是動態(tài)更新的,由網(wǎng)絡(luò)爬蟲抓取得到的藏文網(wǎng)頁倒排索引庫也需要更新。搜索引擎的倒排索引更新有多種方式,包括修改更新、覆蓋更新和添加更新。鑒于目前上線的藏文網(wǎng)站數(shù)量少,網(wǎng)絡(luò)爬蟲工作周期短,藏文網(wǎng)頁的倒排索引庫更新可以采取添加更新加覆蓋更新的策略。每次爬蟲工作完成后,建立新的索引庫,將查詢引擎鏈接指向新的索引庫,同時保留近兩期的索引庫,將更早的索引庫刪除。每次添加新的索引庫后,先將之前近兩期的索引庫保留一段時間備用。
4 檢索
藏文網(wǎng)頁搜索工具為用戶提供檢索藏文網(wǎng)頁信息,先根據(jù)用戶提交的檢索提問標識,去匹配索引庫中的網(wǎng)頁信息標引標識[4],然后將匹配上的結(jié)果按相關(guān)系數(shù)降序排列,匹配出的每一項條目直接指向網(wǎng)頁源地址,同時在結(jié)果頁顯示每條結(jié)果的網(wǎng)頁快照,以高亮顯示匹配字符。
4.1 檢索詞審閱
我國于2004年和2008年先后通過的《藏文編碼字符集擴充集A》、《藏文編碼字符集擴充集B》兩套國家標準,收錄藏文字符7205個,包括現(xiàn)代藏文、古藏文和梵音轉(zhuǎn)寫的藏文字符,藏文覆蓋率達到99.99%[5]。在藏文網(wǎng)頁搜索過程中,有必要對用戶輸入的藏文字進行拼寫檢查,確認輸入的每個字是正確的藏文字。將這兩套國家標準收錄的藏文字逐一列出,查出對應(yīng)的國際編碼,建立藏文國際編碼字表,在用戶輸入檢索詞時使用此表來進行文字審閱。
4.2 文字匹配
藏文網(wǎng)頁搜索,實質(zhì)是將用戶輸入的檢索提問標識與索引庫中的網(wǎng)頁標引標識進行比對,找出匹配的條目。現(xiàn)有的字符編碼體系,對漢字是以整字編碼,如“漢”的GBK編碼是“BABA”,“漢”的unicode編碼是“6C49”;藏文字是對構(gòu)成字的每個構(gòu)件進行編碼,因此一個藏文字的編碼實際是由一個或多個構(gòu)件的性,藏文字符匹配相對漢文和英文需要更大的計算量,比對一個字實際需要比對多個編碼。
文字匹配采取精確匹配和模糊匹配兩種策略。優(yōu)先采用精確匹配,將理論上最相關(guān)的結(jié)果反饋給檢索用戶。如果精確匹配命中條目很少或者沒有命中條目,采取模糊匹配策略,將近似相關(guān)的結(jié)果反饋給檢索用戶。精確匹配是找出完全包含檢索詞的結(jié)果集,模糊匹配是找出語義上近似的相關(guān)結(jié)果集。應(yīng)用檢索理論中的縮檢與擴檢,當(dāng)命中結(jié)果很多時,篩選最相關(guān)結(jié)果集;當(dāng)命中結(jié)果很少或完全沒有時,逐步減小相關(guān)系數(shù)閾值,或多或少地為用戶提供一些近似相關(guān)結(jié)果集,盡量滿足用戶的檢索需求。
4.3 結(jié)果排序
檢索結(jié)果排序是網(wǎng)頁搜索的重要一環(huán),一般的全文檢索系統(tǒng),是按更新時間和點擊率對結(jié)果集排序,如利用文獻管理系統(tǒng)查閱圖書時,查詢結(jié)果根據(jù)圖書出版時間降序排列,或者根據(jù)外借次數(shù)降序排列,突出顯示熱門圖書。但是,用戶的網(wǎng)頁搜索需求不完全是將時效性排在第一位,網(wǎng)頁爬蟲在抓取網(wǎng)頁更新索引時對每個網(wǎng)站的更新周期不一樣,等級高的網(wǎng)站被爬取的頻次高,等級低的小型網(wǎng)站被爬取的頻次低。因此,網(wǎng)頁搜索結(jié)果不能按網(wǎng)頁時間排序,用戶普遍更關(guān)注的是相關(guān)度[6]。
Google等大型搜索引擎使用復(fù)雜的PageRank算法進行鏈接分析,遞歸地計算網(wǎng)絡(luò)上的全部站點排名[7]。藏文網(wǎng)頁搜索的規(guī)模較小,可以采取簡單的策略。以檢索詞的匹配程度作為主列排序,以信息時間作為次列排序,按相關(guān)度從大到小排序,相關(guān)度相同的按更新日期從晚到早排序。
5 結(jié)論
互聯(lián)網(wǎng)世界的藏文字符已經(jīng)趨向于使用基于Unicode的字符集和基于utf-8編碼的字體,這有利于人們更多地使用藏文進行交流。目前,Google搜索已經(jīng)開發(fā)了針對藏文網(wǎng)頁的搜索功能,國內(nèi)多家單位也正在研發(fā)本地化的藏文網(wǎng)頁搜索引擎。總體來講,藏文網(wǎng)頁搜索還處在探索階段,究其原因,主要有三個方面:一是多年來藏文字符編碼不統(tǒng)一,一些藏文軟件還沿用著基于國家標準的藏文字體,不兼容當(dāng)前國際標準編碼;二是藏文網(wǎng)頁/網(wǎng)站數(shù)量較少,用藏文記述的文獻信息體量巨大,但目前“搬”上網(wǎng)的還很少;三是藏文與漢文的混排、混檢技術(shù)還處于發(fā)展中,最直接的解決辦法是平臺上的藏文和漢文都使用基于Unicode的字符編碼,但會額外增加大量的漢文字符存儲開銷和網(wǎng)絡(luò)流量開銷,這也是一些大型站點保持使用GBK的原因。目前針對藏文信息處理的研究有很多,我們期待將來藏文在互聯(lián)網(wǎng)世界更廣泛更靈活的應(yīng)用。
參考文獻(References):
[1] 謝玉開.基于JAX-RS的面向資源架構(gòu)應(yīng)用研究[D].浙江理
工大學(xué)碩士學(xué)位論文,2011.
[2] 范劍波.網(wǎng)絡(luò)數(shù)據(jù)庫技術(shù)及應(yīng)用[M].西安電子科技大學(xué)出版
社,2004.
[3] 王娟,吳金鵬.網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J].軟件導(dǎo)刊,2012.4:
136-137
[4] 王灃.運用信息技術(shù)保護莽人語言文化的研究[J]. 科技情報
開發(fā)與經(jīng)濟,2014.11:144-145
[5] 普頓.移動電話上實現(xiàn)藏文信息處理的方法研究[D].大
學(xué)碩士學(xué)位論文,2009.
[6] 呂月娥,李信利.基于信息類別的網(wǎng)頁過濾算法[J].福建電腦,
2007.2:99,122