視頻會議及4G終端開發(fā)需要的幾個主要內(nèi)容如下：

（1）音視頻捕捉與編碼

通過終端的音視頻捕捉設(shè)備，把音視頻模擬數(shù)據(jù)轉(zhuǎn)換成數(shù)字信號，不管是PC還是4G手機通過捕捉設(shè)備捕捉的聲音和圖像的數(shù)字信號，其冗余性都非常大，為了減少網(wǎng)絡(luò)傳輸?shù)膸挘粢曨l都需要經(jīng)過壓縮編碼，去除其冗余的數(shù)據(jù)，然后在網(wǎng)絡(luò)上傳輸經(jīng)過壓縮的數(shù)據(jù)，最后在播放或顯示之前進(jìn)行解碼，把原始的數(shù)據(jù)進(jìn)行還原。

（2）MCU服務(wù)器架構(gòu)
        MCU服務(wù)器采用類似于軟交換的設(shè)計模式，MCU相當(dāng)于一個用軟件實現(xiàn)的交換機，通過該設(shè)計模式，服務(wù)器能支持大量實時并發(fā)的音視頻數(shù)據(jù)、控制信令等數(shù)據(jù)。

（3）實時數(shù)據(jù)傳輸技術(shù)

在無QOS保障的4G網(wǎng)絡(luò)中，通過對數(shù)據(jù)進(jìn)行校驗與丟包恢復(fù)，能保證在30%丟包情況下音頻和圖像連續(xù)，實現(xiàn)了數(shù)據(jù)實時性與可靠性之間最佳的平衡點，滿足無線和3G網(wǎng)絡(luò)的實時交互式視頻會議傳輸?shù)囊蟆?/span>

（4）數(shù)據(jù)融合和處理技術(shù)

  視頻會議系統(tǒng)主要包括MCU（多點控制單元）服務(wù)器和終端。終端包括：一般的PC終端（通過IP網(wǎng)絡(luò)連接互聯(lián)網(wǎng)）、硬件視頻會議終端（H.323或SIP協(xié)議的終端）、4G手機與平板電腦終端（通過4G網(wǎng)連接）等設(shè)備。由于不同的終端采用不同的網(wǎng)絡(luò)接入方式，因此為了使各種終端能互聯(lián)互通，接入系統(tǒng)的終端都需遵循統(tǒng)一的會議通信協(xié)議（H.323協(xié)議或SIP協(xié)議等）。系統(tǒng)首先通過多媒體碼流提取連接終端的協(xié)議信息，然后對所屬的協(xié)議進(jìn)行登記和判斷，接著通過協(xié)議棧模塊把該協(xié)議相關(guān)信息發(fā)送到協(xié)議編解碼器進(jìn)行解碼和編碼，從而進(jìn)行相應(yīng)的數(shù)據(jù)交換，最后通過多媒體碼流輸入輸出模塊發(fā)送多媒體碼流給連接的終端，從而達(dá)到不同的終端、不同的協(xié)議、不同的網(wǎng)絡(luò)的數(shù)據(jù)高度融合和無縫連接。

（5）“多流合一”技術(shù)

“多流合一“技術(shù)：系統(tǒng)通過多信道的異步時分多路復(fù)用技術(shù)，在同一通道內(nèi)傳輸雙向的多個以數(shù)據(jù)幀為單位的數(shù)據(jù)流，不僅能實時傳輸雙向的音視頻、屏幕共享、電子白板、文檔共享、影片共享等數(shù)據(jù)流，還能節(jié)省多通道傳輸控制信令所帶來的額外帶寬。

（6）音視頻同步技術(shù)

利用RTP協(xié)議，對音視頻數(shù)據(jù)進(jìn)行時間戳處理，音視頻播放的時候，對比相應(yīng)的時間戳，從而解決網(wǎng)絡(luò)的音視頻數(shù)據(jù)同步播放。

（7）跨平臺音視頻處理技術(shù)

PC和4G手機及平板電腦由于硬件和操作系統(tǒng)的都有所不同，須建立一個統(tǒng)一的音視頻編碼以及顯示播放等相關(guān)的接口，才能使不同的平臺的音視頻能互聯(lián)互通。我們?yōu)檫@個統(tǒng)一的接口建立相應(yīng)的處理單元，處理單元里面包括不同的服務(wù)接口，通過該接口能調(diào)用不同的平臺的進(jìn)行相關(guān)操作，從而使PC和4G手機以及平板電腦的音視頻能互聯(lián)互通。

（8）語音處理技術(shù)

通過實時網(wǎng)絡(luò)帶寬檢測算法和音頻抗抖動技術(shù)，保證語音在極低的網(wǎng)絡(luò)狀態(tài)下依然流暢清晰。對不同的音頻流在某節(jié)點處通過線性疊加的方法混合成一個音頻流外，還進(jìn)行自動靜音檢測和自動增益控制，實現(xiàn)智能混音。

（9）基于4G手機終端的架構(gòu)

4G手機終端劃分為四個層次，分別是用戶界面層、業(yè)務(wù)層、復(fù)用層、通信層。用戶界面層實現(xiàn)跨平臺顯示，業(yè)務(wù)層實現(xiàn)系統(tǒng)的功能業(yè)務(wù)，其中包括會議功能、數(shù)據(jù)功能、管理功能等功能。復(fù)用層主要是解決系統(tǒng)的多個功能模塊的數(shù)據(jù)時分復(fù)用通信通道的問題。通信層主要是對4G數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，對數(shù)據(jù)進(jìn)行實時可靠的傳輸。通過對終端劃分不同的層次的開發(fā)，兼顧了執(zhí)行效率和對不同平臺的兼容性的支持。

（10）4G手機硬編碼。

軟解碼是通過軟件讓CPU來對視頻進(jìn)行解碼處理;而硬解碼是指不借助于CPU，而通過專用的子卡設(shè)備來獨立完成視頻解碼任務(wù)。硬解碼相對軟解碼，不占用CPU，效率更高，因此硬解碼是高清視頻的必要選擇。PC的硬解碼主要是采用第三方的壓縮卡來實現(xiàn)，而在3G手機的顯示芯片一般都已經(jīng)集成硬解碼，因此4G手機上可以直接通過操作相應(yīng)的硬件編解碼器來實現(xiàn)高效的音視頻編解碼。