物聯(lián)網(wǎng)架構(gòu)及五大常用通信協(xié)議
2020-7-16新聞
消息觸達(dá)能力是物聯(lián)網(wǎng)（internet ofthings, IOT）的重要支撐，而物聯(lián)網(wǎng)很多技術(shù)都源于移動互聯(lián)網(wǎng)。柳貓將闡述移動互聯(lián)網(wǎng)消息推送技術(shù)在物聯(lián)網(wǎng)中的應(yīng)用和演進(jìn)。
一、物聯(lián)網(wǎng)架構(gòu)和關(guān)鍵技術(shù)
從開發(fā)的角度，無線接入是物聯(lián)網(wǎng)設(shè)備端的核心技術(shù)，身份設(shè)備管理和消息推送技術(shù)是物聯(lián)網(wǎng)云端的核心技術(shù)。而從場景體驗(yàn)的角度，除了前者，還要包括手機(jī)的前端開發(fā)技術(shù)。
IP互聯(lián)架構(gòu)已是物聯(lián)網(wǎng)的事實(shí)標(biāo)準(zhǔn)（有關(guān)物聯(lián)網(wǎng)TCP/IP層關(guān)鍵技術(shù)將另文闡述，敬請關(guān)注）。本文所講的消息推送技術(shù)是基于TCP/IP協(xié)議的應(yīng)用層協(xié)議技術(shù)。
我們先進(jìn)一步抽象基于IP架構(gòu)的物聯(lián)網(wǎng)組成，如下圖（忽略internet和路由等基礎(chǔ)技術(shù)）：
可見，核心組成就是物聯(lián)設(shè)備、網(wǎng)關(guān)和云端。物聯(lián)設(shè)備分為兩類，一類是其自身天然支持TCP/IP而能直接接入物聯(lián)網(wǎng)，如wifi、GPRS/3G/4G（當(dāng)然，還有即將到來的5G）等設(shè)備；另一類是其未能支持IP協(xié)議而需要網(wǎng)關(guān)（協(xié)議轉(zhuǎn)換）來接入物聯(lián)網(wǎng)，如Zigbee、藍(lán)牙等設(shè)備。對于藍(lán)牙設(shè)備而言，手機(jī)其實(shí)是一個網(wǎng)關(guān)。
手機(jī)通過自身的藍(lán)牙跟外設(shè)藍(lán)牙設(shè)備通信，并將消息通過手機(jī)的wifi或者3G/4G模塊與云服務(wù)端通信。
從場景的角度來分析，物聯(lián)網(wǎng)最終是給人類服務(wù)的，而手機(jī)是人類體驗(yàn)的最直接入口。因此在上圖中可以單獨(dú)添加手機(jī)組成部分，并將其與一般意義上的網(wǎng)關(guān)區(qū)分出來。這樣物聯(lián)網(wǎng)核心組成就是：設(shè)備端—網(wǎng)關(guān)—云端—手機(jī)。
從應(yīng)用層開發(fā)技術(shù)的角度來看，物聯(lián)網(wǎng)應(yīng)用是基于TCP/IP架構(gòu)建立，在屏蔽底層的網(wǎng)關(guān)協(xié)議轉(zhuǎn)換的基礎(chǔ)上，物聯(lián)網(wǎng)應(yīng)用的組成部分就是：設(shè)備端—云端—手機(jī)。
OK，有了以上的介紹，我們就從物聯(lián)網(wǎng)應(yīng)用的角度來分析設(shè)備、云端、手機(jī)直接的消息推送技術(shù)，它包括云端和設(shè)備端的雙向通信技術(shù)、手機(jī)和云端的雙向通信技術(shù)。
二、移動互聯(lián)網(wǎng)通信模式
互聯(lián)網(wǎng)有B/S和C/S兩種通信模式。在移動互聯(lián)網(wǎng)領(lǐng)域，APP是以C/S的方式以client的角色跟服務(wù)器server進(jìn)行通信；而微信是一個超級APP，其是通過內(nèi)置瀏覽器讓用戶進(jìn)行H5編程以獲得操控硬件設(shè)備的能力，因此微信硬件平臺的通信模塊是B/S模式。
移動互聯(lián)網(wǎng)B/S技術(shù)跟傳統(tǒng)互聯(lián)網(wǎng)沒有區(qū)別，微信內(nèi)置瀏覽器支持H5，因此可以獲得很好的平臺擴(kuò)展性。我們近期重點(diǎn)關(guān)注基于微信硬件平臺的物聯(lián)網(wǎng)，因此就圍繞B/S模式的消息推送技術(shù)講述其演進(jìn)。
HTTP協(xié)議是B/S的基礎(chǔ)，HTTP有GET和POST兩種方式。
三、消息推送技術(shù)演進(jìn)
1.HTTP單向通信
瀏覽器使用HTML文本標(biāo)記語言，即瀏覽器通過HTTP協(xié)議向服務(wù)器發(fā)起請求(請求內(nèi)容包括URL，即我們常說的網(wǎng)址)，服務(wù)器將URL對應(yīng)的HTML內(nèi)容通過HTTP協(xié)議作為響應(yīng)傳送回給瀏覽器。
1）手機(jī)端：微信端因?yàn)橛袃?nèi)置瀏覽器，其天然支持前端頁面。
2） 云端對手機(jī)端推送：云端使用JSP/PHP等技術(shù)開發(fā)設(shè)計(jì)前端網(wǎng)頁和簡單的邏輯即可。
3）設(shè)備端：設(shè)備端上線時或者訪問服務(wù)端參數(shù)等內(nèi)容時需要模擬HTTP協(xié)議（C語言）向服務(wù)器發(fā)起請求，而請求的格式一般不使用HTML，而是使用較為簡單的XML或者JSON協(xié)議格式。
4）云端對設(shè)備端推送：云端使用HttpServlet（即使用http協(xié)議的servlet）對設(shè)備的HTTP請求進(jìn)行響應(yīng)，回復(fù)XML或者JSON格式的消息。
5）缺點(diǎn)：這種方式通信方式的特點(diǎn)就是一請求一響應(yīng)，總是要客戶端向服務(wù)器發(fā)出請求，服務(wù)器才給予響應(yīng)。服務(wù)器從來都不會主動給客戶端發(fā)消息，而且在客戶端發(fā)出請求后，服務(wù)器也只是回復(fù)一次。這種HTTP單向通信方式在互聯(lián)網(wǎng)領(lǐng)域發(fā)揮巨大的作用，就是服務(wù)器端可以是無狀態(tài)的，極大地簡化了服務(wù)器的服務(wù)流程，提高效率。但在物聯(lián)網(wǎng)領(lǐng)域，我們要求的是雙向的通信能力。服務(wù)端要能主動給設(shè)備端或者手機(jī)發(fā)出消息。
在這種模式下，我們怎么做雙向通信呢？唯一的做法就是客戶端不斷地發(fā)出請求（或者周期性），服務(wù)器不斷地給予回復(fù)。這種模式下的缺點(diǎn)顯而易見：
一是網(wǎng)絡(luò)負(fù)載重，服務(wù)器每次響應(yīng)后都會關(guān)閉連接，所以每次通信都得重新握手。HTTP協(xié)議的頭內(nèi)容的長度可不小。
二是實(shí)時性差。一般設(shè)備端都是周期性地輪詢服務(wù)器是否有新的消息，輪詢的方式是不能獲得好的實(shí)時性的。
三、瀏覽器端每次發(fā)出請求是以HTML全部內(nèi)容來響應(yīng)的，消息長度過大，在這種情況下，會發(fā)現(xiàn)瀏覽器頁面不斷地刷新。
2.Ajax輪詢
Ajax技術(shù)是瀏覽器支持的一種JavaScript技術(shù)。其能夠局部改善用戶體驗(yàn)技術(shù)，讓用戶在不察覺瀏覽器頁面刷新的情況向服務(wù)器發(fā)出請求，并獲得響應(yīng)。其原理是：
1）微信瀏覽器發(fā)出URL頁面請求，服務(wù)器響應(yīng)HTML頁面內(nèi)容。
2）HTML頁面使用js調(diào)用XMLHttpRequest來向服務(wù)器發(fā)出異步通信請求。
3）服務(wù)器響應(yīng)XML格式數(shù)據(jù)給瀏覽器頁面。
4）HTML頁面使用DOM模型來動態(tài)刷新頁面元素。
Ajax技術(shù)是微信硬件平臺框架中推薦的頁面交互技術(shù)，但其本質(zhì)還是遵守HTTP單向通信的規(guī)則，只是頁面交互時不需要刷新整個頁面。其雙向通信實(shí)時性問題依然未能解決。
3.Websocket
Websocket是HTML5支持的一種新的協(xié)議，它能夠真正支持瀏覽器和服務(wù)器之間進(jìn)行雙向通信。Tomcat7及以上版本也已經(jīng)支持Websocket API。
1）為了能夠兼容瀏覽器HTTP協(xié)議，Websocket規(guī)定在第一次發(fā)起請求時依然要發(fā)出符合HTTP協(xié)議規(guī)范的Header，但其Connection域的值是Upgrade，并增加Upgrade域，值是socket，即告知服務(wù)器，即將建立的通信是Websocket雙向通信。服務(wù)器如果接受，會返回101給客戶端進(jìn)行協(xié)議切換。
2）接下來的通信將不再以HTTP作為傳輸協(xié)議，而是使用Websocket規(guī)定的數(shù)據(jù)格式進(jìn)行通信，其分為控制幀和數(shù)據(jù)幀?？刂茙前l(fā)出心跳幀（ping），而服務(wù)器響應(yīng)pong，還有結(jié)束幀；數(shù)據(jù)幀就是真實(shí)數(shù)據(jù)格式，其格式頭只有6個字節(jié)（2個字節(jié)頭和4個字節(jié)的掩碼），后面就是真實(shí)的數(shù)據(jù)（經(jīng)過掩碼轉(zhuǎn)換）。比HTTP格式頭的長度要小多了。
3）客戶端和服務(wù)器之間是一直保持連接，直到close，當(dāng)前期間要發(fā)發(fā)2個字節(jié)的3字節(jié)的ping幀。
可見Websocket比ajax有了極大的改進(jìn)。其不僅省掉經(jīng)常要連接握手，還簡化的協(xié)議的格式，最重要的是實(shí)時性得到保證，因?yàn)殡p方是真正的全雙工通信。
微信瀏覽器客戶端支持Websocket，服務(wù)器使用Tomcat7以上的WebsocketServlet類，設(shè)備端要根據(jù)Websocket協(xié)議用C語言來模擬通信。
我們在用設(shè)備端模擬Websocket通信協(xié)議時一般會先看協(xié)議，再用HttpWatch等工具來抓包，抓到的頭是GET ws://ip:port/path，如果在C語言也是這樣模擬發(fā)包則會報(bào)400 bad request。因?yàn)镃語言利用socket建立通信時已經(jīng)利用了IP和port了，其發(fā)的第一個包的頭是GET/path即可，不能在其前面加上ws://ip:port/。
4.MQTT
以上的分析都是將移動互聯(lián)網(wǎng)的技術(shù)運(yùn)用到物聯(lián)網(wǎng)，其都有一個特定就是建立連接時會傳送URL地址，由兩個角色是客戶端和服務(wù)器，這種架構(gòu)我們一般稱為是RESTful架構(gòu)（另外，還有SOAP 面向應(yīng)用的web services架構(gòu)）。RESTful架構(gòu)在互聯(lián)網(wǎng)得到越來越廣泛的運(yùn)用，但物聯(lián)網(wǎng)除了互聯(lián)之外，還有其獨(dú)有的特征，就是其終端設(shè)備的資源有限、低功耗運(yùn)用場景、網(wǎng)絡(luò)連接環(huán)境差（時不時斷開連接）等。用C語言模擬的方式來使用RESTful架構(gòu)（如Websocket）會使得終端的負(fù)荷較重，而且服務(wù)器發(fā)給終端設(shè)備的消息有可能因?yàn)閿嚅_連接而收不到。
MQTT是IBM針對物聯(lián)網(wǎng)退出的一種輕量級協(xié)議，建立于TCP/IP層協(xié)議之上。其是物聯(lián)網(wǎng)的重要組成部分，可能會成為物聯(lián)網(wǎng)的事實(shí)標(biāo)準(zhǔn)。其具有QoS，能夠緩沖消息，并通過重傳機(jī)制保證終端設(shè)備收到消息；其消息格式極其簡化，最短是兩個字節(jié)；其提供訂閱和發(fā)布模式，高效推送消息。
MQTT有三個角色，包括服務(wù)器代理、訂閱者和發(fā)布者。
1）啟動服務(wù)器代理。
2）訂閱者向服務(wù)器代理訂閱相關(guān)主題。
3）發(fā)布者向服務(wù)器代理發(fā)布主題信息。
4）服務(wù)器代理想所有訂閱該主題的訂閱者推送消息。
MQTT有C/C++語言和JAVA包實(shí)現(xiàn)。需要明確的是，MQTT更適用于設(shè)備終端和手機(jī)APP socket通信，而不能支持瀏覽器使用。如果要支持微信瀏覽器應(yīng)用，還需要增加類似WebsocketServlet技術(shù)給瀏覽器提供支持，這時MQTT以JS接口進(jìn)行封裝，并被調(diào)用完成消息推送。
5.CoAP
CoAP是受限制的應(yīng)用協(xié)議(ConstrainedApplication Protocol)的代名詞。其基于UDP協(xié)議，也就是在設(shè)備終端上只需要底層實(shí)現(xiàn)UDP協(xié)議，而不需要實(shí)現(xiàn)較為復(fù)雜的TCP協(xié)議。這種協(xié)議用得比較小。筆者也沒有用C語言模擬過，就不展開了。
