精品久久一区二区乱码,亚洲国产一区二区三区日本久久久,亚洲精品二区国产综合野狼

首頁 - 關于我們 - 新聞活動 - 物聯網場景中，我們如何選擇時序數據庫？

物聯網場景中，我們如何選擇時序數據庫？

2022-11-10新聞

如今時序數據的應用場景十分廣泛，許多類型的數據都是時間序列數據：

金融市場交易
傳感器測量（水冷、高溫、地震...）
服務器監控（CPU、內存、磁盤...）
資源消耗（能源、電力...）
人體健康（心率、血氧濃度...）
網絡訪問

通過保留數據固有的時間序列性質，我們可以記錄下事物是如何隨時間變化的事實，正因如此，這一反應真實的客觀屬性使得時序數據在特定的場景中充滿了商業價值：通過分析時序數據，決策者可以了解到生產和業務中的細微變化，從而對資源優化、跟蹤、預測、商業智能等方面進行優化。

在時序數據庫成為熱點之前，時序數據通常使用 MySQL 或 PostgreSQL 等關系數據庫進行處理。但自2010年以來，隨著互聯網和通信技術的發展，網絡中產生的時間序列數據量有了爆炸式的增長，傳統的數據庫已經無法處理這種萬億級的海量數據。不僅如此，現代業務對數據價值挖掘的需求已不僅僅停留在簡單計算和繪制圖表的層面上，而是需要更多精細、復雜的計算分析。

如何以一種高性能的方式記錄、查詢和分析如此大規模的數據，成為了一個難題。時序數據庫(time-series database)應運而生。以對數據價值嗅覺最敏感的金融領域為例，早在20年前，華爾街就已經開始使用時序數據庫對股票交易數據進行實時的計算分析。

那么，時序數據庫與“普通”數據庫在技術上有哪些區別呢？

我們假定“普通”數據庫是 MySQL、Oracle 之類的 OLTP (Online Transaction Processing) 事務型數據庫。

01.

首先，大部分時序數據庫的查詢場景可以認為是 OLAP（Online Analytical Processing ）分析型數據庫場景。具體地說，時序數據庫的讀取負載主要可以分為兩種，一種是對指定時間序列在指定時間段內數據的查詢，如查詢某個設備或某支股票最新一小時的數據等；另一種是對大量數據進行統計分析，如分析某支股票、甚至是所有股票在過去一周內的平均價格。這兩種場景都算是典型的 OLAP 的讀取場景。因此，時序數據庫具有大部分 OLAP 數據庫的特點，如列存、會對數據做壓縮、支持復雜的查詢語句等等。

02.

其次，從寫入負載來分析，時序數據庫的場景有大量數據的實時寫入，而非單行數據的寫入與修改。由于時序數據庫的寫入負載通常很高，如每秒幾百萬甚至幾千萬條數據，所以時序數據庫的存儲引擎往往是基于對大量寫入更加友好的 LSM Tree(Log Structured Merge Tree)，而非對主鍵點查詢、主鍵范圍查詢以及單行修改與更新更友好的 B+ 樹。開發高效的時序數據庫存儲引擎，需要扎實的操作系統、數據庫系統、分布式系統、體系結構、數據結構與算法等計算機基礎。

03.

第三，時序數據庫需要支持很多時序場景特有的分析語句與函數。一些常見的語句與函數有：降采樣、插值、滑動平均、時間滑動平均、累積和、window join、context by、pivot by 等等。要高效地（往往是向量化地）支持這些查詢語句并不是一件非常容易的事情。

04.

第四，流數據的處理。對時序數據的離線分析屬于批處理的范疇，而還有許多時序數據場景則可以抽象成另外一個我們稱之為流數據的計算場景：有數據不停地產生，且需要低延時地對這些數據做即時的響應與計算。在時序領域，對于流數據的處理，以往的做法往往是使用 flink 等單獨的流數據處理平臺，這當然也能夠解決問題，但會導致至少兩個問題，第一是需要維護時序數據庫與 flink 這兩套系統，使得運維成本大大提升；第二個問題則可能更加致命，那就是流數據的處理是否能夠與批數據處理一致，而如果產生不一致，則可能會對業務場景帶來毀滅性的影響（熟悉機器學習的同學應該知道機器學習的訓練場景、測試場景與服務場景必須達到高度的一致）。如果時序數據庫能夠推出針對時序場景的特殊流數據處理子系統，并且能夠達到“流批一體”，就可以保證批數據與流數據處理的結果完全一致。

數據庫的性能往往很大程度上由存儲引擎決定。如何針對不同的應用場景設計高性能的存儲引擎一直是數據庫開發的難題。而在時序數據庫的場景下，究竟該怎么設計一個存儲引擎，至今仍是一個沒有標準答案的開放性問題。

長按關注

新浪微博