隨著全球制造業數字化、網絡化、智能化的步伐不斷加快,工業大數據逐漸成為制造業與新一代信息技術深度融合的落腳點之一,大數據技術與企業應用的融合是制造企業提升效率、降低成本和提高質量的重要手段。為了幫助更多的企業了解大數據技術及其在企業的應用融合,e-works智能制造學院于12月3日下午14:00-16:30舉辦了以“大數據工業應用”為主題的線上研討會。
在本次研討會中,IBM帶來了“數據驅動智能制造:讓AI在云上飛舞”的專題分享。其中,IBM系統部大中華區存儲總經理吳磊解析了數字化轉型“第二篇章”給存儲帶來的挑戰,以及IBM存儲解決方案如何簡化企業上云之旅,提高數據效率,加速AI交付,賦能決策,同時滿足安全合規要求,保證業務的連續性;IBM存儲和軟件定義基礎架構資深銷售顧問將軍華、IBM系統部技術經理劉鑫以及IBM實驗室技術經理虞東海則具體案例出發,以人工智能與某IT獨角獸企業為例,分別從項目背景、項目方案設計及項目落地實施等方面具體介紹了IBM存儲解決方案如何幫助該企業實現存儲架構轉型,幫助其應對混合多云及AI環境下的數據存儲與管理挑戰,解決數據豎井、分布式數據管理等難題,賦能智能制造,讓AI在云上起舞。IBM系統部大中華區存儲總經理吳磊指出,如今越來越來越多的企業已經開始注重簡單遷移與創新,而無論是從傳統的數據中心完成數據的遷移,還是對混合多云環境下的數據進行管理,企業都需確保數據的安全、業務的無縫連接與不間斷,以及傳統業務的現代化改造,這對數據的一致性及業務邏輯的一致性都提出了非常高的要求,IBM將這種轉型稱之為數字化轉型“第二篇章”。IBM認為,在數字化轉型“第二篇章”,企業將面臨三件重要的事情,即完成云之旅、構建更智能的企業和確保網絡安全與彈性,這同時也對存儲提出了新的挑戰。首先,如何降低存儲成本。隨著5G、4K、8K大數據的爆炸性增長,非結構數據都是以PB、EB甚至ZB的速度增長,在這種環境下對企業對客戶成本的增加非常巨大。其次,如何打破數據孤島。由于結構化數據存放于傳統的生產系統中,非結構化數據存儲存放于新的對象存儲甚至混合多云環境下,如何打通傳統的生產系統和混合多云環境,打破各種不同的信息孤島,對企業而言非常重要。此外,在數字化轉型“第二篇章”,企業還面臨著如何提升數據讀寫速度,如何實現不同存儲位置的快速讀取,如何針對結構化、非結構化數據,經常使用的熱數據、以及溫數據和長期保管不使用的冷數據進行分門別類存放等諸多挑戰。針對數字化轉型“第二篇章”對存儲帶來的各種挑戰,IBM也推出了存儲解決方案以及屢獲殊榮的存儲產品,涵蓋面向混合多云的存儲、面向AI的存儲和,以及網絡彈性與現代化保護。無論是針對傳統的塊存儲、對象存儲、文件存儲,還是針對AI大數據,IBM都提供了非常豐富的軟件和硬件的產品,并為企業提供充分自由的選擇。而對于混合多云環境下,對企業存儲數據與存儲平臺提出的要求,吳磊則指出,企業存儲數據與存儲平臺應具備敏捷性、過渡性、云環境、數據壓縮與除重、加密等特性。此外,他還通過分享IBM攜手民泰銀行進行IT架構創新,以及IBM攜手百度智能云應對海量冷數據管理這2個具體案例,指出IBM能夠化繁為簡,通過簡單的IBM存儲,讓數據變得不簡單,讓數據發揮出最大的價值。而且,無論是傳統的集中式數據中心的存儲解決方案,還是混合多云的純分布式存儲解決方案,IBM都可為企業帶來安全、可靠、可擴展且合規的數據存儲平臺,并幫助其提高數據存儲性能,降低運維時間與運維成本。某IT獨角獸成立于2015年,創立伊始即率先提出聚焦邊緣 AI 芯片方向,圍繞人工智能、邊緣計算芯片在物聯網領域的應用,提供智能駕駛與智能物聯網解決方案,如今已發展成為人工智能與物聯網領域的獨角獸企業。然而,隨著該企業的規模越來越大,業務越來越多,由此也產生了海量的數據。一方面,該企業需要將這些海量數據保存起來,以作為提升自身產品競爭力的核心要素;另一方面,由于該企業對數據的需求并不是在成立第一天就能達到如今的規模,隨著數據量越來越大,這些海量數據如何存儲和管理,如何打破數據豎井、提升存儲性能、降低存儲成本,也成為該企業在高速發展過程中的面臨的問題與挑戰。這是因為,在過去的發展過程中,該企業都是按照項目的方式來部署數據結構與存儲平臺,但數據平臺間缺乏流轉和打通,由此形成了一個個數據豎井和信息孤島。而且,過去該企業都是用開源軟件來構建內部的分布式存儲平臺,隨著數據量增長至PB級,該企業也面臨著如何在存儲平臺擴展的同時,也能確保存儲性能不下降的問題。此外,該企業也面臨著較大的存儲成本壓力,該企業也迫切需要在更好地管理數據的同時,也降低數據存儲的成本。為此,IBM與該企業保持密切溝通,并不斷討論完善存儲解決方案。從IBM與該企業進行溝通交流到方案測試與方案確定,再到該企業下決心采購IBM的存儲解決方案,歷時約9個月,最終IBM與該企業一起通過不斷修改迭代,確定了以Spectrum Scale為核心的數據平臺解決方案。據IBM系統部技術經理劉鑫介紹,IBM所提供的存儲解決方案,有三個著眼點,是客戶(某IT獨角獸)非常認可,也非常看重的。一是,可構建統一的數據存儲與管理平臺,并且可保證平臺擴展的同時,數據規模及存儲性能也能同步擴展。由于數據豎井、信息孤島問題嚴重,該客戶希望搭建一個統一的數據存儲與管理平臺,能將所有數據整合在一起,按需調用。同時,該企業也希望這一數據存儲與管理平臺具備足夠的擴展能力,能保證在平臺擴展時,數據規模及性能水平也能同步擴展。而IBM Spectrum Scale作為一款源自高性能運算的產品,具有非常強大的擴展能力和性能水平。IBM在實際客戶中已部署了超過數千個節點的Spectrum Scale集群,可提供2 TB以上的并發吞吐能力,規模也可以達到數百甚至上千PB,這款產品給了該客戶很大信心,可支撐其未來進一步的數據規模增長,且能保證在規模增長情況下,數據平臺也具備足夠的性能水平。二是,可提供跨磁盤、磁帶的全局命名空間以及磁帶存儲,幫助降低成本。傳統的存儲擴展方式是,按照數據增長的規模,不斷地增加磁盤,提升存儲空間,然而實際上約有80%以上的數據都是不常用的冷數據或溫數據,這類數據如果用磁盤介質來存儲,成本非常高。而IBM則能夠提供磁帶介質來存儲不常用的冷數據或溫數據,幫助企業降低成本。但隨之而來的問題在于,磁帶介質存儲的數據需要用專用軟件讀取和寫入,這就使得將磁帶數據整合到企業整個數據生命周期的難度或門檻較高。而IBM Spectrum Scale恰恰能解決這些問題。它可提供全局命名空間和統一訪問接口,并能將數據從磁盤無縫遷移到磁帶,完全無需人工干預。這也就為客戶大大減輕了管理壓力,通過將磁帶介質引入到客戶整體的數據存儲環境中,可實現從磁盤到磁帶的數據的無縫、無感知地遷移,也降低了存儲成本。三是,可在混合多云環境下,實現數據的隨需調度,隨需取用。該客戶尤其依賴于多云架構,這是因為需要購買公有云上的GPU資源用于AI模型訓練,但在公有云上進行AI模型訓練,除了需要GPU資源之外,數據也是必不可少的,而且數據也需要跟隨GPU資源的變化來調用,這就給數據調用帶來了難題。在以前,該客戶往往是將整個項目的數據拷貝到公有云上,不僅占用大量云上存儲空間和帶寬,而且也非常耗時。IBM Spectrum Scale則可實現多云之間數據的隨需調度。借助IBM SpectrumScale,企業只需調用當前訓練任務所需的數據,這樣不僅節約云上存儲空間和帶寬,也能以最快的方式響應AI訓練需求,極大地提高了企業運轉效率。在以IBM Spectrum Scale為核心的存儲解決方案得到該客戶的認可后,如何將整套方案落地和實施,則成為擺在IBM面前的另一道難題。據IBM實驗室技術經理虞東海介紹,在項目實施過程中,IBM實施團隊主要遇到了三方面的技術難點:一是項目工期緊,對項目管理要求較高;二是涉及技術點多,技術實施難度較大,這又具體包括:雖然每個技術點IBM都有實施經驗與案例,但將所有技術點整合應用于該客戶的特殊環境中,在全球范圍內還屬首次,且客戶要求邊上線邊實施;IBM Spectrum Scale有數百個參數可調整,而且功能強大,實現同一個目標有多種實現方式,這使得對數百個參數進行調優,以及確定哪種實現方式最適合客戶的運行環境相對比較困難。三是整個項目的技術落地方案,與IBM現有的解決方案相比,還存在一些差距和空白,需要實施團隊開發相應工具和軟件來完成。為此,IBM抽調了實驗室專家團隊來進行項目的具體落地與實施,同時還有IBM在印度、美國等地的技術后援團隊為項目實施保駕護航,最終實現了IBM存儲解決方案的實施和落地。具體而言,針對項目工期緊的問題,IBM實施團隊通過合理分配資源和時間,同時管理多個子任務、并行實施,準時完成了項目的實施落地,也展現出專業的項目管理能力。針對涉及技術點多,技術實施難度較大的問題,IBM實施團隊化整為零,采取先從各個技術點分別突破,再從整體上去突破的方式;在項目管理上為了達到客戶邊上線邊實施的要求,盡量做到未雨綢繆,將所有可能需要停機進行的配置都提前分析并完成配置,而對于不確定因素,則采取在實驗室搭建相同測試環境的策略,最終通過整合現有經驗及謹慎嘗試,實現復雜架構的建設首例。針對Spectrum Scale數百個參數調優的問題,IBM實施團隊通過將Spectrum Scale各個模塊的專家組合在一起,并利用來自印度、美國等地的實驗室開發團隊的力量,通力協作,調優數百個參數,最終使Spectrum Scale平臺在客戶的環境里完美運行。此外,IBM實施團隊也通過集結豐富的專業人才共同分析,以及本著服務至上的精神,為客戶提供客制化方案,最終完成了項目的實施與落地,使客戶業務能更好地發展,更好地為其客戶提供優質的產品與服務。總的來說,大數據作為一種新資源,可幫助企業獲得競爭優勢,讓企業做出更好的決策、更加深入地與客戶互動、利用新的收入來源。隨著數字化轉型進入“第二篇章”,企業也步入混合多云環境,數據量和數據價值不斷增長,構建統一的數據存儲與管理平臺,提升平臺存儲性能,降低數據存儲成本,正成為快速獲得洞察力的關鍵。而實際上,無論是對于擁有海量數據的企業,還是對于即將擁有海量數據的企業,IBM Spectrum Scale及IBM磁帶庫的完美組合,都是一套幫助企業構建低成本、高擴展、易管理的持久數據生命平臺的解決方案,而且它可靈活選擇、自由組合,幫助企業解決數據豎井、分布式數據管理等難題,賦能智能制造,讓 AI 在云上起舞。