科技改變生活 · 科技引領未來
6 月 4 號,2020 年日本最大的 ICT 展會 Interop 東京展傳來消息:華為新一代 OceanStor 存儲 Dorado 系列贏得日本評委一致青睞,喜獲 2020 Interop 服務器與存儲類產品 Best of Show Award 金獎,在組委會官方給出的評語中提到:“華為 OceanStor 存儲 Dorado 系列,具有壓倒性的性能和穩定低時延,內嵌 AI 自我優化 I/O 能力”。
這也是華為全閃存第二次斬獲該獎項。
回顧 2017 年 Interop 東京盛會,華為在全球率先發布支持 NVMe 技術的 OceanStor 存儲 Dorado 系列,它以業界最快的全閃存,最優的 0.3ms 時延第一次獲得日本專家認可并獲得展會金獎。
而在 2019 年,華為最新發布的全新一代 OceanStor 存儲 Dorado 系列,作為一款由華為存儲全球研發團隊歷時近 12 年沉淀打造的全新存儲產品,其在存儲架構層面有著巨大的突破與創新,并且首次融入了華為多款自主創新的芯片,基于 AI 算法實現了全生命周期的智能運維,可謂是給全閃存樹立了新標桿。這個新標桿,也再一次徹底征服日本專家,獲得所有參展存儲廠商唯一的金獎。
華為 OceanStor 存儲 Dorado 系列脫穎而出絕非偶然,其根基是華為在產品設計和核心技術方面的持續創新。在全球范圍內,華為直接投入到存儲產業的研發工程師超過 3600 名,分布到全球的 12 個存儲研發中心,是業內唯一具備存儲操作系統、控制器、SSD 盤(固態硬盤)全自主創新的供應商,并能夠針對閃存存儲進行端到端的深度優化。“早在 2008 年,華為就開始研究閃存技術,我們在閃存領域擁有超過 12 年的持續積累。”華為全閃存首席架構師林宇介紹道,“這一路走來,我們的研發過程經歷了從無到有,從弱到強,從最開始在普通應用部署,到將閃存應用于高端存儲滿足核心應用批量商用的過程。”
堅定方向,牛刀小試
“現在回想起來,2008 年是華為全閃存起步的關鍵之年,由此華為開始了 12 年在全閃存領域的技術研發。”林宇感慨道。就在這一年,華為存儲團隊經過激烈的內部研討,決定利用閃存興起彎道超車、打破老牌存儲廠商基于 HDD 構筑的壟斷地位。“2008 年作為 IT 領域風向標的硅谷涌現出了很多 startup 公司開始在企業級應用中使用閃存,SSD 與 HDD 相比,其在性能、功耗、可靠性上的巨大優勢讓大家非常震撼,公司領導對閃存的發展趨勢進行了一個總結,讓我印象最深刻的是 “彎道超車”四個字,這四個字體現出了華為在存儲上的戰略思路以及打破老牌廠商的重要機會點,當年就是這四個字激勵了無數研發團隊的兄弟投入閃存領域。我也是其中的一員”
在統一戰略思想后,人才成為最為緊迫的事。包括林宇本人在內的多位存儲專家領著任務親赴海外組建研發團隊,從海外招聘來了業界頂級的 SSD 專家,從零開始打造華為 SSD 研發團隊。“能與當時業界頂尖的技術專家一起合作,我們整個團隊都備受鼓舞,在之后的研發過程中我們克服不少困難,同時收獲滿滿。”林宇表示。在華為存儲研發團隊的共同努力下,團隊在 SSD 硬盤的磨損均衡、垃圾回收、ECC 校驗等技術上輸出多篇高價值技術專利。當年首款 SATA SSD 盤發布,性能和可靠性達到業界先進水平。“記得當時華為自主創新的首款 SATA SSD,在性能測試上是超過業界標桿 Intel 的同類產品,具有劃時代的意義,這更加堅定了我們在全閃存研發上走自主創新的道路。”
自主創新,初露鋒芒
2011 年,閃存應用迎來商用化興起的時代,各家存儲廠商紛紛推出零級存儲方案。Violin 等新興存儲廠商通過超高性能在主流數據庫存儲加速領域撕開了一條口子。
“這個時候我們在 SSD 和存儲陣列上已經有了一定的商用積累,基于對閃存介質的深刻理解,以及成熟的企業存儲產品交付經驗,我們將自主創新存儲陣列和 SSD 結合在一起,基于閃存的特性優化存儲陣列系統的緩存、調度等關鍵技術,去除掉很多為 HDD 架構設計的流程和特性,把存儲系統的時延開銷做到最低。”林宇介紹道。
得益于存儲團隊對全閃存架構的全新設計,成功使得第一代 OceanStor 存儲 Dorado 系列面世,并搭載自主開發 6 Gbit/s SAS SSD 盤,這是業界首批商用的全閃存產品。2012 年,第二代 OceanStor 存儲 Dorado 系列也順利發布。“Dorado 的含義是一種劍魚,海里游得最快的魚,這也是我們自主研發全閃存的初衷,為用戶帶來極致的性能體現。”OceanStor 存儲 Dorado 系列這條華為傾力打造的劍魚,第一次游入了數據的海洋。
融合閃存,漸入佳境
2014 年,五大融合的商業理念將融合存儲成功的推向了市場,其中 SSD 和 HDD 的融合是混合存儲一個非常重要的特性。林宇深有感觸的說道,“由于這個時候 SSD 的價格還是很高,存儲廠商從一開始的零級存儲策略逐漸轉向混合存儲策略。在針對閃存的優化應用上,我們此時已經比較深刻的掌握了 SSD 內部原理以及在什么樣的訪問模式下可以達到最佳的性能和較好的壽命,但是在分級存儲和 SSD cache 上技術積累還很薄弱。”
為了不在這項技術上面落后于友商,被友商形成控標點,存儲研發團隊內部挑選精兵強將成立了技術攻關團隊,研究冷熱識別和淘汰算法,利用一年時間先后完成 SSD cache 和分級存儲的特性交付,這標志著華為存儲能為客戶提供業界領先的 SSD 和 HDD 混合使用方案,使得客戶在享受 SSD 帶來的高性能低時延優勢的同時,降低 OPEX 投入。
2014 年 5 月,第三代 OceanStor 混合閃存存儲正式發布,率先開啟全融合數據架構時代。2015 年 5 月,OceanStor 18000 高端融合存儲正式發布,在極致穩定、極致性能、面向未來三個方面實現了高端存儲新標桿。
技術革新,引領業界
2016 年 9 月, 第四代 OceanStor 存儲 Dorado 系列震撼上市,具備極致性能,同時具備免網關存儲雙活解決方案,并搭載自主創新的 12Gbit/s SAS SSD 盤。林宇直言 “第四代 OceanStor 存儲 Dorado 系列在整個 IO 端到端處理上進行了大的架構變革”,經過華為團隊的不懈努力,這一代 OceanStor 存儲 Dorado 系列將 IO 寫入模式全面切換為 ROW 方式并結合大塊順序寫,開啟快照、克隆的特性仍能保持平穩性能。SSD 的可靠性是提升 SSD 的使用壽命減少寫放大,這與 HDD 的可靠性要求差異非常大,華為團隊在設計之初就充分了考慮了這一點,不僅通過日志型寫入方式聚合小 IO 請求,規避 RAID 寫放大,還基于磨損均衡、專利的反磨損均衡以及創新的盤控配合算法深度優化,這使得第四代 OceanStor 存儲 Dorado 系列成為業界頂級產品。
“調整寫入模式意味著存儲池的所有特性都會受到相應的設計修改,在整個交付過程中,存儲團隊經歷了困難的垃圾回收性能調優過程、盤控配合算法不斷升級的過程、以及在各種故障下保持穩定性能的攻關過程”林宇回想艱辛的研發過程不由感慨,2016 年 5 月,第四代 OceanStor 存儲 Dorado 系列主要功能開發完成,經用戶現網大壓力真實測試,性能波動控制在 5% 以內,達到業界最優水平。
第四代 OceanStor 存儲 Dorado 系列是業界唯一同時具備極致高性能和極致穩定性的全閃存陣列產品,奠定了閃存業界的標桿地位。
NVMe 急先鋒,再次領先一步
“2016-2017 年全閃存技術越發成熟,全閃存已經是整個存儲業界的發展趨勢,為有效發揮全閃存能力,NVMe 技術得到空前發展。而這個方面,我們早在 3 年期開始做技術儲備,存儲技術團隊繼承第四代 OceanStor 存儲 Dorado 系列穩定性架構的同時,兼顧 NVMe 技術的領先性和擴展性,2017 年 3 月,全球率先發布支持 NVMe 技術的第五代 OceanStor 存儲 Dorado 系列,它是業界最快的全閃存,時延達到最優的 0.3ms;同時基于 HyperMetro 免網關雙活方案,保障用戶核心應用又快又穩。”林宇介紹道。
永快永穩 “芯”存儲,樹立全閃存新標桿
歷經 12 年的技術積累,2019 年底,第六代 OceanStor 存儲 Dorado 系列正式發布,“項目技術難度大、規模大,全新的硬件設計、全新的軟件和操作系統,從設計到交付都面臨巨大的挑戰”林宇說,“這幾年來我們整個團隊在加班加點中度過了不知道多少個日日夜夜,在 OceanStor 存儲 Dorado 系列,我們從架構穩定性、業務高性能、運維智能化方面,都進行了成果顯著的技術創新和升級。”
金獎也能“梅開二度” 華為OceanStor 存儲Dorado系列又雙叒叕獲得國際大獎
“性能上,我們基于端到端加速平臺、創新的 NOF + 方案和華為獨有的 Flashlink® 智能算法,實現 2000 萬 IOPS,0.1ms 時延的極致性能,性能值超越友商 2 倍,樹立了存儲業界性能的新標桿。”
“5G 時代以來,為了應對未來數據發展可能帶來的極致可靠星挑戰,我們設計了 SmartMatrix 全互聯架構,它能實現業界可靠性等級最高的容忍控制器 8 壞 7,業務 0 中斷;容忍引擎 2 壞 1,業務 0 中斷;樹立了存儲業界可靠性的新標桿,真正做到企業核心業務永遠在線。”
“我們在新一代智能全閃存上加入了很多 AI 智能技術,如:基于智能硬件平臺和智能緩存算法,主動分析并掌握多個應用模型的 IO 規律,讓存儲越用越快;打造了智能盤框,從存儲控制器下載部分工作負載,把數據重構的工作卸載到智能硬盤框上;運用云上通用智能 + 邊緣個性化智能協同技術,做到產品全生命周期智能管理。創新的智能硬件平臺 + 邊緣協同的智能算法,樹立了存儲業界智能化的新標桿。”
性能永快一步,業務永遠在線,AI 使能永智高效,華為存儲團隊真正意義上把第六代 OceanStor 存儲 Dorado 系列打造成了業界新標桿,各方面能力全面領先業界友商,能帶給用戶最佳的使用體驗。
寫在最后
華為 OceanStor 全閃存能夠在一年一度的日本最大 ICT 盛會上 “梅開二度”,再次獲得金獎,除了專業評委的慧眼識珠外,這與華為公司在數據存儲領域長期堅定的重點投入以及華為數據存儲團隊多年以來持續不懈的努力分不開。
高夕華