藍美視訊飛編大師分布式存儲技術介紹

　　一、 產品介紹

　　藍美視訊飛編大師分布式存儲系統的定位是服務于企業數據化的基礎平臺。旨在幫助企業解決運營和生產過程中各類業務產生的異構數據的存儲、共享、安全、擴展、性能、可管理性等實際需求;并為特定的行業用戶提供完全自主可控的數據存儲解決方案;為各類業務的異構數據存儲和共享提供高可靠和高性能服務。飛編大師的核心是全對稱的分布式文件系統,通過自研的多協議中間件使業務系統可以同時使用不同的接口和協議存取全局統一命名空間中數據。

　　高可靠性

　　藍美視訊飛編大師將文件數據切片加密后，按照既定的數據分布策略均衡的分布在飛編大師集群的各個節點中。即便集群中存在存儲介質或節點失效，飛編大師的數據分布策略依舊可以自動重建所需的數據。飛編大師的硬件架構均采用冗余設計,在業務存取過程中發生某種硬件故障時，飛編大師的硬件冗余設計可確保對應的業務請求被正確處理、從而支持業務無中斷地可靠運行。

　　高性能

　　藍美視訊飛編大師分布式存儲系統支持10GbE、25GbE、40GbE、100GbE和InfiniBand等高速網絡。同時飛編大師分布式文件系統在整個數據存取過程進行了充分的設計與優化。獨有Unimem、MultipathX和Bighash技術使數據在存取過程中定位速度更快;存取延遲更小;充分利用多個網口的性能。

　　高擴展性

　　藍美視訊飛編大師分布式存儲系統的容量可以擴展到數百PB，支持在線擴容，擴容過程中不會中斷正在運行的業務，整個擴容過程可以在幾分鐘內完成。分布式存儲系統通過新的節點進行橫向擴容，擴容過程對業務系統完全透明，擴容后可立即獲得更高的聚合性能和更大的容量。用戶可以隨時按需購買配置，這將大大降低用戶的采購和使用成本。

　　1.基于標準硬件

　　藍美視訊飛編大師基于標準x86架構的存儲服務器，使用高性能IntelXEON系列高性能處理器，配件配置豐富，支持多種網絡接口。

　　2.統一命名空間和多種訪問協議

　　統一命名空間將多個節點的磁盤資源聚集成一個單一的虛擬存儲池，存儲資源可以根據需要在進行在線擴展，對上層用戶和應用完全透明，用戶無需改變原有網絡結構即可快速訪問存儲池內的所有資源。飛編大師支持多種標準共享協議FTP、NFS、CIFS、Amazon S3、Hadoop等。與SAN文件系統不同，用戶無需安裝任何客戶端軟件即可訪問存儲內的數據。

　　3.易于管理

　　飛編大師分布式存儲系統提供多種系統管理接口CLI、WebGUI和ReST API，簡單靈活的管理模塊極大簡化了管理員對系統管理的難度，有效降低了系統的管理成本。

　　4. 支持多種網絡環境

　　飛編大師分布式存儲系統是基于通用服務器硬件組成的，前端和后端網絡可使用支持標準TCP / IP的硬件，例如10GbE、40GbE、100GbE或InfinBand(IPoIB)。

　　高性價比

　　飛編大師分布式存儲系統可以利用多個所謂的低端硬件通過特有技術組合，使其總體性能接近高端硬件。例如，節點上使用 4 個 10GbE 端口作為后端網絡，特有技術使其性能接近 1 個 40GbE 端口

　　對外提供統一的文件共享視圖，所有的應用服務器都看到相同的文件視圖。集中的數據共享存儲，方便用戶各業務部門之間進行數據協同處理，極大提高了用戶的整體生產效率。卓越的數據讀寫加速技術極大縮短了對應用程序的響應時間，高聚合性能有效支撐文件密集型應用的需求。系統提供的“即插即用”快速擴充性能與存儲容量能力，在新增存儲節點的同時不影響業務的連續性，業務端可即時使用增加的存儲容量與帶寬。

　　產品規格

飛編大師節點整體示意圖

　　二、 產品性能測試

　　測試環境

　　一套3節點飛編大師集群，EC策略：2+1:1;

　　1.節點配置

　　節點配置，36*10TB SATA HDD(型號：ST10000NM0478)，2*960GB SSD，4張 2*25GbE(型號：Mellanox MCX4121A-ACUT)

　　2.客戶端配置

　　* 8臺蘋果客戶端，2臺iMAC Studio、6臺iMAC PRO

　　* 操作系統macOS Monterey 12.1

　　* ATTO NS 3102雷電轉萬兆/QNAP

　　* QNA-T310G1S雷電轉萬兆

　　* 標準的CIFS共享

　　3.測試工具

　　* 非編軟件:Adobe Premiere Pro 2021

　　* 帶寬測試工具：vdbench

　　測試結果

　　Premiere測試結果

　　單iMAC PRO (開啟Multichannel )

　　注：

　　*4K ProRes 444 視頻格式為MOV，每軌要求帶寬約180MB/s

　　*測試數據為MAC Studio連接兩個QNA-T310G1S，通過兩個萬兆開啟Multichannel連接存儲，iMAC pro通過1個QNA-T310G1S連接存儲

　　*單iMAC PRO在回放5軌時CPU使用率已經超過95%，所以已經到達CPU的處理極限。

　　Vdbench測試結果

　　單Mac(開啟Multichannel )

　　注：

　　*Vdbench 數據量是超過內存的2倍;并未使用內存(openflags=o_direct)

　　*測試結果均使用QNA-T310G1S連接存儲

　　三、 成功案例展示

　　廣電總局某涉密研究所敏感監控項目

　　1.解決方案

　　用戶環境分為兩部分一部分是負責數據采集的視頻采集島，一部分是負責視頻分析的視頻審核島。兩部分共享飛編大師集群存儲。飛編大師提供高并發、大帶寬的多節點同時讀寫。同時飛編大師結合媒資系統業務特點，單獨進行調優使數據存儲效率提升至少30%。

　　2.產品特點

　　Ø 多并發業務訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數據吞吐

　　Ø 持續穩定碼流

　　某衛視真人秀綜藝節目項目

　　1.解決方案

　　用戶環境多種音視頻編輯制作應用在同一命名空間下，需同時支持眾多不同操作系統的客戶端上的多種應用對多個文件進行同時讀取和寫入。飛編大師提供高并發、高穩定、大帶寬的多節點不同操作系統的同時讀寫。同時飛編大師結合非編系統業務特點，針對性的策略性預讀技術使得各種音視頻應用在讀寫存儲系統時都有優秀的性能。

　　2.產品特點

　　Ø 多并發業務訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數據吞吐

　　Ø 持續穩定碼流

　　Ø 策略性預讀技術

　　北京某傳媒公司項目

　　1.解決方案

　　用戶多部門協同制作影視電視劇后期音視頻，整個環境有Windows、MAC OS、Linux操作系統，同時處理存儲系統內的多部連續劇和影視內容。OpenFS提供統一命名空間，單一命名空間利于多部門協同工作。存儲系統具有高穩定、大帶寬的并發多節點訪問能力。特有的的策略性預讀技術使得各種音視頻應用在訪問存儲系統時都有優秀的性能。

　　2.產品特點

　　Ø 多并發業務訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數據吞吐

　　Ø 持續穩定碼流

　　Ø 策略性預讀技術

　　某動漫制作公司項目

　　1.解決方案

　　用戶的一百多個渲染節點同時訪問存儲系統，讀取大量的材質素材文件對3D動畫進行渲染，同時數十個視頻剪輯工作站訪問存儲內渲染后的視頻素材進行剪輯。飛編大師提供統一命名空間，單一命名空間利于多業務協同工作。存儲系統具有高并發、大帶寬的并發多節點大小文件訪問能力。特有的的策略性存儲分配技術使得各種 大小文件既能保證有效的空間利用率同時具有優秀的訪問性能。

　　2.產品特點

　　Ø 多并發業務訪問

　　Ø 策略性空間分配功能兼顧大文件空間連續性和小文件空間利用率

　　Ø 高帶寬數據吞吐

　　Ø 策略性預讀技術