超越云巔CyInsight ,是一套經(jīng)過調(diào)優(yōu)和功能增強的Hadoop與Spark企業(yè)發(fā)行版,包含Hadoop生態(tài)中的20+主要組件,幫助客戶輕松應(yīng)對海量數(shù)據(jù)的采集、存儲、計算、分析挖掘和數(shù)據(jù)安全等應(yīng)用場景
多源數(shù)據(jù)的高效集成
云巔CyInsight 提供多源數(shù)據(jù)(包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))的集成能力,提供高吞吐、可擴展的數(shù)據(jù)總線和數(shù)據(jù)分發(fā)功能,支持批量加載、實時加載、數(shù)據(jù)庫加載、文件加載等多種加載方式。
異構(gòu)數(shù)據(jù)的海量存儲
云巔CyInsight 提供基于分布式文件系統(tǒng)和并行架構(gòu)的大數(shù)據(jù)存儲能力,支持PB級數(shù)據(jù)規(guī)模的高可靠和高可用存儲,支持存放多種文件格式,例如關(guān)系數(shù)據(jù)庫等結(jié)構(gòu)化數(shù)據(jù),日志、網(wǎng)頁等半結(jié)構(gòu)化數(shù)據(jù),以及視頻、圖片、文檔等非結(jié)構(gòu)化數(shù)據(jù)。
多場景下的數(shù)據(jù)計算框架
面向不同業(yè)務(wù)場景,云巔CyInsight提供離線計算、流式計算、內(nèi)存計算、圖計算等豐富的計算框架,支持計算任務(wù)流程編排、計劃安排,提供標準SQL的數(shù)據(jù)訪問能力。
基于機器學(xué)習(xí)的大數(shù)據(jù)分析
云巔CyInsight 提供涵蓋多源數(shù)據(jù)接入、數(shù)據(jù)特征提取、算法模型管理、算法模型評估和結(jié)果預(yù)測等完整機器學(xué)習(xí)過程的可視化大數(shù)據(jù)分析功能。支持多元分類、回歸分析、協(xié)同推薦等分析模式,SVM、樸素貝葉斯、K-Means、線性回歸等10+種算法,支持批量預(yù)測和實時預(yù)測功能并提供API。預(yù)測過程基于內(nèi)存進行迭代式計算,并且支持分布式計算,可以應(yīng)對海量數(shù)據(jù)分析。
安全有效的資源隔離與共享
云巔CyInsight 提供對結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的多用戶資源管理,滿足對數(shù)據(jù)資源的權(quán)限隔離、安全授權(quán)和資源調(diào)度。提供多用戶的可視化數(shù)據(jù)空間管理功能,支持數(shù)據(jù)空間大小、文件數(shù)、計算隊列等的配額設(shè)置;支持多用戶間數(shù)據(jù)資源的開放訂閱和指定共享,共享權(quán)限可控制到文件目錄、表及列族級;支持對數(shù)據(jù)訪問的審計和監(jiān)控。
統(tǒng)一的大數(shù)據(jù)平臺運維管理
云巔CyInsight 提供針對HDFS、MapReduce、Hive、HBase、ZooKeeper、Oozie和Spark等20+組件的自動化安裝部署,并為平臺提供完善的配置管理、監(jiān)控告警等能力。
產(chǎn)品詳情
產(chǎn)品參數(shù)
1、 性能指標
測試環(huán)境:8節(jié)點集群;節(jié)點典型配置:CPU:2*E5-2640,內(nèi)存:256G,硬盤:SATA盤
分類 |
指標項 |
規(guī)格 |
|
MapReduce性能指標 |
WordCount:平均每節(jié)點處理能力
|
8GB/分鐘 |
|
Terasort:平均每節(jié)點處理能力 |
6.4GB/分鐘 |
||
Spark性能指標 |
WordCount:平均每節(jié)點處理能力 |
30GB/分鐘/Node |
|
Terasort:平均每節(jié)點處理能力 |
9GB/分鐘/Node |
||
SQL on Hadoop |
Aggregation:平均每節(jié)點處理能力 |
8GB/分鐘 |
|
Join:平均每節(jié)點處理能力 |
4GB/分鐘 |
||
HBase |
100%隨機讀:平均每節(jié)點讀取記錄條數(shù)(每條記錄1KB),響應(yīng)時間小于50MS |
30,000 Records/s |
|
100%隨機寫:平均每節(jié)點寫入記錄條數(shù)(每條記錄1KB),響應(yīng)時間小于50MS |
40,000 Records/s |
||
順序掃描:平均每節(jié)點scan記錄條數(shù)(每條記錄1KB),響應(yīng)時間小于50MS |
15,000 Records/s |
||
50%隨機寫+50%隨機讀:平均每節(jié)點寫入記錄條數(shù)(每條記錄1KB),響應(yīng)時間小于50MS |
寫25,000 Records/s 讀18,000 Records/s
|
||
50%隨機寫+50%掃描讀:平均每節(jié)點寫入記錄條數(shù)(每條記錄1KB),響應(yīng)時間小于50MS |
寫30,000 Records/s 讀10,000 Records/s
|
2、產(chǎn)品兼容性
2.1 CPU兼容性
超越云巔CyInsight大數(shù)據(jù)平臺兼容主流硬件架構(gòu):X86、ARM
2.2 操作系統(tǒng)兼容性
序號 |
操作系統(tǒng) |
1 |
CentOS |
2 |
Redhat |
3 |
銀河麒麟 |
4 |
中標麒麟 |
5 |
麒麟OS |
6 |
EulerOS |