1、效率低
大部分傳統(tǒng)的數(shù)倉都是建在傳統(tǒng)的數(shù)倉上的Hadoop以上。這種傳統(tǒng)的數(shù)字倉庫帶來了幾乎無限的橫向擴展能力，但也導致了傳統(tǒng)數(shù)字倉庫技術效率低下的缺陷。低效率主要體現(xiàn)在以下幾個方面。
部署效率低：部署Hive/HBase/KylinHadoop集群之前必須部署好。與傳統(tǒng)數(shù)據(jù)庫相比，這種部署效率非常低。
低運維效率：Hive/HBase/Kylin基于Hadoop，Hadoop生態(tài)會帶來非常嚴重的生態(tài)單點故障問題是，Hadoop系統(tǒng)中任何組件的問題都可能導致整個系統(tǒng)的不可用性。使用傳統(tǒng)的數(shù)字倉庫對操作和維護有很高的要求。
低計算效率主要體現(xiàn)在Hive和Kylin這兩個數(shù)字倉庫沒有自己的存儲引擎和計算引擎，導致Hive和Kylin復雜的查詢只能依靠堆疊機來實現(xiàn)，而不能從數(shù)據(jù)本身開始。在大數(shù)據(jù)的后期，一些專門設計的數(shù)據(jù)存儲格式成為快速數(shù)據(jù)查詢的標準，這種現(xiàn)象得到了改變。HBase優(yōu)化的核心是重新設計的存儲引擎，使HBase能夠優(yōu)化數(shù)據(jù)本身的查詢速度。
2、延遲高
除了效率低下的缺點外，構(gòu)建在Hadoop以上的數(shù)倉引擎還面臨著高延遲的挑戰(zhàn)。高延遲主要體現(xiàn)在以下幾個方面。
查詢延遲高：使用Hive作為數(shù)倉，受限于HDFS性能瓶頸，Hive查詢速度慢，難以支撐低延遲場景，不能應用于實時計算場景。
寫入數(shù)據(jù)延遲高:也受限于HDFS，Hive數(shù)據(jù)寫入延遲也很高，這意味著數(shù)據(jù)不能實時寫入Hive，實時分析場景無法支撐。
3、成本高
傳統(tǒng)的數(shù)倉數(shù)倉引擎也會帶來高成本的挑戰(zhàn)，主要體現(xiàn)在以下幾個方面.
部署成本高:由于Hadoop的計算邏輯是通過堆積計算資源來攤銷復雜查詢的時間，如果需要達到理想的性能，集群中節(jié)點的數(shù)量必須達到一定的規(guī)模，否則由于計算效率低，單機很容易成為性能瓶頸。這就導致了Hive等基于Hadop的數(shù)字倉庫部署成本高的缺陷。
運維成本高:集群服務器達到一定規(guī)模后，運維成本會指數(shù)級上升。同時，由于Hadoop中的組件太多，任何組件的故障都可能導致整個服務不可用。因此，運維團隊必須包括所有組件的運維人員，否則運維團隊可能會很好地執(zhí)行任務。這也大大提高了運維團隊的人工成本。
存儲成本高：Hadoop為了避免集群中服務器故障造成的不可用性，HDFS默認使用三個副本策略來存儲數(shù)據(jù)，即數(shù)據(jù)將保存三個副本。這將大大提高存儲成本。即使新一代Hadop采用EC修改和刪除代碼技術來減少副本的數(shù)量，但有限的使用場景只適用于冷數(shù)據(jù)存儲，而不適用于經(jīng)常需要查詢的熱數(shù)據(jù)。
決策成本高：由于傳統(tǒng)大數(shù)據(jù)的高部署成本，企業(yè)在做決策時面臨著相對較大的決策成本。一方面，早期投資太大，短期內(nèi)看不到效果，長期效果難以說清楚。另一方面，即使企業(yè)決心建設數(shù)字倉庫，缺乏昂貴的基礎設施和專業(yè)技術人員也會導致長期的建設周期，長期的建設周期會帶來許多不可預測的變量，最終影響企業(yè)的決策。
本文摘編自《ClickHouse性能之巔:從架構(gòu)設計解讀性能之謎，經(jīng)出版商授權發(fā)布。(書號:9787111716587)請保留文章來源。
作為中國工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)的領導者，航天云網(wǎng)公司世界上第一個擁有完全獨立知識產(chǎn)權的工業(yè)互聯(lián)網(wǎng)平臺——航天云網(wǎng)絡INDICS平臺，已連續(xù)四年入選工業(yè)和信息化部“跨行業(yè)、跨領域”工業(yè)互聯(lián)網(wǎng)平臺。航天云網(wǎng)絡充分發(fā)揮作用INDICS平臺“新基礎設施”的主力軍和產(chǎn)業(yè)基礎賦能作用，全面聚焦“產(chǎn)業(yè)互聯(lián)網(wǎng)” 雙碳管理“工業(yè)互聯(lián)網(wǎng)” 安全生產(chǎn)“工業(yè)互聯(lián)網(wǎng)” 5G工業(yè)互聯(lián)網(wǎng) 產(chǎn)業(yè)集群等關鍵方向在幫助政府數(shù)字化治理、賦能企業(yè)數(shù)字化轉(zhuǎn)型升級方面取得了顯著成效數(shù)字經(jīng)濟蓬勃發(fā)展，積極貢獻航天力量，得到社會各界的廣泛認可和高度評價。
點擊更多信息資訊活動 – 國家工業(yè)互聯(lián)網(wǎng)平臺航天云網(wǎng)
