當(dāng)前位置:首頁(yè) >  科技 >  IT業(yè)界 >  正文

Hadoop大數(shù)據(jù)“存算分離”,柏科數(shù)據(jù) ISCloud分布式存儲(chǔ)"提質(zhì)增效"

 2021-08-24 17:09  來(lái)源: 互聯(lián)網(wǎng)   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

數(shù)據(jù)湖的發(fā)展契機(jī),來(lái)源于近年來(lái)的AI熱潮和云計(jì)算、5G的發(fā)展,在日益發(fā)展的海量數(shù)據(jù)時(shí)代,數(shù)據(jù)已成為企業(yè)發(fā)展的核心資產(chǎn),通過(guò)構(gòu)建適用于大數(shù)據(jù)的底層架構(gòu),圍繞Hadoop提供語(yǔ)義一致性、數(shù)據(jù)治理和安全性。

Hadoop作為數(shù)據(jù)湖最常用的解決方案之一,其的部署和需求仍然很大并且正在增長(zhǎng)。在最近的一項(xiàng)涉及235名受訪(fǎng)者的調(diào)查中,34%的受訪(fǎng)者目前正在使用Hadoop進(jìn)行數(shù)據(jù)和分析工作,另有55%的受訪(fǎng)者計(jì)劃在未來(lái)24個(gè)月內(nèi)采取同樣方案,總計(jì)需求量達(dá)到89%(Gartner,2016)。

在Hadoop大數(shù)據(jù)平臺(tái)方案中,當(dāng)存儲(chǔ)空間或計(jì)算資源不足時(shí),只能同時(shí)對(duì)兩者進(jìn)行擴(kuò)容,將導(dǎo)致額外成本的增加。假設(shè)用戶(hù)對(duì)存儲(chǔ)資源的需求遠(yuǎn)大于對(duì)計(jì)算資源的需求,那么同時(shí)擴(kuò)容計(jì)算和存儲(chǔ)后,新擴(kuò)容的計(jì)算資源就被浪費(fèi)了,反之,存儲(chǔ)資源被浪費(fèi)。獨(dú)立擴(kuò)展計(jì)算或存儲(chǔ)的架構(gòu)設(shè)計(jì),被認(rèn)為是更加靈活的擴(kuò)容方式。

因此,業(yè)內(nèi)新擴(kuò)容方式“存算分離”架構(gòu)的優(yōu)勢(shì)逐漸明顯,“存算分離”成了大數(shù)據(jù)架構(gòu)發(fā)展的必然趨勢(shì),成了解決行業(yè)用戶(hù)在使用Hadoop時(shí),面臨計(jì)算資源浪費(fèi)、存儲(chǔ)性能低、管理成本過(guò)高等痛點(diǎn)的利器。最初在Hadoop1.0時(shí)代,計(jì)算和存儲(chǔ)是高度融合的,僅能處理單一的MapReduce分析業(yè)務(wù);如今已經(jīng)到了Hadoop3.0時(shí)代,計(jì)算存儲(chǔ)走向分離,通過(guò)Hadoop架構(gòu)策略,優(yōu)化了冷熱數(shù)據(jù)的存儲(chǔ)。打造了更適合企業(yè)級(jí)市場(chǎng),資源云化和靈活擴(kuò)展,能夠讓用戶(hù)享受更專(zhuān)業(yè)的存儲(chǔ),更佳的可靠性和利用率。

ISCloud分布式存儲(chǔ)系統(tǒng)面向海量數(shù)據(jù)場(chǎng)景,針對(duì)大數(shù)據(jù)Apache Hadoop等應(yīng)用場(chǎng)景,提供原生接口,將原生Hadoop集群從當(dāng)前計(jì)算、存儲(chǔ)一體化狀態(tài),拆分成計(jì)算和存儲(chǔ)兩個(gè)獨(dú)立集群,實(shí)現(xiàn)“存算分離”形式,充分吸納計(jì)算、存儲(chǔ)兩個(gè)產(chǎn)業(yè)的最終成果,加速釋放數(shù)據(jù)價(jià)值。

• 提供標(biāo)準(zhǔn)接口,實(shí)現(xiàn)智能化負(fù)載均衡

非結(jié)構(gòu)化的原始數(shù)據(jù)可以通過(guò)Sqoop、DistCp等工具直接存儲(chǔ)在ISCloud分布式存儲(chǔ)上,業(yè)務(wù)數(shù)據(jù)庫(kù)結(jié)構(gòu)化數(shù)據(jù)和應(yīng)用數(shù)據(jù)可以通過(guò)Spark、Kafka等HBase分布式數(shù)據(jù)倉(cāng)及Hadoop大數(shù)據(jù)Hive倉(cāng)庫(kù)內(nèi)。HBase表數(shù)據(jù)和Hive內(nèi)部表數(shù)據(jù)仍然通過(guò)HDFS來(lái)存儲(chǔ)。ISCloud分布式存儲(chǔ)在存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù),甚至是海量小文件的同時(shí),減輕HBase及Hive的壓力,為后續(xù)擴(kuò)容單一屬性集群提供基礎(chǔ)。

? 協(xié)議互通特性,提高數(shù)據(jù)分析效率

ISCloud分布式存儲(chǔ)采用多種協(xié)議互通技術(shù),部署語(yǔ)義抽象層,面對(duì)多樣化結(jié)構(gòu)數(shù)據(jù)提供適合文件、對(duì)象、塊及大數(shù)據(jù)的原生語(yǔ)義,為Apache Hadoop計(jì)算層提供了標(biāo)準(zhǔn)的Hadoop文件系統(tǒng)API,支持文件、大數(shù)據(jù)接口訪(fǎng)問(wèn),免數(shù)據(jù)遷移,縮短分析路徑。實(shí)現(xiàn)多集群數(shù)據(jù)融合互通,提升數(shù)據(jù)共享和分析效率。

• 降本增效,大幅降低TCO

隨著大數(shù)據(jù)應(yīng)用的全面普及,存算分離已成為企業(yè)大數(shù)據(jù)平臺(tái)建設(shè)的首選。采用全對(duì)稱(chēng)分布式NameNode,集群性能和支持文件數(shù)隨節(jié)點(diǎn)數(shù)目增加,單一命名空間支持文件數(shù)達(dá)百億級(jí)。計(jì)算存儲(chǔ)分離,按需擴(kuò)展,實(shí)現(xiàn)精準(zhǔn)投資。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
數(shù)據(jù)存儲(chǔ)

相關(guān)文章

  • 鵬云網(wǎng)絡(luò)分布式塊存儲(chǔ)社區(qū)版問(wèn)世,首發(fā)開(kāi)源存儲(chǔ)解決方案

    2023年1月,南京鵬云網(wǎng)絡(luò)科技有限公司(簡(jiǎn)稱(chēng):鵬云網(wǎng)絡(luò))正式宣布開(kāi)源ZettaStorDBS分布式塊存儲(chǔ)系統(tǒng),開(kāi)放了自研10余年的分布式塊存儲(chǔ)技術(shù),自此踏上了“自研”與“開(kāi)源”一體并行的生態(tài)閉環(huán)之路。研發(fā)十年,挑戰(zhàn)塊存技術(shù)上限成本、效率、高可用,一直都是企業(yè)IT系統(tǒng)建設(shè)所追求的重要關(guān)鍵點(diǎn),這三點(diǎn)在

  • “效能再進(jìn)化,數(shù)據(jù)更安全”威聯(lián)通舉行QTS 5.1.0及次世代NAS發(fā)布會(huì)

    2023年5月9日,以“效能再進(jìn)化,數(shù)據(jù)更安全”為主題,威聯(lián)通2023年新品發(fā)布會(huì)在上海隆重舉行,多家媒體、合作伙伴及威聯(lián)通愛(ài)好者蒞臨現(xiàn)場(chǎng),共同見(jiàn)證NAS網(wǎng)絡(luò)存儲(chǔ)行業(yè)朝向更高品質(zhì)、更強(qiáng)性能、更好安全性的再次啟航。威聯(lián)通QTS5.1.0系統(tǒng)發(fā)布時(shí)下,網(wǎng)絡(luò)存儲(chǔ)行業(yè)已從萌芽時(shí)代步入增速發(fā)展關(guān)鍵期,用戶(hù)對(duì)數(shù)

  • 面向海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ),QingStor U10000幫助企業(yè)解鎖數(shù)據(jù)價(jià)值

    隨著經(jīng)濟(jì)社會(huì)數(shù)字化轉(zhuǎn)型的加速,各行各業(yè)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)持續(xù)呈現(xiàn)井噴增長(zhǎng)態(tài)勢(shì)。而為了科學(xué)高效地利用這些非結(jié)構(gòu)化數(shù)據(jù),為企業(yè)加速數(shù)字化轉(zhuǎn)型打牢基礎(chǔ),在實(shí)現(xiàn)數(shù)據(jù)穩(wěn)定、專(zhuān)業(yè)的存儲(chǔ)的前提下,推動(dòng)數(shù)據(jù)的合理流動(dòng)是關(guān)鍵。作為業(yè)內(nèi)技術(shù)領(lǐng)先的企業(yè)級(jí)云服務(wù)商與數(shù)字化解決方案提供商,青云科技(qingcloud.com

  • 得一微對(duì)話(huà)Arm,打造計(jì)算型存儲(chǔ)新生態(tài)

    高可靠存儲(chǔ)控制芯片、高端汽車(chē)存儲(chǔ)芯片等領(lǐng)域都已成為備受矚目的黃金賽道,被持續(xù)加大研發(fā)投入,頗受市場(chǎng)認(rèn)可。在這樣的市場(chǎng)背景下,得一微電子CEO吳大畏與Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健展開(kāi)生態(tài)對(duì)話(huà),圍繞存儲(chǔ)控制技術(shù)及應(yīng)用市場(chǎng)展開(kāi)了探討,雙方將在ComputationalStorage計(jì)算存儲(chǔ)領(lǐng)域芯片

  • 百代可信OSS引領(lǐng)國(guó)產(chǎn)存儲(chǔ)技術(shù)新革命!

    近期互聯(lián)網(wǎng)圈頂流“ChatGPT”憑借著“天上文曲星”般的智能表現(xiàn)火速破圈,在諸如內(nèi)容生成、搜索引擎優(yōu)化、智能問(wèn)答等領(lǐng)域展現(xiàn)出了巨大潛力,引發(fā)了人工智能領(lǐng)域的新一輪技術(shù)升級(jí)與產(chǎn)業(yè)重塑,一個(gè)AI大規(guī)模商業(yè)化的時(shí)代正悄然來(lái)臨。AI大規(guī)模商業(yè)化時(shí)代背景,勢(shì)必伴隨著背后海量級(jí)的數(shù)據(jù)存儲(chǔ),數(shù)據(jù)就是一切,是支撐

熱門(mén)排行

信息推薦