近日，2021騰訊數(shù)字生態(tài)大會在武漢舉行，大會以“數(shù)實(shí)融合·綻放新機(jī)”為主題，邀請了300多位產(chǎn)業(yè)領(lǐng)袖和專家，展示前沿技術(shù)成果、創(chuàng)新服務(wù)場景、細(xì)分行業(yè)數(shù)字化轉(zhuǎn)型的實(shí)踐案例。作為騰訊云最佳生態(tài)合作伙伴，作業(yè)幫受邀出席，作業(yè)幫大數(shù)據(jù)平臺技術(shù)部負(fù)責(zé)人劉晉在“大數(shù)據(jù)”專場與參會者分享作業(yè)幫大數(shù)據(jù)平臺架構(gòu)的演進(jìn)之路，系統(tǒng)地介紹了作業(yè)幫大數(shù)據(jù)平臺概況、面臨的問題和解決方法，以及在彈性、數(shù)據(jù)湖、數(shù)據(jù)安全的實(shí)踐經(jīng)歷和取得的效果。

彈性能力持續(xù)豐富 算力利用率最大化

劉晉表示，作業(yè)幫從2015年開始就使用存算分離的架構(gòu)來構(gòu)建離線的數(shù)據(jù)體系，該系統(tǒng)架構(gòu)讓計(jì)算、存儲資源具備極好的擴(kuò)展性，降低運(yùn)維成本、優(yōu)化TCO。為了提升在線集群資源利用率、滿足突發(fā)的資源使用需求，團(tuán)隊(duì)正在將計(jì)算層從自建CDH到EMR的遷移。

為了實(shí)現(xiàn)平滑的遷移，團(tuán)隊(duì)采用了漸進(jìn)式的方案，首先對任務(wù)進(jìn)行標(biāo)準(zhǔn)化測試，對一些不適合高版本Hive環(huán)境的任務(wù)進(jìn)行了改造，之后進(jìn)行數(shù)據(jù)準(zhǔn)確性的檢驗(yàn)，通過對任務(wù)在不同集群的結(jié)果對比來驗(yàn)證數(shù)據(jù)，這個過程中對發(fā)現(xiàn)的開源版本缺陷進(jìn)行修復(fù)，最后進(jìn)行分隊(duì)列的遷移。

從遷移后的效果來看，基于EMR-EKS能快速的彈性擴(kuò)容，今年上半年團(tuán)隊(duì)基于彈性在短時間內(nèi)擴(kuò)容了上萬核，很好的滿足了計(jì)算需求。同時正在實(shí)施在線離線混布的方案，通過彈性網(wǎng)卡做了硬件層面的網(wǎng)絡(luò)隔離，并且對Yarn的原生調(diào)度模式進(jìn)行優(yōu)化，縮短了節(jié)點(diǎn)回收的時間，避免慢節(jié)點(diǎn)影響任務(wù)執(zhí)行效率。

數(shù)據(jù)湖技術(shù)加持 湖倉一體實(shí)踐探索

在傳統(tǒng)基于Hadoop的數(shù)倉應(yīng)用里，存在著數(shù)據(jù)查詢慢，數(shù)據(jù)模型更新成本過高、以及數(shù)據(jù)冗余等諸多的缺點(diǎn)，作業(yè)幫通過Iceberg的數(shù)據(jù)湖技術(shù)，結(jié)合實(shí)際的使用場景，在數(shù)倉和即席查詢領(lǐng)域進(jìn)行了積極的探索和實(shí)踐。

首先通過Flink構(gòu)建實(shí)時Pipeline，生成ODS層分鐘級的IceBerg數(shù)倉表，再通過事件驅(qū)動來周期性的做流轉(zhuǎn)批生成具有時間邊界的分區(qū)，對分區(qū)內(nèi)數(shù)據(jù)通過Zorder、DataSkipping技術(shù)來做查詢加速，在流量域的用戶行為查詢中，使用Iceberg的查詢相比傳統(tǒng)模式有近10倍以上的提升。

劉晉表示，作業(yè)幫在批計(jì)算、實(shí)時、OLAP等領(lǐng)域有豐富的應(yīng)用場景，未來作業(yè)幫技術(shù)團(tuán)隊(duì)將持續(xù)建設(shè)創(chuàng)新技術(shù)體系，在數(shù)據(jù)治理、數(shù)據(jù)湖、自動調(diào)度、離在線混布、OLAP、實(shí)時計(jì)算等領(lǐng)域不斷的實(shí)踐和突破，充分發(fā)揮數(shù)據(jù)價值，賦能教育創(chuàng)新。

關(guān)鍵詞： 作業(yè)幫