首頁 | 滾動 | 國內 | 國際 | 運營 | 制造 | 終端 | 監管 | 原創 | 業務 | 技術 | 報告 | 博客 | 特約記者
手機 | 互聯網 | IT | 5G | 光通信 | LTE | 云計算 | 三網融合 | 芯片 | 電源 | 虛擬運營商 | 測試 | 移動互聯網 | 會展
首頁 >> 運營 >> 正文

應對大規模數據集群治理,聯通大數據這么做

2019年6月10日 11:02  CCTIME飛象網  

維克多在2012年出版的《大數據時代》一書中曾預測:數據列入企業資產負債表只是時間問題。如今,伴隨著新興科技手段的融合創新,大數據已經應用到了我們生活中的方方面面,數據資產的概念已逐漸得到國內外企業的強烈認同。

但是,數據和企業資產可以直接劃等號嗎?實際情況是,沒有經過系統管理和規劃治理的數據集群,不僅很難為企業創造實際效益,而且還將帶來權限混亂、計算能力下降、冗余存儲計算、資源浪費等問題,使整個數據集群處于“亞健康”狀態。

那么,是否有正本清源的應對方案呢?聯通大數據有限公司技術部負責人李大中日前在2019大數據產業峰會-大數據前沿技術論壇進行分享,他以《聯通大規模數據集群治理實踐》為主題,分享運營商在數據資產管理方面的經驗和對策。

下文為李大中演講內容整理:

聯通大數據有限公司承擔著聯通大數據能力建設和對外服務運營職能,目前平臺存儲容量達100PB,Hadoop集群超過6000個節點,數據模型數量達2000余個。作為運營商在數據治理過程中,既要面對大數據量的實時處理需求,也必須從成本角度考慮集群算力配置、安全合規等方面的要求。大數據是一個高成本行業,集群算力成本是其中主要部分。

通過參考行業的治理經驗,并結合公司業務和組織架構特點,我們總結出了一套適合公司業務發展的數據資產管理體系,也就是“疏整促+巡山+DataValue”數據資產管理體系:基于“疏整促”工程構建的全生命周期數據管控治理體系,基于“巡山”工程構建的大規模集群治理體系,基于“DataValue”工程實現對外數據價值經營,三大工程同步推進,形成數據治理+集群治理+數據價值的整體協同效應。

在實際執行中,“巡山”工程作為 切入點首先啟動,效果也最為明顯。在大規模集群計算環境處于亞健康的狀態下,我們將治理工作分解為兩階段:首要任務是解決亞健康問題,即保障集群資源算力可用、確保集群穩定性、業務連續性;長期和更為重要任務是保持健康狀態,即持續有效的監督數據治理工程的效果。

關于大規模數據集群治理的推進方法論,由于集群治理涉及到從采集、清洗到模型加工,從平臺運維崗到產品開發崗,幾乎涵蓋了公司的整個技術線和產品線上百人工作內容,所以采用自上而下的頂層設計的方式是不現實的,我們采用的是自下而上、自發協同、精益推進式的數據集群治理文化。從發現問題點入手,由點帶面找到原因、制定解決策略并建立相應的監督點,最終逐漸形成體系;通過某幾個環節治理成果顯性化,帶動整個公司生產組織體系逐漸形成治理文化。

在治理過程中,針對我們遇到過的幾個重要的點向大家介紹一下思路:

1.     HDFS&YARN作業深度監控

針對小文件過多、文件量過大、耗資源大等情況,聯通大數據通過自主研發一套統一元數據實時采集平臺對Fsimage和EditLog進行反序列化解析,實時批量獲取資源隊列信息、文件目錄、作業任務信息等內容,通過多維關聯畫像洞察疑似異常作業,推動作業優化和監控優化效果。最終集群文件數量從接近8000萬下降為3000萬,平均文件大小提升4倍。集群資源負載從每天幾乎處于打滿狀態,下降為不到70%。每年節約固定資產投入上千萬元。

2.     RPC請求和關鍵服務預警

針對集群RPC經常出現請求延時過大,甚至達到秒級,導致集群處于停擺不可用狀態,通過采集JMX指標、服務連接數、堆棧信息、GC等信息進行關聯畫像,并下鉆洞察相關作業,精準定位待優化作業。優化后集群RPC請求延時大幅減少,下降為毫秒級別。

3.     重復加工/冗余計算挖掘

針對數據重復加工、冗余計算等情況,估計大家的系統中或多或少都存在,這種情況直接導致資源被浪費。我們通過對HDFS JOB BINARY FILE分析,定位疑似冗余計算作業,這種方式同組織架構復雜度無關、不依賴上層業務輸入,其核心思想就是通過提取出具有相同輸入路徑的作業,以目錄維度視角挖掘疑似重復作業,優化后集群資源降低10%以上。

4.     重構元數據管理、血緣分析應用

針對數據加工流向追溯、敏感數據難以有效跟蹤等情況,通過對HIVE執行日志進行SOL解析,以及通過對SPARK作業輸入輸出目錄畫像,以無侵入方式建設企業級全域元數據平臺,提供全域物理視圖、業務視圖、元數據變更跟蹤監控、全域數據血緣關系圖等核心功能,滿足復雜的追溯需求以及故障范圍評估。

談及在治理過程中的感受,李大中指出:“大規模數據集群治理并非單人、單項目組能夠完成的,而是需要以文化滲透的形式動員到公司生產開發組織體系中,采用自下而上自發協同,以OKR而非KPI的方式管理,在解決問題的過程中不斷調整目標,從而建成持續優化的治理體制。當然,技術人員也要擁抱和吃透大數據開源技術,采用開創性的思維去解決問題。”

編 輯:霏雯
免責聲明:刊載本文目的在于傳播更多行業信息,不代表本站對讀者構成任何其它建議,請讀者僅作參考,更不能作為投資使用依據,請自行核實相關內容。
相關新聞              
 
人物
紫光展銳CEO楚慶:成熟的半導體公司極其稀缺而珍貴
精彩專題
2019年世界移動大會
中興MWC19世界移動大會
2018年度中國光電纜優質供應商評選結果
聚焦2018年中國國際信息通信展
CCTIME推薦
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2017 By CCTIME.COM
京ICP備08004280號  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像
鸿胜国际体育博彩 阿克苏市| 轮台县| 象州县| 嵊泗县| 竹北市| 青铜峡市| 祁连县| 登封市| 广平县| 湘西| 永新县| 遵义市| 土默特右旗| 平凉市| 垦利县| 木兰县| 本溪市| 德保县| 达拉特旗| 兴仁县| 屯门区| 屏南县| 射阳县| 会昌县| 浙江省| 贡嘎县| 吉隆县| 砀山县| 渝北区| 睢宁县| 安宁市| 萍乡市| 长沙市| 剑河县| 通海县| 陕西省| 嫩江县| 临泉县| 逊克县| 抚顺县| 达孜县| 时尚| 黔东| 江孜县| 巩义市| 杭锦旗| 崇信县| 平邑县| 常德市| 太原市| 鸡泽县| 永胜县| 广饶县| 宣威市| 神池县| 武功县| 电白县| 莱州市| 韶关市| 拜城县| 巴南区| 胶南市| 汉寿县| 靖宇县| 自贡市| 旺苍县| 左权县| 马龙县| 阜新| 潢川县| 利辛县| 左云县| 都兰县| 呼图壁县| 大丰市| 隆子县| 芒康县| 二连浩特市| 扶风县| 马山县| 安西县| 上虞市| 岢岚县| 甘谷县| 漾濞| 慈溪市| 纳雍县| 新民市| 金华市| 龙游县| 北票市| 本溪| 云霄县| 潞西市| 荃湾区| 竹溪县| 贺兰县| 常山县| 沁阳市| 都江堰市| 会同县| 潮州市| 平利县| 当阳市| 襄城县| 丽江市| 石柱| 大城县| 北票市| 育儿| 靖江市| 平乐县| 尤溪县| 太康县| 成安县| 濮阳县| 洪湖市| 明光市| 武清区| 察雅县| 那曲县| 荔浦县| 安塞县| 华阴市| 喀喇沁旗| 慈溪市| 安义县| 上林县| 缙云县| 宝坻区| 建宁县| 成都市| 二连浩特市| 南皮县| 湘乡市| 南江县| 罗定市|