內(nèi)容摘要：云游戲超1億小時(shí)穩(wěn)定運(yùn)行的背后，元境保障體系的最佳實(shí)踐發(fā)布時(shí)間：2022-02-22 13:32:04來(lái)源：逗游作者：逗游網(wǎng)和平精英云游戲正式版大型云游戲男生精選游戲和平精英云游戲游戲類別：槍戰(zhàn)射擊游 上海徐匯空姐大學(xué)生兼職包夜服務(wù)vx《189=4143》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)

云游戲超1億小時(shí)穩(wěn)定運(yùn)行的云游億小元境背后，元境保障體系的戲超行最佳實(shí)踐

發(fā)布時(shí)間：2022-02-22 13:32:04來(lái)源：逗游作者：逗游網(wǎng)

和平精英云游戲正式版大型云游戲男生精選游戲和平精英云游戲

• 游戲類別：槍戰(zhàn)射擊
• 游戲大小：33.52M
• 游戲語(yǔ)言：簡(jiǎn)體中文
• 游戲版本：v4.9.2.3970405

點(diǎn)擊查看 游戲?qū)ｎ}

節(jié)假日一直是游戲行業(yè)的旺季,在“就地過(guò)年”的倡導(dǎo)下,春節(jié)期間的流量持續(xù)高漲,大多數(shù)游戲發(fā)行商非常重視這個(gè)時(shí)間窗口,眾多游戲更新了新春版本,期待著為玩家?guī)?lái)一場(chǎng)節(jié)日盛宴。2022年的時(shí)穩(wěn)上海徐匯空姐大學(xué)生兼職包夜服務(wù)vx《189=4143》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)春節(jié),是中國(guó)云游戲產(chǎn)業(yè)走向規(guī)模化迎來(lái)的第一個(gè)春節(jié)。相比去年,定運(yùn)的最云游戲整體流量上升了很大一個(gè)臺(tái)階,這對(duì)行業(yè)意義重大,對(duì)于阿里巴巴云游戲/元境的技術(shù)及運(yùn)維團(tuán)隊(duì)來(lái)講,也將經(jīng)歷一個(gè)前所未有的考驗(yàn)。

2021年云游戲從點(diǎn)對(duì)點(diǎn)云化全面進(jìn)入到大規(guī)模云移植階段,背后保障技術(shù)的進(jìn)一步成熟使得玩家體驗(yàn)大幅提高,云游戲在跨端、精品化、體系內(nèi)容創(chuàng)新等方面產(chǎn)生的佳實(shí)踐價(jià)值日益突顯,大批游戲廠商在云游戲上加大投入力度。元境基于全平臺(tái)、云游億小元境全終端、戲超行上海徐匯空姐大學(xué)生兼職包夜服務(wù)vx《189=4143》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)企業(yè)級(jí)服務(wù)保障的時(shí)穩(wěn)特點(diǎn),以及低延遲、云邊協(xié)同彈性調(diào)度、定運(yùn)的最弱網(wǎng)對(duì)抗等技術(shù)優(yōu)勢(shì),背后保障達(dá)成了眾多中大型客戶的合作,其中不乏頭部、現(xiàn)象級(jí)的體系游戲廠商和平臺(tái)。截至2021年底,佳實(shí)踐元境累計(jì)服務(wù)的云游戲時(shí)長(zhǎng)已突破1億小時(shí)。

數(shù)字增長(zhǎng)的云游億小元境同時(shí),也對(duì)云游戲的運(yùn)行效率、運(yùn)維保障提出更高的要求和更全面的挑戰(zhàn)

挑戰(zhàn)一:云化適配與部署的效率和吞吐能力

春節(jié)期間,為提升用戶的活躍度及付費(fèi)率,與元境合作的多家游戲廠商對(duì)其云游戲版本進(jìn)行了更新,增加全新的角色、場(chǎng)景、活動(dòng)等內(nèi)容,更新的包體較大;而游戲平臺(tái)類客戶則會(huì)批量上線和更新云游戲,上線數(shù)量多、時(shí)間集中。大包體更新、大批量云化、集中性部署,這些需求對(duì)于云游戲技術(shù)服務(wù)商而言挑戰(zhàn)很大。不僅需要具備彈性擴(kuò)容的基礎(chǔ)設(shè)施,還要擁有更加智能化的技術(shù)方案。考驗(yàn)著服務(wù)商的云化適配與部署效率和并發(fā)吞吐能力。

挑戰(zhàn)二:高流量、復(fù)雜場(chǎng)景的調(diào)度能力

春節(jié)期游戲流量高峰加之云游戲規(guī)模化上量,雙重因素影響下,元境面臨的核心課題是:如何在突發(fā)的流量高峰、復(fù)雜的使用場(chǎng)景下,在極短的時(shí)間內(nèi)把云游戲?qū)嵗行У恼{(diào)度給玩家,從而降低玩家排隊(duì)時(shí)間、保障玩家流暢的游戲體驗(yàn)和穩(wěn)定的運(yùn)行環(huán)境。

揭秘元境“從云基座到業(yè)務(wù)層”的一體化保障體系

面對(duì)春節(jié)期間游戲廠商、平臺(tái)、玩家等多角色的需要,元境技術(shù)和運(yùn)維團(tuán)隊(duì)基于大規(guī)模高并發(fā)的企業(yè)級(jí)服務(wù)經(jīng)驗(yàn)、專項(xiàng)7x24h實(shí)時(shí)監(jiān)控、自動(dòng)化系統(tǒng)等能力,實(shí)現(xiàn)從云基座到業(yè)務(wù)層的一體化保障,出色地完成了百余家客戶的云游戲穩(wěn)定運(yùn)行,保障了云游戲玩家流暢、穩(wěn)定的體驗(yàn)。以下為保障體系大圖。

自研云邊協(xié)同彈性調(diào)度,確保以最近的節(jié)點(diǎn)高效服務(wù)玩家

要把云游戲的基礎(chǔ)能力用好,需要投入一些新的研發(fā)工作,過(guò)去的云端計(jì)算,其運(yùn)行環(huán)境與基礎(chǔ)條件相對(duì)標(biāo)準(zhǔn)化。而云游戲作為一個(gè)新的云端很重的計(jì)算任務(wù),需要更低的延遲和更穩(wěn)定的數(shù)據(jù)交互,這就需要將算力高效的使用起來(lái),將基礎(chǔ)設(shè)施的優(yōu)勢(shì)更好的發(fā)揮出來(lái)。

云游戲最容易被提出來(lái)的挑戰(zhàn)是延遲高,在整個(gè)鏈路中浮動(dòng)最大的是網(wǎng)絡(luò)延遲,在這方面主要關(guān)注云主機(jī)離這個(gè)玩家多遠(yuǎn)、邊緣部署多廣泛,能不能找到離玩家足夠近的節(jié)點(diǎn)。

元境基于阿里云在全國(guó)范圍內(nèi)可覆蓋的數(shù)千個(gè)邊緣節(jié)點(diǎn),實(shí)現(xiàn)31個(gè)省運(yùn)營(yíng)商全覆蓋,網(wǎng)絡(luò)延遲可低于5ms。與此同時(shí),元境在去年非常重要的一個(gè)投入就是把邊緣云和公共云真正的協(xié)同調(diào)度起來(lái),把邊緣節(jié)點(diǎn)的算力、存儲(chǔ)等資源和云計(jì)算資源統(tǒng)一管理起來(lái),形成“邏輯集中,物理分散”的高效協(xié)同。

正因?yàn)樵吃谠七厖f(xié)同上的投入,今年春節(jié)期間才得以在流量突增、運(yùn)維工作量增加和環(huán)境復(fù)雜度變高的情況下,實(shí)現(xiàn)了更高的運(yùn)行效率,保障了玩家的低延遲、流暢的云游戲體驗(yàn)。

針對(duì)游戲行業(yè)的特性提供專屬的保障方案

春節(jié)期間,元境支持了多家客戶的大包體更新。通常情況下,云游戲版本更新會(huì)將其全量包體進(jìn)行更新,但當(dāng)更新包體較大且用戶數(shù)量較多時(shí),受限于機(jī)房及帶寬的容量和彈性,常規(guī)方案很難支持。元境基于充足的機(jī)房、帶寬及自研的更新方案,幫助客戶以增量的方式完成大包體的快速更新,在線上高流量的情況下,版本更新時(shí)長(zhǎng)降低了80%,保障了游戲更新的及時(shí)性和安全性。

對(duì)于平臺(tái)類客戶,保障平臺(tái)上數(shù)百款游戲的云化適配、平臺(tái)云游戲批量上線的時(shí)效性非常重要。元境通過(guò)自動(dòng)適配能力加之春節(jié)期間值班保障,分鐘級(jí)響應(yīng)客戶更新適配訴求,全力保障云化適配的產(chǎn)量,提升云化適配的效率。

建立云游戲場(chǎng)景下的AIOps智能運(yùn)維大腦,保障客戶業(yè)務(wù)的穩(wěn)定運(yùn)行

元境基于阿里巴巴主流AIOps理念,建立云游戲場(chǎng)景下的智能運(yùn)維大腦,從發(fā)現(xiàn)故障,到根因分析,再到具體的修復(fù)動(dòng)作,實(shí)現(xiàn)云游戲的自動(dòng)化運(yùn)維流程。

傳統(tǒng)的運(yùn)維工作大多在事中和事后進(jìn)行處理,運(yùn)維工作需要耗費(fèi)大量的人力及物力,在傳統(tǒng)方式下無(wú)法滿足高質(zhì)量的云游戲體驗(yàn)和大規(guī)模服務(wù)的訴求。因此元境運(yùn)維大腦引入AI算法,通過(guò)軟硬件故障預(yù)測(cè)、檢測(cè)的方式,來(lái)科學(xué)指導(dǎo)穩(wěn)定性的工作,分別在游戲運(yùn)行環(huán)境性能衰退前和觸發(fā)故障前進(jìn)行提前處理。

診斷是一個(gè)根因分析的過(guò)程,非常強(qiáng)調(diào)領(lǐng)域知識(shí),在元境服務(wù)的過(guò)程中,與阿里云IaaS團(tuán)隊(duì)共同分析各類軟硬件故障及修復(fù)方案,結(jié)合歸因分析方法論,沉淀出一整套的根因分析方案。最后修復(fù)動(dòng)作的選擇依賴充分的決策,即使在全自動(dòng)化的方式下,由于各客戶的業(yè)務(wù)場(chǎng)景不同,游戲運(yùn)行環(huán)境的不同,也需要針對(duì)不同的觸發(fā)源具備不同的修復(fù)策略,通過(guò)智能化決策能夠有效地提升故障修復(fù)的時(shí)效性和有效性。

春節(jié)期間智能運(yùn)維大腦日決策數(shù)千次,自動(dòng)化治愈率達(dá)到96%,極大的提升了云游戲基座的穩(wěn)定性,在春節(jié)期間大規(guī)模擴(kuò)量的情況下,為客戶帶來(lái)穩(wěn)定的運(yùn)行和玩家流暢的體驗(yàn)。

保障團(tuán)隊(duì)與運(yùn)營(yíng)方式:復(fù)用阿里雙11的保障體系與平臺(tái)

為保障客戶的云游戲在春節(jié)期間穩(wěn)定運(yùn)行,元境的技術(shù)及運(yùn)維團(tuán)隊(duì)早在兩個(gè)月前便開始制定作戰(zhàn)計(jì)劃。考慮到假期的各種影響因素,元境在智能化運(yùn)維大腦的基礎(chǔ)上,結(jié)合了阿里雙11的保障經(jīng)驗(yàn),復(fù)用阿里雙11的保障體系和系統(tǒng)平臺(tái)。前期從業(yè)務(wù)規(guī)劃、容量準(zhǔn)備、風(fēng)險(xiǎn)盤點(diǎn)、應(yīng)急預(yù)案、性能優(yōu)化、封網(wǎng)管控、安全加固、值班協(xié)同等方面開展全方位的準(zhǔn)備工作,把保障工作在事前扎實(shí)準(zhǔn)備;保障期間開展多次故障場(chǎng)景與業(yè)務(wù)場(chǎng)景突襲演練,驗(yàn)證技術(shù)平臺(tái)的運(yùn)維穩(wěn)定性,以及人員的應(yīng)急響應(yīng)速度和質(zhì)量;結(jié)合移動(dòng)化的平臺(tái)工具,做到了掌間運(yùn)維,高效協(xié)同。

與傳統(tǒng)游戲的運(yùn)維、運(yùn)行都在廠商這一側(cè)不同,云游戲的運(yùn)維和運(yùn)行一般由服務(wù)商來(lái)完成,這就對(duì)云游戲的技術(shù)服務(wù)商提出了非常高的要求。

隨著游戲產(chǎn)業(yè)內(nèi)容精品化、運(yùn)行全端化的需求日漸強(qiáng)烈,將會(huì)有更多游戲企業(yè)布局云游戲,云游戲產(chǎn)業(yè)將會(huì)迎來(lái)新一輪的增長(zhǎng)。元境作為面向云游戲時(shí)代的研運(yùn)一體化服務(wù)平臺(tái),將會(huì)持續(xù)地在技術(shù)上、運(yùn)維能力上做更多投入,不斷提升自動(dòng)化、智能化的運(yùn)維水平,更好地支持廣闊的云游戲世界,為中國(guó)云游戲產(chǎn)業(yè)進(jìn)入規(guī)模化時(shí)代提供有力的支撐。