近日，斯坦福大學(xué)DAWNBenchImageNet很新成績公布全面協議，阿里超過Google重要部署、Facebook等，摘下四個榜單的世界第一工具。

128卡V100上智慧與合力，練習(xí)ResNet50喜愛，只需要158秒就能獲得top593%的精度。

在10000張圖片的驗(yàn)證集進(jìn)行圖片分類開放要求，top5精度不低于93%向好態勢，推理性能比第二名快5倍以上。

可以說迎來新的篇章，不論是練習(xí)的性能和成本共創美好，還是推理的性能和成本，都體現(xiàn)出阿里在異構(gòu)計(jì)算領(lǐng)域具有很高級AI軟硬件一體化極致性能優(yōu)化能力薄弱點。

阿里是如何做到的覆蓋範圍？四項(xiàng)冠軍得主——阿里云異構(gòu)計(jì)算團(tuán)隊(duì)分享了背后的技術(shù)秘密。

斯坦福的DAWNBench積極性，是一個端到端的深度學(xué)習(xí)模型練習(xí)和推理性能的基準(zhǔn)測試平臺又進了一步，由斯坦福大學(xué)在2021的NIPS會議上發(fā)布，之后得到業(yè)界廣泛支持多元化服務體系。

Google規劃、Facebook和VMWARE等世界知名公司先后加入。DAWNBench已成為人工智能領(lǐng)域很具影響力深度、很權(quán)威的排行榜單之一帶動擴大。

對于AI計(jì)算而言，很重要的兩個指標(biāo)是性能和成本開拓創新。很新的成績公布后持續發展，顯示了阿里云在練習(xí)和推理領(lǐng)域軟硬件一體化很高級性能優(yōu)化能力。

阿里云異構(gòu)計(jì)算AI加速團(tuán)隊(duì)透露促進善治，很重要的武器是阿里云自研的飛天AI加速引擎AIACC擴大、阿里云自研芯片含光800（簡稱AliNPU）以及阿里云異構(gòu)計(jì)算云服務(wù)。

AIACC是阿里云自研的AI加速引擎發揮效力，是業(yè)界首次統(tǒng)一加速Tensorflow新格局、PyTorch、MxNet安全鏈、Caffe顯示、Kaldi等AI主流計(jì)算框架的加速引擎，其中包括練習(xí)加速引擎AIACC-Training和推理加速引擎AIACC-Inference真正做到。

練習(xí)加速引擎針對分布式的網(wǎng)絡(luò)做了性能優(yōu)化重要作用，能夠充分發(fā)揮分布式網(wǎng)絡(luò)的通信能力，推理加速引擎針對阿里云異構(gòu)計(jì)算云服務(wù)（包括GPU云服務(wù)和NPU云服務(wù)）做了針對性深度的性能優(yōu)化習慣，能夠發(fā)揮異構(gòu)加速設(shè)備的計(jì)算能力充足。

以NVidiaGPU為例，目前業(yè)界很快的推理引擎是TensorRT的積極性，而AIACC-Inference的計(jì)算性能比TensorRT還能獲得1.5～2.5倍的性能加速比綠色化發展。

含光800是阿里巴巴第一顆自研AI芯片至關重要，也是全球性能很強(qiáng)的AI推理芯片，主要用于云端視覺處理場景用上了，性能打破了現(xiàn)有AI芯片記錄提升行動，性能及能效比全球第一。

在業(yè)界標(biāo)準(zhǔn)的ResNet-50測試中關註，含光800推理性能達(dá)到78563IPS研究進展，比目前業(yè)界很好的AI芯片性能高4倍；能效比500IPS/W機遇與挑戰，是第二名的3.3倍廣泛關註，而AIACC-Inference也能夠充分揮發(fā)含光800超高的計(jì)算能力，這是阿里云軟硬件一體化極致性能優(yōu)化的典范集成技術。

阿里云異構(gòu)計(jì)算云服務(wù)將GPU就能壓製、FPGA、NPU等異構(gòu)計(jì)算設(shè)備整合適應能力，通過云計(jì)算服務(wù)的方式對客戶提供異構(gòu)計(jì)算服務(wù)更優美。

隨著人工智能浪潮的興起，越來越多的AI計(jì)算都采用異構(gòu)計(jì)算來實(shí)現(xiàn)性能加速防控，而阿里云異構(gòu)計(jì)算服務(wù)成效與經驗，構(gòu)建于云上很豐富的加速實(shí)例基礎(chǔ)之上，通過AIACC的算力提升堅實基礎，為AI計(jì)算提供普惠稍有不慎、彈性和觸手可得的加速計(jì)算云服務(wù)。

在圖像識別領(lǐng)域深入闡釋，很具代表性的場景是ResNet50在ImageNet上的練習(xí)。

很新公布的榜單上完成的事情，AIACC-Training成為此場景下的性能與成本的世界雙項(xiàng)第一物聯與互聯，展示了在分布式練習(xí)領(lǐng)域AIACC處于國際領(lǐng)先水平，能夠幫助用戶提升練習(xí)性能的同時(shí)降低所需的計(jì)算成本改造層面。

練習(xí)性能榜單新的世界紀(jì)錄供給，運(yùn)行在128張V100（16臺異構(gòu)計(jì)算云服務(wù)實(shí)例ecs.gn6e-c12g1.24xlarge）的集群之上，網(wǎng)絡(luò)通信為32GVPC經驗分享，練習(xí)ResNet50至top5精度達(dá)到93%時(shí)間為2分38秒解決方案。

此前的世界紀(jì)錄所采用的集群規(guī)模也是128張V100，網(wǎng)絡(luò)通信則為100GInfiniBand網(wǎng)絡(luò)有力扭轉，是本次打破世界紀(jì)錄的32GVPC的3倍的帶寬上高質量。異構(gòu)計(jì)算云服務(wù)的典型網(wǎng)絡(luò)配置為32Gbps帶寬的VPC網(wǎng)絡(luò)，為了更貼近很終用戶的場景廣度和深度，阿里選擇的是VPC網(wǎng)絡(luò)深入交流。

32GVPC網(wǎng)絡(luò)與前世界紀(jì)錄的網(wǎng)絡(luò)物理帶寬上的巨大差距是團(tuán)隊(duì)面臨的重大挑戰(zhàn)引領作用，我們從兩個大的方向作了深入的優(yōu)化：

第一個方向是從模型本身的優(yōu)化上，進(jìn)行超參的調(diào)整以及optimizer的改進(jìn)臺上與臺下，減少達(dá)到93%精度情況下所需要進(jìn)行的迭代數(shù)用的舒心，同時(shí)也要盡力提升單機(jī)的性能。

第二個方向是分布式性能優(yōu)化助力各行，我們采用團(tuán)隊(duì)自研的飛天AI加速引擎AIACC-Training（原Ali-Perseus-Training）作為分布式的通信庫前來體驗，充分挖掘32GVPC的所有潛力。

很終兩個方向的極致優(yōu)化相疊加確定性，超越了一個看似不可能達(dá)到的性能屏障更加廣闊，以較低的網(wǎng)絡(luò)帶寬，創(chuàng)造了新的世界紀(jì)錄相貫通。

同時(shí)不斷發展，因?yàn)榉植际骄毩?xí)部署本身的復(fù)雜性，為了提高效率自動化方案，也為了方便外部用戶重現(xiàn)結(jié)果緊密協作，阿里團(tuán)隊(duì)使用了之前開發(fā)的即刻構(gòu)建的工具FastGPU，將集群的創(chuàng)建和分布式練習(xí)的調(diào)度全部以腳本的方式完成線上線下，可以一鍵啟動發揮重要作用，大大加快了優(yōu)化工作的效率。

未來數據顯示，我們會開源基于AIACC的benchmark代碼高質量，方便外部用戶一鍵復(fù)現(xiàn)結(jié)果。

分布式練習(xí)領(lǐng)域近年來發(fā)展迅猛記得牢，有多種可供選擇的解決方案註入了新的力量，對于Tensorflow而言，框架本身支持PS模式以及Ringallreduce風(fēng)格的分布式通信更多可能性，第三方的支持有Horovod去創新。

對于ResNet50的分布式練習(xí)，開源方案中Horovod依然是相對很優(yōu)的解決方案緊迫性，因此結構，阿里以Horovod作為對比的baseline。

分布式練習(xí)的邏輯框圖如下圖所示：

很小計(jì)算節(jié)點(diǎn)為單張GPU卡高效，每個計(jì)算節(jié)點(diǎn)都會從總的數(shù)據(jù)集中劃分一份數(shù)據(jù)作為本節(jié)點(diǎn)的練習(xí)數(shù)據(jù)溝通協調，然后開始前向和后向的計(jì)算，在后向計(jì)算結(jié)束后會得到當(dāng)前batch所產(chǎn)生的梯度體系。

然后在更新參數(shù)之前保障性，需要在整個集群上進(jìn)行梯度通信。HorovodAPI就是在梯度更新之前，在optimizer這個環(huán)節(jié)插入了一段多節(jié)點(diǎn)間的通信的流程持續發展。

AIACC-Training是阿里云自研的深度學(xué)習(xí)分布式練習(xí)通信引擎應用提升，統(tǒng)一支持Tensorflow、PyTorch創造性、MxNet和Caffe發展的關鍵，從IaaS層面提供可被集成且兼容開源的加速庫。

現(xiàn)在已經(jīng)有多家AI和互聯(lián)網(wǎng)客戶在生產(chǎn)環(huán)境中大量部署使用規模設備，顯著提升異構(gòu)計(jì)算產(chǎn)品的性價(jià)比真諦所在，從軟件層面為客戶提供差異化的計(jì)算服務(wù)，架構(gòu)如下圖所示競爭力。

AIACC-Training作為此次Dawnbench記錄的分布式后端充分，發(fā)揮了至關(guān)重要的作用。以下是我們對AIACC-Training背后的分布式優(yōu)化作具體的解析集聚。

分布式性能的 關(guān)鍵就是如何優(yōu)化這個通信環(huán)節(jié)的效率競爭力，對于ResNet50而言，我們需要通信的梯度數(shù)據(jù)大約是170個狀況，而通信的總量大約是50MB機製性梗阻。

這些梯度的產(chǎn)生時(shí)機(jī)依靠于它們各安閑計(jì)算圖中的位置，計(jì)算圖中存在依靠關(guān)系的部分梯度決定了這一部分梯度被計(jì)算出來的時(shí)間先后順序全過程。

而在計(jì)算圖中處于相互之間完全無依靠的算子的集成應用，它們在每次計(jì)算發(fā)生的時(shí)機(jī)具有一定的隨機(jī)性。在多節(jié)點(diǎn)間通信要解決的第一個問題就是需要協(xié)商梯度的同步順序不負眾望。

Horovod中所采用的的方法是以0號節(jié)點(diǎn)為中心高效流通，與所有其它節(jié)點(diǎn)進(jìn)行點(diǎn)對點(diǎn)的通信確定當(dāng)前所有節(jié)點(diǎn)上都已經(jīng)就緒的梯度，然后再0號節(jié)點(diǎn)上確定這些就緒梯度上如何去通信精準調控，很后將通信策略點(diǎn)對點(diǎn)的發(fā)送到每一個其它節(jié)點(diǎn)功能，之后根據(jù)通信策略開始進(jìn)行多機(jī)通信。

這一點(diǎn)對點(diǎn)的協(xié)商策略解決，在128節(jié)點(diǎn)下預期，對0號節(jié)點(diǎn)，造成了一個局部的熱點(diǎn)集成技術，需要通信256次就能壓製。AIACC-Training放棄了這種中心節(jié)點(diǎn)的協(xié)商模式更合理，轉(zhuǎn)而采用了去中心化的方式在128個節(jié)點(diǎn)間進(jìn)行協(xié)商適應能力，因?yàn)?28個節(jié)點(diǎn)實(shí)際分布在16臺實(shí)例中，我們的優(yōu)化可以輕易的識別這種拓?fù)浣Y(jié)構(gòu)各方面，不再會在任何單個GPU卡上產(chǎn)生256次通信熱點(diǎn)解決方案。

考慮到大部分時(shí)候ready的不止一個梯度，這種優(yōu)化還能夠同時(shí)對多個梯度進(jìn)行協(xié)商，因此實(shí)際降低協(xié)商的通信量大約一個數(shù)量級增產。

梯度協(xié)商之后便利性，所有節(jié)點(diǎn)都知道了當(dāng)前這個時(shí)刻可以進(jìn)行通信的梯度，接下來面臨的一個優(yōu)化問題是行動力，我們是要在收集到任意數(shù)量的梯度之后馬上對所有的梯度進(jìn)行通信提供有力支撐，還是選擇某個更優(yōu)化的組合方式來通信。

這里一個確定性結(jié)論是保供，對單個梯度進(jìn)行單次通信自行開發，通信效率總是非常低下的，我們需要進(jìn)行多個梯度的融合責任，然后再對融合后的更大的粒度上進(jìn)行通信應用情況。

AIACC-Training引入了細(xì)粒度的融合策略，我們會在通信環(huán)節(jié)去動態(tài)分析當(dāng)前的通信狀況進(jìn)而選擇一種更平衡的融合策略組建，避免出現(xiàn)過大的差異表現。

這樣會使得每次通信的粒度盡量均勻，減小出現(xiàn)大幅波動的可能深刻變革。因?yàn)檫@種融合策略對不同的網(wǎng)絡(luò)模型而言存在不同的很優(yōu)值結論，因此們實(shí)現(xiàn)了自動優(yōu)化的功能，會動態(tài)的調(diào)整此參數(shù)著力增加，尋找很優(yōu)的融合粒度智能化。

底層的通信庫還是采用NCCL來進(jìn)行GPU間的數(shù)據(jù)通信，NCCL的編程模型僅支持單一的通信流進(jìn)行通信處理，而單一的通信流的效率很低建設，單流的轉(zhuǎn)發(fā)能力往往只能達(dá)到10Gbps左右。

AIACC-Training從更高的通信引擎層面支持了多流助力各行，會分配不止一個通信流來進(jìn)行梯度通信前來體驗，每個流服務(wù)于切分出來的某個融合梯度，而后續(xù)切分的融合粒度并不依靠于當(dāng)前切分的融合梯度確定性。

因此即使多流之間的通信是完全異步運(yùn)行更加廣闊，即使多流之間的速度不均衡，也不會嚴(yán)重影響整體的效率講故事，在規(guī)模擴(kuò)大的時(shí)候非常完善，能更好的維持很佳的網(wǎng)絡(luò)帶寬利用率。

和融合粒度一樣面向，切分的流數(shù)支撐作用，也會和練習(xí)模型，以及當(dāng)前的實(shí)際網(wǎng)絡(luò)帶寬有很強(qiáng)的相關(guān)性建設項目，因此無法離線的給出一個很優(yōu)設(shè)定最為突出。

我們設(shè)計(jì)了自動tuning機(jī)制落實落細，將通信流數(shù)目加入了自動tuning環(huán)節(jié)，融合粒度以及切分的流數(shù)高效化，會聯(lián)合自動tuning出很佳的參數(shù)組合製高點項目。

算法層面的優(yōu)化主要可以分為數(shù)據(jù)、模型範圍和領域、超參和優(yōu)化器四個方面有所增加。

數(shù)據(jù)上，我們采用了多分辨率圖像漸進(jìn)練習(xí)更高要求。這種方式不僅可以在前期利用小分辨率圖像大大提升前后向計(jì)算速度反應能力、又可以弱化練習(xí)和推理時(shí)采用不同尺寸帶來的正確率損失。

模型上學習，我們吸收了近期一些網(wǎng)絡(luò)變體的優(yōu)勢結構重塑，也根據(jù)很新的一些研究對BatchNorm做了微弱的調(diào)整。

超參方面我們做了很多探索應用優勢，如在學(xué)習(xí)率衰減的方式上高質量發展，我們沒有用很流行的stepdecay或是cosinedecay,而是采用了更直接的lineardecay，另外我們也發(fā)現(xiàn)warmup的步數(shù)非常重要高效節能。

優(yōu)化器上影響力範圍，我們重新設(shè)計(jì)了優(yōu)化器方案，同時(shí)吸收了SGD的泛化性優(yōu)勢和自適應(yīng)優(yōu)化器快速收斂新創新即將到來，使得改進(jìn)后的優(yōu)化器練習(xí)速度更快且正確率更高雙向互動。

基于上述優(yōu)化工作相互融合，我們在28個epoch共1159次迭代下完成練習(xí)并達(dá)到top593%的精度要求進一步，而原來練習(xí)則需要90個epoch才能達(dá)到相同的精度特點。

結(jié)合以上所有性能優(yōu)化，我們在128卡V100上組合運用，達(dá)到了158秒就能獲得top593%的精度更讓我明白了，創(chuàng)造了新的世界紀(jì)錄。

在推理項(xiàng)目中積極，DawnBench競賽要求推理框架針對ImageNet的10000張圖片的驗(yàn)證集進(jìn)行圖片分類探索，分類模型的top5精度不低于93%。

在batchsize=1的配置下結構，計(jì)算推理每一張圖片的平均時(shí)間和平均成本管理。在上一個性能紀(jì)錄中，平均推理時(shí)間只有不到1ms能力建設，已經(jīng)遠(yuǎn)遠(yuǎn)超過了人類視覺的反應(yīng)速度模樣。

在很新公布的榜單上，我們基于異構(gòu)計(jì)算AliNPU云服務(wù)實(shí)例（ecs.ebman1.26xlarge）奪得了推理性能項(xiàng)目的第一名建立和完善，比第二名快5倍以上提供了遵循。

同時(shí)，之前提交的推理成本第一的成績（基于異構(gòu)計(jì)算GPU云服務(wù)實(shí)例ecs.gn6i-c8g1.2xlarge）目前還沒有人超越大型，因此在性能和成本兩個項(xiàng)目上均排名第一服務效率。

AIACC-Inference

在服務(wù)客戶和不斷沖擊DawnBench第一的過程中,我們也在不斷打磨異構(gòu)計(jì)算服務(wù)場景下的推理優(yōu)化技術(shù),并根據(jù)客戶的實(shí)際需求研發(fā)了AIACC-Inference模型加速引擎，幫助客戶解決主流AI框架TensorFlow重要意義、PyTorch統籌發展、MXNet、Kaldi等框架下的模型優(yōu)化問題體系。

優(yōu)化方法包括對模型的計(jì)算圖進(jìn)行分析生產製造，將其中計(jì)算節(jié)點(diǎn)進(jìn)行融合，減少模型中計(jì)算節(jié)點(diǎn)的個數(shù)攜手共進，提升計(jì)算圖的執(zhí)行效率共同。

同時(shí)提供了FP32和FP16及Int8精度的模型優(yōu)化選項(xiàng)，可以生成多種精度下的優(yōu)化模型經過，其中FP16和Int8精度模型可以利用NVIDIAVolta和Turing架構(gòu)下的Tensorcore硬件支持簡單化，進(jìn)一步提升模型推理在V100,T4GPU卡上的性能。

目前AIACC-Inference既支持常用的圖像分類和目標(biāo)檢測模型明確了方向，也支持Bert系統性，StyleGAN這樣的NLP模型和GAN網(wǎng)絡(luò)模型。

此外單產提升，我們還深度優(yōu)化了1x1傳遞、3x3、7x7卷積kernel勞動精神，在AIACC-Inference中增加了新op的融合機(jī)制開展攻關合作，比目前業(yè)界很快的TensorRT還能獲得1.5-2.5倍的性能加速比。

在上一次提交的版本中預下達，我們將base模型換為更為精簡的ResNet26d逐步顯現，引領(lǐng)了一波風(fēng)潮。

這一次為了進(jìn)一步提高模型的精度并精簡模型引領，我們對超參數(shù)進(jìn)行了調(diào)整自動化裝置，引入了更多的數(shù)據(jù)增強(qiáng)方式。通過使用了AugMix和JSDloss疊加RandAugment的組合方式應用前景，將ResNet26d模型的精度提升至93.3%有很大提升空間，收獲0.13+%的精度收益。

我們針對AliNPU的架構(gòu)特點(diǎn)首次，對推理引擎進(jìn)行了相應(yīng)的優(yōu)化可能性更大。由于AliNPU使用uint8作為存儲格式用于上傳和下載數(shù)據(jù)。

因此需要在進(jìn)入engine前后插入量化和反量化操作用于恢復(fù)數(shù)據(jù)搖籃，但是Quant和Dequant這些操作在CPU上技術，無法使用AliNPU加速推廣開來，占據(jù)了一大部分的推理時(shí)間，通過在預(yù)處理和后處理中執(zhí)行這些操作將推理延遲降低至0.117ms的水平相對較高。

考慮到我們使用的推理模型較小資源配置，依照GPU的經(jīng)驗(yàn)帶寬4GB/s，輸入一張圖片需要將147KB的數(shù)據(jù)上傳至AliNPU中需要花費(fèi)0.03ms相關。因此我們在框架中引入了preload機(jī)制大力發展，將數(shù)據(jù)預(yù)取入AliNPU中，將平均推理延遲進(jìn)一步降低至0.0739ms生產效率。