公有云技術(shù)日益成熟和穩(wěn)定，各種服務(wù)越來越完善，逐漸被各行業(yè)的客戶所接受。越來越多的專業(yè)計(jì)算的客戶也開始將目光轉(zhuǎn)向公有云來解決算力不足的問題。想要充分的利用云的優(yōu)勢，高效的完成計(jì)算任務(wù)，需要從應(yīng)用優(yōu)化到底層架構(gòu)適配一套端到端的解決方案。本期速石科技產(chǎn)品總監(jiān)張先軍將與大家分享速石專業(yè)計(jì)算云平臺如何從各個層面幫助客戶多快好省的完成計(jì)算任務(wù)的。
張先軍：速石科技產(chǎn)品總監(jiān)，超過12年的IT行業(yè)經(jīng)驗(yàn)，曾在EMC，HP， 華為3com任職，熟悉虛擬化和云計(jì)算技術(shù)，專注于企業(yè)級IT產(chǎn)品定義和解決方案設(shè)計(jì)。
首先先來介紹一下某客戶分享的一個他們常用的計(jì)算任務(wù)。這個任務(wù)輸入有數(shù)個大小從幾百M(fèi)B到GB的規(guī)模的文件，在計(jì)算過程中，文件會被轉(zhuǎn)換和切割，最終會形成百萬級別的計(jì)算任務(wù)。客戶已經(jīng)對該計(jì)算任務(wù)做了一些優(yōu)化，如多進(jìn)程并行化的改造。這樣的計(jì)算規(guī)模，在本地的一臺高配的機(jī)器上，運(yùn)行100萬個計(jì)算任務(wù)需要50天左右的時間。這還要祈禱中間千萬不要出現(xiàn)斷電什么意外情況。客戶提供了一個約1萬計(jì)算任務(wù)的測試文件，在某公有云上啟動了一臺和本地配置相似的實(shí)例，實(shí)測用了約11小時。這些任務(wù)都屬于計(jì)算密集型應(yīng)用，任務(wù)運(yùn)行起來CPU的占有率都在95%以上。在我們做測試的云上起這樣的實(shí)例大約需要18元一小時。這樣算下去，如果算50天的話，也是一筆不小的成本。所以，客戶的需求很明顯，如何將本地的算力無縫擴(kuò)展到云，利用云端的超大資源池優(yōu)勢，又快又省的完成計(jì)算？
Fastone Compiler
速石Fastone compiler框架，它能自動分析各個任務(wù)間的依賴關(guān)系，將當(dāng)前傳統(tǒng)應(yīng)用轉(zhuǎn)換成云原生應(yīng)用的工作流，轉(zhuǎn)換過程可快速完成。經(jīng)過了Fastone compiler的轉(zhuǎn)換，計(jì)算任務(wù)就可以被充分的并行化，集群化，充分利用云端超大規(guī)模計(jì)算資源池的優(yōu)勢了。
算任務(wù)1-1024x356.jpg)
Fastone Virtual Cloud
那么怎么在云端建立超大規(guī)模資源池呢，用什么云，用哪個云，這些由Fastone Virtual Cloud來搞定。它自動整合本地和云端資源成統(tǒng)一資源池，多云支持，自動按需在云端啟動計(jì)算任務(wù)所需的超大規(guī)模資源池。為了讓應(yīng)用能無縫的在本地和云之間流動，我們使用了容器來封裝應(yīng)用。
算任務(wù)2-1024x282.jpg)
成本
再來看看成本，主流云廠商有類似的AWS spot instance的技術(shù)，讓用戶可以以很低的價格使用本來很貴的實(shí)例。如果使用的人很多，云廠商資源不足或者有人出價更高等情況，這些運(yùn)行實(shí)例可能會被強(qiáng)行中斷。本來要跑50天呢，說斷就斷的話，誰敢用啊。所以速石專業(yè)計(jì)算云平臺使用機(jī)器學(xué)習(xí)算法自動預(yù)測spot instance的供需及價格情況，自動調(diào)整和遷移受影響的任務(wù)和資源，用戶再也不用擔(dān)心spot被搶了。
速石專業(yè)計(jì)算平臺融合以上各種技術(shù)，對用戶完全透明。對專業(yè)用戶來說，通過計(jì)算平臺運(yùn)行任務(wù)只需要：傳應(yīng)用，傳數(shù)據(jù)，提交任務(wù)。然后就可以坐等結(jié)果了。速石專業(yè)計(jì)算平臺的設(shè)計(jì)理念是：屏蔽底層復(fù)雜的IT細(xì)節(jié)，讓專業(yè)的人專注于專業(yè)的事。
算任務(wù)3.jpg)
最后讓我們來看看結(jié)果，本次測試通過速石專業(yè)的計(jì)算平臺執(zhí)行一萬個計(jì)算任務(wù)，同時，為了測試的擴(kuò)展性，我們通過策略指定了運(yùn)行任務(wù)的CPU Core數(shù)。下圖是最終的結(jié)果。從圖中可以看出，經(jīng)過優(yōu)化后，成本降低的同時，計(jì)算時間大大下降，計(jì)算效率隨著系統(tǒng)算力的上升而線性上升。以540 core的運(yùn)行結(jié)果為例。最終的運(yùn)算時間是45分鐘，效率約提升了14倍。讓我們來算一下成本，當(dāng)時的spot實(shí)例的價格穩(wěn)定維持在4.26元左右，計(jì)算成本約為：4.26 x 15 x 45 / 60 = 48元（注：忽略了少量的存儲及其它成本）。計(jì)算一下沒有改造過的計(jì)算成本：11 x 18.141 = 200元。成本下降了76%。按照這樣的線性擴(kuò)展能力，百萬級別的任務(wù)計(jì)算在一小時內(nèi)完成也不是不可能了。
算任務(wù)4.jpg)
看到這里，您是否初步了解了速石專業(yè)計(jì)算平臺強(qiáng)大的功能了呢。有關(guān)該產(chǎn)品的更多詳細(xì)信息，請關(guān)注速石微信公眾號。
- END -
關(guān)于我們：
速石科技專為有高算力需求的企業(yè)級用戶提供一站式算力運(yùn)營解決方案，幫助用戶提升10-20倍業(yè)務(wù)運(yùn)算效率，降低成本達(dá)到75%以上，加快市場響應(yīng)速度。目前主要應(yīng)用領(lǐng)域包括藥物研發(fā)、基因測序分析、半導(dǎo)體行業(yè)的EDA仿真及電路設(shè)計(jì)、汽車行業(yè)的自動駕駛開發(fā)、虛擬碰撞試驗(yàn)以及AI人工智能。
想了解更多，可添加小F微信（ID：imfastone）
文章推薦：
>>AWS、阿里云、Azure、Google Cloud、華為云、騰訊云 各種云服務(wù)器價格收費(fèi)對比（上）
