公有云技術(shù)日益成熟和穩(wěn)定，各種服務(wù)越來(lái)越完善，逐漸被各行業(yè)的客戶所接受。越來(lái)越多的專(zhuān)業(yè)計(jì)算的客戶也開(kāi)始將目光轉(zhuǎn)向公有云來(lái)解決算力不足的問(wèn)題。想要充分的利用云的優(yōu)勢(shì)，高效的完成計(jì)算任務(wù)，需要從應(yīng)用優(yōu)化到底層架構(gòu)適配一套端到端的解決方案。本期速石科技產(chǎn)品總監(jiān)張先軍將與大家分享速石專(zhuān)業(yè)計(jì)算云平臺(tái)如何從各個(gè)層面幫助客戶多快好省的完成計(jì)算任務(wù)的。

張先軍：速石科技產(chǎn)品總監(jiān)，超過(guò)12年的IT行業(yè)經(jīng)驗(yàn)，曾在EMC，HP， 華為3com任職，熟悉虛擬化和云計(jì)算技術(shù)，專(zhuān)注于企業(yè)級(jí)IT產(chǎn)品定義和解決方案設(shè)計(jì)。

首先先來(lái)介紹一下某客戶分享的一個(gè)他們常用的計(jì)算任務(wù)。這個(gè)任務(wù)輸入有數(shù)個(gè)大小從幾百M(fèi)B到GB的規(guī)模的文件，在計(jì)算過(guò)程中，文件會(huì)被轉(zhuǎn)換和切割，最終會(huì)形成百萬(wàn)級(jí)別的計(jì)算任務(wù)。客戶已經(jīng)對(duì)該計(jì)算任務(wù)做了一些優(yōu)化，如多進(jìn)程并行化的改造。這樣的計(jì)算規(guī)模，在本地的一臺(tái)高配的機(jī)器上，運(yùn)行100萬(wàn)個(gè)計(jì)算任務(wù)需要50天左右的時(shí)間。這還要祈禱中間千萬(wàn)不要出現(xiàn)斷電什么意外情況。客戶提供了一個(gè)約1萬(wàn)計(jì)算任務(wù)的測(cè)試文件，在某公有云上啟動(dòng)了一臺(tái)和本地配置相似的實(shí)例，實(shí)測(cè)用了約11小時(shí)。這些任務(wù)都屬于計(jì)算密集型應(yīng)用，任務(wù)運(yùn)行起來(lái)CPU的占有率都在95%以上。在我們做測(cè)試的云上起這樣的實(shí)例大約需要18元一小時(shí)。這樣算下去，如果算50天的話，也是一筆不小的成本。所以，客戶的需求很明顯，如何將本地的算力無(wú)縫擴(kuò)展到云，利用云端的超大資源池優(yōu)勢(shì)，又快又省的完成計(jì)算？

Fastone Compiler

速石Fastone compiler框架，它能自動(dòng)分析各個(gè)任務(wù)間的依賴關(guān)系，將當(dāng)前傳統(tǒng)應(yīng)用轉(zhuǎn)換成云原生應(yīng)用的工作流，轉(zhuǎn)換過(guò)程可快速完成。經(jīng)過(guò)了Fastone compiler的轉(zhuǎn)換，計(jì)算任務(wù)就可以被充分的并行化，集群化，充分利用云端超大規(guī)模計(jì)算資源池的優(yōu)勢(shì)了。

Fastone Virtual Cloud

那么怎么在云端建立超大規(guī)模資源池呢，用什么云，用哪個(gè)云，這些由Fastone Virtual Cloud來(lái)搞定。它自動(dòng)整合本地和云端資源成統(tǒng)一資源池，多云支持，自動(dòng)按需在云端啟動(dòng)計(jì)算任務(wù)所需的超大規(guī)模資源池。為了讓?xiě)?yīng)用能無(wú)縫的在本地和云之間流動(dòng)，我們使用了容器來(lái)封裝應(yīng)用。

成本

再來(lái)看看成本，主流云廠商有類(lèi)似的AWS spot instance的技術(shù)，讓用戶可以以很低的價(jià)格使用本來(lái)很貴的實(shí)例。如果使用的人很多，云廠商資源不足或者有人出價(jià)更高等情況，這些運(yùn)行實(shí)例可能會(huì)被強(qiáng)行中斷。本來(lái)要跑50天呢，說(shuō)斷就斷的話，誰(shuí)敢用啊。所以速石專(zhuān)業(yè)計(jì)算云平臺(tái)使用機(jī)器學(xué)習(xí)算法自動(dòng)預(yù)測(cè)spot instance的供需及價(jià)格情況，自動(dòng)調(diào)整和遷移受影響的任務(wù)和資源，用戶再也不用擔(dān)心spot被搶了。

速石專(zhuān)業(yè)計(jì)算平臺(tái)融合以上各種技術(shù)，對(duì)用戶完全透明。對(duì)專(zhuān)業(yè)用戶來(lái)說(shuō)，通過(guò)計(jì)算平臺(tái)運(yùn)行任務(wù)只需要：傳應(yīng)用，傳數(shù)據(jù)，提交任務(wù)。然后就可以坐等結(jié)果了。速石專(zhuān)業(yè)計(jì)算平臺(tái)的設(shè)計(jì)理念是：屏蔽底層復(fù)雜的IT細(xì)節(jié)，讓專(zhuān)業(yè)的人專(zhuān)注于專(zhuān)業(yè)的事。

最后讓我們來(lái)看看結(jié)果，本次測(cè)試通過(guò)速石專(zhuān)業(yè)的計(jì)算平臺(tái)執(zhí)行一萬(wàn)個(gè)計(jì)算任務(wù)，同時(shí)，為了測(cè)試的擴(kuò)展性，我們通過(guò)策略指定了運(yùn)行任務(wù)的CPU Core數(shù)。下圖是最終的結(jié)果。從圖中可以看出，經(jīng)過(guò)優(yōu)化后，成本降低的同時(shí)，計(jì)算時(shí)間大大下降，計(jì)算效率隨著系統(tǒng)算力的上升而線性上升。以540 core的運(yùn)行結(jié)果為例。最終的運(yùn)算時(shí)間是45分鐘，效率約提升了14倍。讓我們來(lái)算一下成本，當(dāng)時(shí)的spot實(shí)例的價(jià)格穩(wěn)定維持在4.26元左右，計(jì)算成本約為：4.26 x 15 x 45 / 60 = 48元（注：忽略了少量的存儲(chǔ)及其它成本）。計(jì)算一下沒(méi)有改造過(guò)的計(jì)算成本：11 x 18.141 = 200元。成本下降了76%。按照這樣的線性擴(kuò)展能力，百萬(wàn)級(jí)別的任務(wù)計(jì)算在一小時(shí)內(nèi)完成也不是不可能了。

看到這里，您是否初步了解了速石專(zhuān)業(yè)計(jì)算平臺(tái)強(qiáng)大的功能了呢。有關(guān)該產(chǎn)品的更多詳細(xì)信息，請(qǐng)關(guān)注速石微信公眾號(hào)。

- END -

---

關(guān)于我們：
速石科技專(zhuān)為有高算力需求的企業(yè)級(jí)用戶提供一站式算力運(yùn)營(yíng)解決方案，幫助用戶提升10-20倍業(yè)務(wù)運(yùn)算效率，降低成本達(dá)到75%以上，加快市場(chǎng)響應(yīng)速度。目前主要應(yīng)用領(lǐng)域包括藥物研發(fā)、基因測(cè)序分析、半導(dǎo)體行業(yè)的EDA仿真及電路設(shè)計(jì)、汽車(chē)行業(yè)的自動(dòng)駕駛開(kāi)發(fā)、虛擬碰撞試驗(yàn)以及AI人工智能。

想了解更多，可添加小F微信（ID：imfastone）

文章推薦：

>>AWS、阿里云、Azure、Google Cloud、華為云、騰訊云 各種云服務(wù)器價(jià)格收費(fèi)對(duì)比（上）

>>云資源中的低成本戰(zhàn)斗機(jī)——競(jìng)價(jià)實(shí)例，AWS、阿里云等六家云廠商完全用戶使用指南

>>全球半導(dǎo)體行業(yè)上云格局一覽和十個(gè)上云實(shí)踐問(wèn)題的過(guò)來(lái)人解答