域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過

實(shí)時(shí)語法檢查模型預(yù)計(jì)每年運(yùn)行超過5000億次查詢

實(shí)時(shí)語法檢查模型預(yù)計(jì)每年運(yùn)行超過5000億次查詢。

有人說好文章都是編輯出來的。幸運(yùn)的是,為了滿足全球讀者的挑剔要求,微軟正在為數(shù)百萬人提供AI語法編輯器。

該工具如同一名優(yōu)秀的編輯一樣快速而專業(yè)。這是由于微軟編輯器在Microsoft Word在線版中對(duì)語法進(jìn)行了改進(jìn),可以運(yùn)用NVIDIA Triton 推理服務(wù)器、ONNX 運(yùn)行時(shí)和Azure AI中的微軟Azure 機(jī)器學(xué)習(xí),來提供這種豐富的智能體驗(yàn)。

10月5日,NVIDIA首席執(zhí)行官黃仁勛在GTC大會(huì)上的主題演講中宣布了這一新訊。

日常工作中的AI應(yīng)用

微軟為Microsoft Office生產(chǎn)力應(yīng)用用戶提供強(qiáng)大的AI性能。這些節(jié)省時(shí)間的新功能包括實(shí)時(shí)語法建議、文檔內(nèi)問題解答(如 “完全匹配”之外的Bing文檔搜索),以及幫助將句子填寫完整的文本預(yù)測(cè)。

唯有通過深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò),才能實(shí)現(xiàn)這些提高生產(chǎn)力的功能。例如,與基于傳統(tǒng)規(guī)則型邏輯構(gòu)建的服務(wù)不同,在糾正語法方面,Word在線編輯器可以理解句子的上下文,并提供適當(dāng)?shù)膯卧~選擇建議。

這些深度學(xué)習(xí)模型可能涉及數(shù)億個(gè)參數(shù),它們必須具有可擴(kuò)展性,并提供實(shí)現(xiàn)最佳用戶體驗(yàn)所需的實(shí)時(shí)推理。預(yù)計(jì)僅用于語法檢查的微軟編輯器AI模型每年就要對(duì)Word在線處理超過5000億次查詢。

但這種規(guī)模的部署可能會(huì)大幅增加深度學(xué)習(xí)的預(yù)算。幸運(yùn)的是,可通過Azure機(jī)器學(xué)習(xí)訪問的NVIDIA Triton的動(dòng)態(tài)批處理和并發(fā)模型執(zhí)行功能將成本降低了約70%,并且在單個(gè)NVIDIA V100 Tensor Core GPU上實(shí)現(xiàn)了每秒450次查詢的吞吐量,響應(yīng)時(shí)間在200毫秒以內(nèi)。

Azure機(jī)器學(xué)習(xí)具備管理模型生命周期所需的規(guī)模和能力,比如版本管理和監(jiān)控。

在Azure 機(jī)器學(xué)習(xí)上通過Triton實(shí)現(xiàn)高性能推理

隨著機(jī)器學(xué)習(xí)模型規(guī)模的不斷擴(kuò)大,模型訓(xùn)練和部署過程對(duì)GPU的需求比以往任何時(shí)候都更加迫切。為了將AI部署到生產(chǎn)中,企業(yè)機(jī)構(gòu)正在尋找可擴(kuò)展的推理服務(wù)解決方案、對(duì)多個(gè)框架后端的支持、最佳的GPU和CPU利用率以及機(jī)器學(xué)習(xí)生命周期管理。

Azure 機(jī)器學(xué)習(xí)中的NVIDIA Triton和ONNX 運(yùn)行時(shí)堆棧提供可擴(kuò)展的高性能推理。Azure機(jī)器學(xué)習(xí)用戶可以利用Triton對(duì)多種框架的支持、實(shí)時(shí)、批和流推理、動(dòng)態(tài)批處理以及并發(fā)執(zhí)行等性能。

借助AI進(jìn)行Word創(chuàng)作

作家和詩(shī)人Robert Graves曾說過:“沒有寫得好的文章,只有改得好的文章。”換言之,就是要對(duì)寫好的文章進(jìn)行編輯和潤(rùn)色。

您可以使用Word在線編輯器同時(shí)進(jìn)行這兩項(xiàng)工作。盡管編輯器是Word中第一個(gè)通過Triton和ONNX 運(yùn)行時(shí)增加速度與廣度的功能,但它僅僅是更多功能的開始。

想要了解更多有關(guān)AI計(jì)算的最新技術(shù),解鎖GPU前沿應(yīng)用,可點(diǎn)擊鏈接:https://www.nvidia.cn/gtc/keynote/,觀看GTC 2020秋季站主題演講上的精彩內(nèi)容。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！