谷歌在alpha和Kubeflow管道中啟動(dòng)AI Hub這是一個(gè)機(jī)器學(xué)習(xí)工作流

谷歌云今天宣布推出Kubeflow管道，以促進(jìn)企業(yè)內(nèi)部的合作，并進(jìn)一步使人工智能的獲取民主化。 Kubeflow管道是免費(fèi)的，并且是開源的。

谷歌云產(chǎn)品管理高級總監(jiān)RajenSheth表示，他同意估計(jì)，世界上只有幾千名機(jī)器學(xué)習(xí)工程師能夠從概念到生產(chǎn)進(jìn)行深入學(xué)習(xí)，但有數(shù)百萬數(shù)據(jù)科學(xué)家和數(shù)千萬開發(fā)者。

Kubeflow Pipelines旨在解決這一差距，增強(qiáng)更多數(shù)據(jù)科學(xué)家和開發(fā)人員的能力，幫助企業(yè)克服成為人工智能第一公司的障礙。

“我們現(xiàn)在看到的最大的問題之一是公司正在努力建立數(shù)據(jù)科學(xué)家團(tuán)隊(duì)，但這是一種稀缺的資源，除非利用得很好，它就會(huì)開始浪費(fèi)，”Sheth說。 “我們看到的一個(gè)觀察是，在大約60%以上的案例中，模型從來沒有被部署到生產(chǎn)中。 因此，我們正在做一些事情，希望能幫助治愈這種疾病。

管道是一個(gè)可組合的層，所以機(jī)器學(xué)習(xí)旅程的不同部分可以像樂高一樣被搶購。

這種方法允許團(tuán)隊(duì)的不同成員做一些事情，比如標(biāo)簽數(shù)據(jù)、將數(shù)據(jù)轉(zhuǎn)換為特征和驗(yàn)證數(shù)據(jù)。 它還可以用于測試幾次迭代，并在找到更好的模型或方法時(shí)替換模型或方法。

他說：“他們可以在新的模型中交換，保持管道的其余部分到位，然后看到：‘這個(gè)新模型對輸出有很大的幫助嗎?’因此，它使...以更好的方式進(jìn)行快速實(shí)驗(yàn)。 “我們正在使用管道，它可以開始讓開發(fā)人員參與，它可以開始讓業(yè)務(wù)分析師參與，它可以開始讓最終用戶參與，這樣他們就可以成為可以構(gòu)建管道的團(tuán)隊(duì)的一部分。

Kubeflow是谷歌今年早些時(shí)候發(fā)布的一個(gè)開源項(xiàng)目，用于使用Kubernetes容器進(jìn)行機(jī)器學(xué)習(xí)。 使用Kubernetes將允許企業(yè)靈活，避免不得不完全致力于在云中使用現(xiàn)場數(shù)據(jù)和框架或培訓(xùn)模型來培訓(xùn)AI模型。

Kubeflow管道部分是基于并利用來自TensorFlow Extended(TFX)的庫，該庫在Google內(nèi)部用于構(gòu)建機(jī)器學(xué)習(xí)組件，然后允許不同內(nèi)部團(tuán)隊(duì)的開發(fā)人員利用該工作并將其投入生產(chǎn)。

今天在alpha發(fā)布的還有AIHub，它建立在機(jī)器學(xué)習(xí)模塊TensorFlowHub之上，今年早些時(shí)候發(fā)布。 人工智能集線器的設(shè)計(jì)是一個(gè)一站式商店，為有興趣培訓(xùn)或部署人工智能模型的人。

除了提供培訓(xùn)外，AIHub還將填充來自谷歌的資源，例如流行的TensorFlow嵌入和來自Kaggle的內(nèi)容，Kaggle是一個(gè)由200多萬數(shù)據(jù)科學(xué)家組成的社區(qū)。

隨著時(shí)間的推移，谷歌希望AIHub成為由更大的生態(tài)系統(tǒng)生成的流行模型的地方。

“我們最終希望AI集線器成為一個(gè)第三方也可以分享信息的地方，并隨著時(shí)間的推移將其轉(zhuǎn)變?yōu)橐粋€(gè)市場，”Sheth說。 “我們發(fā)現(xiàn)，社區(qū)實(shí)際上可以解決我們許多客戶的問題。

人工智能集線器最初將提供給大約100個(gè)商業(yè)伙伴。

像Kubeflow管道一樣，AIHub也旨在教育員工消除公司內(nèi)部團(tuán)隊(duì)之間的障礙，這樣他們就可以使開發(fā)人員、數(shù)據(jù)科學(xué)家和ML工程師的工作更有價(jià)值。

人工智能素養(yǎng)是上個(gè)月在VB峰會(huì)上與Google和GoogleCloud等公司高管討論的一個(gè)概念。

“我認(rèn)為真正的大挑戰(zhàn)是，要想成為人工智能第一，每個(gè)人都需要具備人工智能的知識(shí)，從產(chǎn)品經(jīng)理思考問題到開發(fā)人員，到數(shù)據(jù)科學(xué)家，再到生產(chǎn)團(tuán)隊(duì)，都是如此。 一旦你有了這一點(diǎn)，你就可以開始將人工智能納入幾乎任何業(yè)務(wù)問題中，這就是我們現(xiàn)在的處境。

“幾乎谷歌的每一款產(chǎn)品現(xiàn)在都在以有趣的方式使用人工智能，我們意識(shí)到它可以為我們解決越來越多的問題，我們希望這能幫助其他公司培養(yǎng)這種文化。