炼数成金 门户 商业智能 深度学习 查看内容

AI 框架使用排行:TensorFlow、Scikit Learn、IBM Watson

2018-5-10 10:07| 发布者: 炼数成金_小数| 查看: 12537| 评论: 0|原作者: Dan Olds|来自: 云头条

摘要: AI软件界在迅速发展。新的应用几乎每天都在层出不穷,现在正好可以趁机了解人们到底在用机器学习和其他AI技术做什么、这些技术可能何去何从。很少有人自称是任何一种框架方面的专家,平均比例在2%左右。TensorFlow和 ...

工具 框架 集群 硬件 GPU

作者简介:Dan Olds是技术趋势和客户情绪方面的权威人士,他也是经常被知名行业和商业出版物频频引用的专家,比如《华尔街日报》、彭博新闻社、《Computerworld》、《eWeek》、《CIO》和《PCWorld》等。
 
AI软件界在迅速发展。新的应用几乎每天都在层出不穷,现在正好可以趁机了解人们到底在用机器学习和其他AI技术做什么、这些技术可能何去何从。

我们在之前的两篇文章中探讨了实际用户在如何对待AI,以及如何利用AI来解决问题、优化企业。我们在本文中将深入了解数据中心的AI角落,看看公司在使用什么样的软硬件。

为此我们OrionX.net开展了一项调查,向用户展示了二十几种AI框架,询问他们是否打算使用某框架、是否已经在使用某框架,或者是否认为自己是专家。


很少有人自称是任何一种框架方面的专家,平均比例在2%左右。TensorFlow和Scikit Learn是两种更受欢迎的框架,分别有9%和12%的人自称是这种框架方面的专家。然而如上图所示,客户熟悉大量的AI框架,不过他们不认为自己是专家。

IBM Watson是使用率排名第三的AI框架,Spark-MLib名列第四。我们惊讶地发现,所有24种框架都有各自的粉丝和拥趸。你将这样一份列表拿给调查用户看时,通常会看到四五种大受欢迎的选择,其余沦为默默无闻。AI框架方面无疑不是这种情况。

虽然这些都是机器学习工具集,但它们并不是完全取代对方,这意味着像TensorFlow和Sciket Learn这样一两种流行框架不会淘汰其他框架。

AI硬件:更进一步的观察
那么,这些项目有多庞大?它们用于处理AI的集群又有多庞大?这是我们的发现结果。

对调查对象如今从事的所有AI项目而言,平均数据量为442 TB,较大单个项目的平均数据量为235 TB。因此,从下面的平均数据量来看,调查中的典型企业似乎在从事一些很大的项目。


然而,这些统计数据有点欺骗性。如果你看一下中位数而不是平均数,真实情况变得明朗化。AI项目的合并总数据量中位数仅为17TB,而较大单个项目的数据量只有5TB。


平均数和中位数之间差异这么大,合理的解释就是,有一小部分的大型项目让数值出现了很大程度的偏差。AI趋势仍处于起步阶段,目前鲜有企业在开展极其庞大的AI项目。

如果看一下调查对象用于其AI项目的平均集群大小,就可以证明这一点。如图所示,60%以上的调查对象拥有节点数量不到128个的集群,一大批调查对象使用节点数量不到32个的集群。另一方面,一小批调查对象拥有超过2048个节点的集群,仅20%的调查对象声称集群的节点数量在512个到1024个之间。



这也证实了我们处于AI时代的较早时期。随着我们进一步发展,可能会看到AI集群的规模会迅速变大。

广阔的加速器世界
在本次调查的硬件部分,我们询问了关于GPU和FPGA等计算加速器的几个问题。众所周知,这些便捷的设备可以加快数字处理,还可以显著加快深度学习任务,尤其是在机器学习训练模型方面。GPU已成为大多数用户的推荐加速器,但随着用户对专门定制的AI FPGA越来越熟悉,我们预计这类加速器的使用量会逐渐增加。

我们询问了客户他们对于特定的GPU和FPGA加速器有多熟悉,为此给他们看了一份列有众多候选者的长长列表,询问他们是否熟悉该设备或目前是否在使用该设备。

下表代表了我们在2017年春夏期间所能找到的每一款加速器。到目前为止,可能还有更多的加速器即出现在市面上,或者更大的玩家会收购本文列表上的更多加速器。



看到80%的调查对象使用英伟达GPU加速器或熟悉英伟达GPU加速器,这不足为奇。 

AMD GPU和谷歌TPU的熟悉度/使用率不相上下,都是60%多一点,而英特尔的Altera FPGA排在第四位。事实上,由于四处收购FPGA技术公司(具体来说指Altera和Movidius),英特尔有多款GPU加速器上榜。

我们没有料想到的一个方面是,调查对象很熟悉或在使用榜单上不大知名的技术。就连榜单上知名度/使用量最小的硬件(来自Krtkl,这是一家设计嵌入式FPGA等产品的小公司)也被我们25%的调查对象所认可。

结束语
在第一篇文章中,我们的数据显示,虽然几乎所有的调查对象都在开展AI项目,但很少有人(约7%)真正在生产环境下搞AI项目。在第二篇文章中,我们发现大多数实际的AI项目旨在推进和简化典型应用,比如预测性维护和分析大数据。虽然图像、语音和视频AI分析似乎备受媒体的关注,但大多数客户在使用AI来分析数字和文本。

我们在本文中了解到,虽然有几个非常大的AI项目(至少由我们的300多个调查对象来判断是这样),但就数据量而言,中位数项目还是相当小(约5TB)。我们还发现,说到GPU和FPGA之类的AI加速器,实际的客户熟悉行情,他们知道这个市场的大小玩家。我们还再次证实了自己的假设:AI的发展处于早期阶段;对于这个激动人心的细分市场而言,真正的发展还未到来。

报告全文:


欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-10-18 11:49 , Processed in 0.137747 second(s), 23 queries .