城市直播房产教育博客汽车
投稿投诉
汽车报价
买车新车
博客专栏
专题精品
教育留学
高考读书
房产家居
彩票视频
直播黑猫
投资微博
城市上海
政务旅游

大咖专访从未有像中国这样,让深度学习成为国家级优先项目

4月20日 心碎巷投稿
  上海恐怕是世界上唯一会有人在街头拦住我并索要我的签名的城市,在美国只有电影明星才有这种待遇,科学家是没那么多人追捧的。这种热情令人难以置信。
  谈及中国粉丝对于自己的喜爱,杨立昆(YannLeCun)在接受采访时表示。
  图杨立昆专访
  最早在2009年,杨立昆曾应邀前往北京大学进行演讲。随后十多年间,他曾多次造访北京、上海等城市,热情的学生纷纷与他合影并索要签名。
  近年来,中国学者开始在人工智能(AI)领域崭露头角,各大计算机顶会上都能见到国内作者发表的高质量学术论文。杨立昆也注意到了这一点,并给予高度评价。
  他认为世界上还没有一个地方像中国那样,让机器深度学习成为国家级优先项目,并成为公众瞩目的焦点。更重要的是,中国年轻人对科学和工程的浓厚兴趣,让他印象深刻。
  自幼喜欢科技,长大后与辛顿双剑合璧
  在计算机从业者群体中,杨立昆这个名字几乎人人皆知。作为2018年的图灵奖得主之一,他与杰弗里辛顿(GeoffreyHinton)、约书亚本吉奥(YoshuaBengio)一起被誉为深度学习三巨头。
  当今,许多AI应用都离不开三巨头构建的深度学习理论基础和指导框架。而杨立昆的主要贡献是大幅完善了卷积神经网络(CNN),并将其用于计算机视觉领域,极大地拓宽了应用范围。
  近年来,神经网络红极一时。但在20多年前,计算机学界和产业界都对它完全提不起兴趣,甚至是嗤之以鼻。
  在长达快15年的神经网络寒冬里,学术会议多次拒收神经网络论文,也没人愿意公开支持、甚至不愿公开谈论有关神经网络的话题,这让卷积网络一度成为大家口中的笑话。
  至于具体原因,杨立昆自己也说不清楚,他说:这是一个谜,我认为科学史学家和社会学家有责任解开这个谜团。
  图深度学习三巨头:杨立昆,辛顿和本吉奥(来源:Facebook、Google、BotlerAI)
  从自己做研究、到成为技术布道家,杨立昆虽是中年成名,但其根源可追溯到童年。
  1960年,杨立昆出生在法国巴黎附近的郊区,父亲是一名航空工程师,酷爱DIY遥控汽车和遥控飞机等电子产品,同时他父母也都是科幻小说迷。这让他在童年时就对科技、太空和计算机充满了好奇和热情。
  18岁,他进入巴黎高等电子与电工技术工程师学院(ESIEE)。大学五年,没有课的时候他就泡在图书馆里,从人类的语言机制,到大脑的工作原理,再到系统理论(控制理论)、自组织、自动化等一系列晦涩深奥的内容,他都悉数吸收。
  当时,人工智能机器学习和神经网络这些概念都已出现。他认定,如果想让计算机变得更聪明,模拟人类大脑运作方式的神经网络将是可行的方向。
  1982年前后,大四的杨立昆构想出一种可在网络中实现从后向前传递信号的算法,并将其命名为HLM算法(多层线性模型),今天广泛使用的梯度反向传播算法就是在HLM基础上发展而来。
  不过彼时神经网络研究在法国几乎处于停滞,这让杨立昆颇为苦恼。机缘巧合之下,他在一场国际会议上见到了杰弗里辛顿(GeoffreyHinton),两人很快意识到,尽管他们此前从未谋面,但却有着相同的兴趣和研究思路。
  双剑很快合璧,博士毕业的杨立昆受辛顿之邀前往加拿大多伦多,共同研究神经网络和反向传播。同一时期,在加拿大蒙特利尔,杨立昆认识了当时还在读研的约书亚本吉奥(YoshuaBengio),后者对神经网络的了解让杨立昆十分佩服,日后的三巨头终于相互见面。
  图1990年,杨立昆在ATT贝尔实验室发表的用神经网络识别手写字符的论文(来源:资料图)
  从1985到1995年,神经网络经历了相对繁荣的十年。对于杨立昆来说,他的科研生涯也在美国贝尔实验室迎来了小高潮:入职仅两个月就开发出拥有6。4万个连接的LeNet卷积神经网络,主要用于识别手写字符。
  最终,LeNet的升级版LeNet5拥有34万个连接,被部署到一个银行支票数字读取系统中,应用于美国和法国的许多自动取款机中。
  这是卷积网络的首次商业应用,直到20世纪90年代末,美国所有支票的1020都是由它处理的。
  可惜高光时刻未能延续太久,随着贝尔实验室隶属的ATT公司拆分,混乱的管理和权力分划让人无暇顾及这个渺小的、不能赚大钱的系统。
  中年被裁,经历十五年的神经网络寒冬
  随后,神经网络寒冬降临,从1995年开始,持续了近15年。
  有五年多的时间,我们几乎没有再涉足机器学习的研究,只是发表了几篇整理性质的论文,杨立昆回忆称,于我而言,这些论文就像是天鹅临死前的最后哀鸣。
  当时,他先是被ATT裁掉,之后在日本NEC公司的普林斯顿研究中心也承受着研究快速落地和变现的压力,并不能潜下心来做科研。
  于是在2003年,他决定应聘纽约大学的教授职位,这样至少可以安稳地做研究。
  由于业界对神经网络不够重视,从2004到2006年,杨立昆、辛顿和本吉奥的论文几乎被所有机器学习领域的重要会议拒收,比如NIPS和ICML,而CVPR和ICCV这样的偏应用领域的大会也不太欢迎神经网络。
  寒冬中三人抱团取暖,他们还借鉴深层政府(deepstate)这样的阴谋论,自嘲为深度学习阴谋小组。
  熟悉杨立昆的人都知道,他是个性非常鲜明,说话直言不讳的人,对自己的想法坚信不疑。此前,他在推特上与各路网友争论并连发数十条推文,甚至一度表示要彻底告别推特。
  这种特立独行的性格孕育他逆行的勇气,使他在无人看好神经网络的年代里,仍然全身心投入其中。
  图2005年,杨立昆等人将神经网络技术用于无人车避障(来源:资料图)
  2006年,有关深度学习、神经网络等概念的论文逐渐被机器学习大型会议接受,虽仍有不小阻力,但至少不再像以前那么排斥。这离不开他们仨多年来的奔走疾呼,以及默默耕耘出来的研究成果。
  自2003到2013年的十年间,杨立昆一直在纽约大学实验室里默默地扩展卷积网络的应用范围。
  物体识别、面部检测、人脸识别、机器车的主动避障和自动驾驶、生物和自然物体图像的语义分割,这些即便在今天都很新鲜的技术,其实早在1020年前就已被他挨个实现。
  2013年前后,随着计算机硬件的进步(尤其是业界对GPU的应用)、以及数据量的爆炸式增加,杨立昆等人终于迎来春天。
  后面的故事我们都知道了,由神经网络驱动的模型开始横扫各种比赛,以超出传统方法数倍、甚至数十倍的表现成为了计算机科学界的新宠。
  我想人们更了解AI
  2019年底,杨立昆将自己的科研生涯、人工智能技术的底层原理、以及自己对人工智能现状和未来的思考著成法语版《科学之路:人,机器与未来》一书。如今,中文版先于英文版问世。
  图杨立昆的书(来源:中信出版集团)
  我想让人们更加了解深度学习和人工智能是什么,而且毫不掩饰其中的复杂性,杨立昆解释自己著书的初衷,人工智能已经在影响人们的生活,在未来可能会带来更大的影响,因此人们需要了解它是如何工作的。这本书兼具自传和科普属性,可以让喜欢叙事与喜欢科学逻辑推理的人同时享受深入机器的科学之旅。
  从最基础的学习机和感知器,到监督式学习,再到深度网络和和卷积神经网络,最后到无监督学习,这几乎是数十年来最引人注目的机器学习技术的进化过程,包括反向传播、CNN、ResNet、GAN在内的一系列经典算法和模型悉数出现。
  乍看之下,这些内容背后充满数学模型和函数运算,令人望而生畏。但通过简单易懂的案例,带有注释的伪代码,以及环环相扣的推导,杨立昆希望让不同背景的读者都能明白人工智能的实现过程。
  在许多理论和术语第一次出现时,杨立昆就给出了通俗的解释,连一元一次方程都有解释,细致程度堪比教科书。他说:我的目标是,如果你有高中数学水平,那么理解书中的数学概念就不在话下。即使跳过数学,也不影响对内容的理解。
  例如在理解自动驾驶的原理时,即使向量梯度维度之类的概念看得似懂非懂,也可以借助车辆压到左侧白线,因此要向右调整等通俗直白的解释搞清楚原理。
  当然,现实情况比理论复杂的多,瞬息万变的路况、各国不同的交通法规、以及不守交规的情况都会打破人工智能模型所熟悉的完美的世界。因此,只有了解技术背后的原理,才能知道它的极限所在。
  (来源:Pixabay)
  过去五年,许多人对自动驾驶和无人驾驶的普及充满了乐观,按照一些媒体和企业2015年的预测,2020年就应该有数千台无人驾驶汽车(L4以上)行驶在路上,但现实并非如此,连L2、L3级别的辅助驾驶都时常出现问题。
  其实,自动驾驶本质上是一个AI完备问题,不能单靠计算机技术来解决,而是必须有人类介入。
  AI需要人类的常识(commonsense)才能解决这类问题,杨立昆表示,知道了这一点,才能明白为什么无人驾驶不会普及得那么快。
  他还表示:我认为如果你想在AI领域创造价值,计算机知识固然重要,但量子力学、运筹学和信息学的知识更加重要,尤其是它们背后的数学。
  杨立昆:自我监督学习模型是目前最有前景的AI
  对于大多数人而言,最好奇的问题可能是人工智能的未来是什么样子?何时才能实现?
  杨立昆说:我们希望AI具备接近人类的智能,那么它就需要具备常识,才能让所有期待成为可能。
  所谓常识,就是人类在与物理世界交互的过程中自然而然形成的观念和认知。比如两个月左右的婴儿就已经知道物体之间可以相互遮挡,被挡住的物体仍然存在,而非凭空消失;九个月大的婴儿,就已经知晓了重力和惯性等物理概念的存在。
  如果有违背普遍规律的事情出现,不会说话的婴儿会睁大眼睛,做出一副不可思议的表情。
  人类大脑的这种学习能力,是杨立昆等AI科学家想要复刻的。但目前在机器学习领域,无论是监督学习还是强化学习,都存在一定局限性,这给人工智能的进步设置了无形的天花板,结果就是人工智能对世界只有一个肤浅的理解,而不具备常识。
  杨立昆认为,目前最有前景的实现方法是一种被称为自我监督学习(SelfsupervisedLearning)的模型。这是他近几年大力支持且深度参与的研究方向,多次将其称为智能世界的暗物质。
  图2021年3月,杨立昆在FacebookAI官方博客撰文介绍自我监督学习(来源:资料图)
  该模型的核心是在不提供标注数据的前提下,训练AI的预测能力,可用于填补文本、图像或视频中的空白。
  模型的背后,结合了感知模块、世界模型和评判体系三大模块:通过感知模块获得周围环境的状态信息,借助世界模型(函数)预测接下来可能出现的多种状态,再交给评判体系(成本函数)预测目标未来的平均值,表示某个状态对于世界状态的发展是有利还是不利。
  这套复杂的、具有预测能力的自主智能框架诞生的时间并不长,但已受到广泛关注,在自然语言处理领域大放异彩的谷歌BERT模型,其背后原理(Transformer架构)与自我监督学习一脉相承。
  另一方面,训练机器学习模型需要用到海量的数据,但杨立昆指出,无论你在媒体上读到了什么,大公司对自己的数据都有极强的保护欲。无论是出于保护用户隐私,还是出于巩固竞争优势的目的,总之它们是不会随便分享自己的数据的。
  而自我监督学习模型可以有效减少对数据的依赖,帮助解决这个人工智能领域亟待攻破的挑战之一。
  开放的精神让AI技术实现飞跃
  至于何时AI才能具备常识,许多人认为,从没有智能到拥有智能或许就在一瞬之间,比如某个颠覆性技术横空出世,或者一觉起来,AI机器人突然就完成了自我觉醒。
  杨立昆坦言自己也无法回答这个问题,但可以肯定的是,这一过程绝不会是一夜之间出现的。
  他表示,颠覆性技术是无法预测的,你永远不知道什么时候会出现。但我们搞懂AI的过程一定是循序渐进的。几年后,我们或许能做出一个跟猫的智商差不多的AI。至于跟人类智能相当的水平,可能要几十年以后了。
  听起来似乎有些悲观,但其实许多媒体和企业通过营销噱头在一定程度上神化了AI的进展,使后者在公众心中变得过分乐观,甚至出现了对AI的恐惧和末日论。
  作为一个坚守立场并已度过AI寒冬的科学家,杨立昆毫无疑问对神经网络和人工智能持积极态度,其评价也更客观。
  他表示自己很欣慰能看到日益开放的研究氛围,因为只有整个行业持续保持开放的精神,才能涌现出越来越多的优秀成果。
  我们看到的开源和开放精神,也就是最近七、八年流行起来的,十多年前并不是这样的。就算是现在,许多在AI研究上投入巨大的公司也更喜欢保密,然后开发基于人工智能的消费产品,以获得竞争优势。
  但杨立昆认为这并不代表巨头就能形成垄断,因为创新的想法可以诞生在任何开放的环境中,小企业也可以凭借优秀的研究成果谋得一席之地。
  这本质上是公司文化决定的,需要全球性的努力,他补充称,好消息是,我们看到越来越多的公司在推进开放精神,有欧美公司,也有中国公司。
  杨立昆由衷希望这个趋势能继续下去,只有这样,才能激发更多科学家去发掘人类智能的奥秘。
投诉 评论 转载

中国花费147亿,在平潭海峡修建跨海大桥,连通台湾或成现实2020年12月26日,福建省福州市平潭县的火车站内,正隆重地举办着平潭海峡公铁大桥的全线通车仪式。仪式上的每一个人都激动万分,为什么大桥的通车仪式会让人如此激动呢?因为这座大……芋头常见病害有哪些芋头是生活中常见的粮食作物,深受消费者的青睐,但是在芋头种植过程中常常会染上一些病害,严重影响到芋头种植的经济效益,那么芋头常见病害有哪些呢?下面就一起随本站小编来了解一下吧。……中国造2300吨大国重器,能打通喜马拉雅,为何高价卖给印度?图为印度购买的盾构机长期以来,印度都有着一个大国梦,为此处处都拿中国作为对比对象,但奈何没有这个实力,在基建领域,印度更是落后了一大截,为了完善本国交通设施,在我国造出2……八佰经典台词与好句摘抄《八佰》经典台词1、国人如此,倭寇何敢2、国人皆如此,倭寇何敢3、丈夫许国,实为幸事。4、弟兄们,来生再见5、等我死了,你替我6、仓库里有多……顺丰嘿客顺丰嘿客不温不火顺丰嘿客定位与实际运营有时至今日,顺丰旗下新一代社区服务店嘿客便利店已运营三个月,随着其在各大城市不断铺设店面,业界对于这种新型模式的质疑声也此起彼伏。客流稀少,盈利堪忧成为最多的评价语。今年5……高考放榜他根本不努力,凭什么比我考得好?2021高考分数线陆续公布育儿事务所教育怀着忐忑又期待的心情,我们终于迎来了高考成绩的公布!拿到成绩的考生和家长们,几家欢喜几家愁。高考被定义为每个学生时代改……从中枢作用看办公室人员的工作水平培养与质量把控的摘要:办公室是一个单位的中枢机关,既是单位的门面和窗口,又是领导的参谋和助手。办公室工作质量的好与坏,直接关系着单位整体的对外形象和内部运作,办公室的中枢作用决定了其对工作人员……畅玩大型手游?少不了高性能手机来助力!这几款产品值得拥有虽然整体而言不及主机游戏和PC游戏那样华丽,但手机游戏得益于灵活运用碎片化时间这一特性,已经成为不少用户的日常选择,但有一点手机游戏与PC游戏类似,那就是如果想要畅快地玩大型手……疤痕快速修复的方法疤痕一旦长了身上不加快修复的话,那么这个疤痕是很难去掉的,长了疤痕之后看着也不美观,有了疤痕的话也是人们最大的疑问,由于疤痕不靠修复是无法改善的,所以说很多人都选择了修复的方法……揭秘汤和为啥不是开国六王最近很多人对这个汤和的事情比较感兴趣,因为大家也都知道这个汤和当时和朱元璋的关系不浅的,最后大家也都知道了,那就是汤和是没有被朱元璋杀的,得以善终,既然这样那么很多人要问了,那……睡前一个动作暴瘦肚子坚持做小腹平平最有效的减肚子方法,平时没时间运动也没关系,睡前躺在床上也能做一些简单的伸展运动,避免肚子赘肉堆积,有效塑造腰部曲线。抬腿转转:端坐在瑜伽毯上,上身挺直然后向后倾,……大咖专访从未有像中国这样,让深度学习成为国家级优先项目上海恐怕是世界上唯一会有人在街头拦住我并索要我的签名的城市,在美国只有电影明星才有这种待遇,科学家是没那么多人追捧的。这种热情令人难以置信。谈及中国粉丝对于自己的喜爱,杨……
MetGala之后,碧梨掉了10W粉粉丝们不喜欢大胸部法媒冬奥之后,中国还缺一个世界杯恭喜!火箭榜眼夏联报销,格林加盟掘金,西蒙斯进入离队倒计时感动!夫妇用割草机画出科比,奥尼尔把劳斯莱斯座驾涂鸦成科比三位04后小将携手冲击东京奥运会女子跳水10米台冠军十三亿人里挑不出几个踢会足球的人的论调可笑至极中国勇士认输了?火速完成引援,名宿之子驰援库里!火箭双星无缘加盟盘点联盟30支NBA球队在2021年休赛期那些最容易被低估的排超决赛今日(1月4日)看点梯影传媒x同道大叔丨创造跨界营销新玩法36岁高龄重回NBA!连詹姆斯都直言佩服,这状态至少打到40
什么是潜水员病向加偏旁组词向加偏旁可以怎么组词红米Note5A有什么新功能我的好朋友茶叶中的7种主要营养物质,你知道是什么吗?赵丽颖突然被两男星争相表白?离婚后她的桃花更旺了?乐于助人的我作文范文急诊科述职报告男生两边剃锡纸烫发型有哪些男生锡纸烫怎么打理缩减学制不如革除应试弊病硫化氢泄漏使用什么样的防毒面具我身边的好老师

友情链接:中准网聚热点快百科快传网快生活快软网快好知文好找江西南阳嘉兴昆明铜陵滨州广东西昌常德梅州兰州阳江运城金华广西萍乡大理重庆诸暨泉州安庆南充武汉辽宁