炼数成金 门户 商业智能 机器学习 查看内容

Yoshua Bengio:在蒙特利尔,我如何让机器学习“平地起高楼”

2018-9-7 10:25| 发布者: 炼数成金_小数| 查看: 7233| 评论: 0|原作者: Graham Taylor|来自: 论智

摘要: Yoshua Bengio,听到这个名字,相信不少人心中会升起一股钦佩。Hinton、Bengio、LeCun,曾经的加拿大学术界“三剑客”,也是公认的北美地区深度学习“三巨头”。如今他们一个去了Google,一个去了Facebook,连曾经梦 ...

管理 网络 机器学习 学术 业界

CIFAR是加拿大政府牵头投资的一个先进科学项目研究所,多年来,它致力于为各行各业的佼佼者提供研究资金支持,其中包括机器学习领域的两位先驱:Hinton和Bengio。近日,CIFAR官网刊登了一篇对Yoshua Bengio的专访,在文章中,Bengio不仅讲述了研究实验室从无到有的建设过程,也展示了自己青年时期的彷徨和梦想。

Yoshua Bengio,听到这个名字,相信不少人心中会升起一股钦佩。Hinton、Bengio、LeCun,曾经的加拿大学术界“三剑客”,也是公认的北美地区深度学习“三巨头”。如今他们一个去了Google,一个去了Facebook,连曾经梦想着为工业界输送生力军的Bengio,最后还是走出了大学的三层教学楼,接过微软递来的“橄榄枝”。

但总的来说,Bengio是三人中最看重学术纯粹性的。虽然在微软担任顾问,他现在还是CIFAR机器与大脑学习项目的联合主任,是加拿大计算机科学与运筹学系的全职教授,也是蒙特利尔大学统计学习算法研究主席。

在天下熙熙皆为利来的当前,保持这样一颗教学的初心是不易的。那么,在蒙特利尔大学原本“贫瘠”的土壤中,他是如何缔造出世界上较好的人工智能实验室之一的呢?

的学者
1993年,Yoshua Bengio入职蒙特利尔大学担任教员。在当时,这个法国小伙是学校里一个做机器学习和神经网络的人,所以他对前来询问的学生来者不拒。很快,这份热情就把他压得不堪重负,有了前车之鉴,慢慢的,Bengio逐渐适应了有选择性地答疑。

为了支撑研究进展,除了向学校申请研究资金,Bengio还积极利用校外的社交网络,联系上了在宗师级大牛Michael I.Jordan门下读博士后时有过合作的对象。在这些为数不多的学者中,多伦多大学的Geoffrey Hinton成了他日后的挚友。

时至今日,我们已无法想象独自奋斗的Bengio是怎样一副处境,但在这种情况下,自己拓展,甚至构建“学术圈”似乎是摆脱困境的较好方法。而他是幸运的,蒙特利尔大学在他身上看到了潜力,并迅速给了他教学赞助。

Yoshua Bengio
但缺乏经验的他还是低估了努力奋斗带来的后果。

在学校教学的前7年,Bengio只有两门课,所以有余力去完善自己的人脉网络,花更多时间去做研究。但当第二个孩子出生时,他已经入选加拿大首席研究员计划,教学任务也从两门课也变成了三门课,再加上筹建实验室,他第一次对家庭感到愧疚,也对教师这份工作感到不知所措。

回想起来,我完全可以创造更好的平衡。

我应该向一些年长的教授请教,无论他们和我是不是一个领域的人。如果我不那么内向,我也许能得到更多经验,但当时的我并没有意识到这一点。无论你是哪个部门的人,新教师就应该主动伸出手去建立联系,老教师们通常都很乐意帮忙,只是他们不会主动。

我必须成为专家
虽然没能协调好工作和家庭的关系,但Bengio还是从校外同行身上获得了不少启示。在第一个十年里,他和异地的Hinton进行了大量互动,而正是这些讨论,让他把扰动的心平静下来,专注于自己的研究。

Bengio从Hinton身上学到的经验是不要把自己的努力分散到不同地方。作为一名科研人员,他不应该为了当天的想法忘记自己的长期目标,无论这个想法的背后是否包含金钱、地位诱惑。同时,他每天至少应该为长期目标预留一部分时间,因为这个目标才是事业成功的决定性因素。

想法越多,就越容易陷入困境,也越容易错过重要的东西。

Geoffrey Hinton
在之后的十几年中,机器学习逐渐成了一个“吸金”又“吸睛”的领域,但这个理念一直支撑着Bengio保持“中立”。他认为,每个人都必须找到属于自己的路,如果你的目标是精通某一领域并取得突破,你就必须成为一名专家。因此,如果你是一名年轻的教员,你就应该瞅准一个方向,让自己成为这个领域最强大的人。

这样的观点并不是“站着说话不腰疼”。事实上,早在90年代,神经网络和机器学习就已经引起了工业界的兴趣。当时加拿大政府为了鼓励合作,向研究人员提供了数目可观的科研赞助资金。面对机遇,Bengio自然也无法免俗,当时他找了一些和自己研究契合领域的项目,收了不少赠款。

但这段经历显然给他留下了不良印象。当他向加拿大自然科学和工程研究委员会(NSERC)等组织提出建议时,他发现这些“金主”完全不关心研究人员的想法和意愿,他们只期待几年后的成果报告。

而这还不是更严重的。在学界,科研人员通常没法预测什么是热门课题,自己以后会遇到什么难题。但当你和公司签订协议后,你就可能会丧失研究的纯粹性,转而去迎合公司管理层的喜好。以NSERC的项目为例,Bengio就被要求去做最“先进”的研究,然后不停发表引人注目的研究论文。

对青年研究者来说,这是科研道路上的甜蜜陷阱。

“以人为本”的实验室
凑足经费后,蒙特利尔的人工智能实验室开始步入正轨。早期,由于种种原因,Bengio其实还没有攒够培养博士后的钱,实验室运营捉襟见肘。为了解决这个问题,他尽量招收底子比较扎实的学员,尽快成立了一支强大队伍。至于实验室的管理,他大胆信任学生的自然领导能力,招收实习的博士生、研究生甚至本科生来进行尝试。

我们不应该低估年轻人在管理上的能力,他们可能比年长的人更优秀。

如今,虽然有不少大学都在抱怨科技公司抢走了学校的人才资源,但Bengio并没有为此担心。

相反地,他面对招生一直抱着一种“赌博”的心态。比起计算机科学和机器学习专业的优秀学生,Bengio更喜欢有深厚数学、物理学背景,且对机器学习有极大兴趣的博士。他认为这些人虽然目前进不了Google Brain这样的优质机构,但凭借知识功底,他们可以在短短两三年内就掌握深度学习技术,也能证明自己在这一领域的能力。这是个双赢的结局。

至于这些博士肯不肯来,这完全出于个人选择。如果愿意加入实验室,他们能参与研究,发表论文,大大提高自己对工业界的价值。这也意味着更多的公司选择、更高的职位和更多薪水。当然,有些人也不需要读个博士后来证明自己,他们可以直接入职工作。

另外,对于某些人来说,钱并不是他们的追求。成为博士后带给他们的好处就是了解学术圈的运作方式,参与管理和做一些自己真正喜欢的研究。

机器学习“宗谱”
作为学校的“大老板”,Bengio的实验室已经经历了从最初的3人到现在几十人的蜕变。但这不是一朝一夕就能实现的,他必须学会如何管理更多的人、建立基础设施和管理资金,而这是一个循序渐进的过程。

现如今,许多大型实验室都普遍存在一个问题,就是随着人数增多,实验室发表的论文虽然多了,但教授花在学生身上的时间却少了,那么教授对学生又有什么意义呢?对此,Bengio的做法是把学生从家里拽出来,让他们始终和同学、其他教师互相协作。这样,虽然他们丧失了和教授的一对一关系,但这些人能围绕多个教授形成复杂网络,学到的东西更多。

而这种做法的一个前提就是让学生们亲自到实验室学习,让他们做到物理层面上的靠近。打通他们和陌生教授之间的交流障碍,不断扩大学习小组。

其他事项
既然是跟随导师做研究,研究经费是很多人关注的内容。众多周知,相比美国,加拿大博士的待遇会逊色不少,但这种差距似乎并没有阻止一批批学生投奔Yoshua Bengio的步伐。

在Bengio的实验室里,他采取的方法是把所有资金纳入总的资金池,当学生有科研经费需要时,任何人都会获得资助。换句话说,这其实是让学生放下资金压力,优先把精力投入到合作和研究中,而不是把经费额度作为标尺,衡量自己的科研目标。

当然,这中间必然有一个申请的过程,而资源也一定会向资深教授倾斜,降低他们获得资金的门槛。Bengio认为,如果科研人员不觉得自己受到金钱限制,那么他们一定是抱着快乐和探索的心在研究。

看到这里,也许有读者对跟随Bengio学习已经有所期望。事实上,自从深度学习热度被炒起来后,寻找优质生源对Bengio来说已经成了挑战,因为去年光是申请简历,他就收到了700多份;而今年,这个数字估计会超1000。在这种情况下,他无法做到亲自回复每封电子邮件,学生也没法体现自己的优势。

而Bengio本人也透露了录取率较高的几个途径,一是上他的课,给他留下深刻影响;二是去他的实验室当实习生,毕竟博士学习需要5年,合不合的来,这是件需要实践检验的事情。至于不在加拿大的同学,大家也不必气馁,你们要做的是让自己在顶会中崭露头角,并主动和Bengio本人建立联系。

作为学术派的代表,Bengio多少也会参与一些企业项目。对于这一点,他本人也积累了一些心得:有时候,你的期望与企业的期望合不合拍,这可能是合作了几年后才会知道的东西。但作为研究学者,你要做出一些事先声明,比如学者不是生产产品,也不是在给工业界提供廉价劳动力,他们的价值在于提出改变业务的惊人想法,因此雇佣人才本质上是一种变相投资。

有了这些想法,企业还要组织内部人员进行实现,否则合作很可能就失败了。AI技术很诱人,但企业也必须为此付出相当的代价。

总之,无论是经营实验室,还是治学研究,你都必须保持自信,保持自我独立思考的能力。如果感到困惑,就放下所有事,放下编程,有一些答案总是存在于我们大脑的深处,用一周时间思考让你烦恼的重大问题,有时也很有效果。

原文地址:www.cifar.ca/news/news/2018/08/01/q-a-with-yoshua-bengio

声明:文章收集于网络,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-9-19 15:00 , Processed in 0.200474 second(s), 25 queries .