炼数成金 门户 商业智能 机器学习 查看内容

机器学习奠基人Michael Jordan:下代技术是融合经济学,解读2项重要进展

2019-12-2 10:38| 发布者: 炼数成金_小数| 查看: 4780| 评论: 0|原作者: BAAI|来自: 北京智源人工智能研究院

摘要: 电气工程学的前身是一些电子公式,但无法回答研发电路以及实现城市电气化等问题,随着人们开始思考抗阻模块、线路等,便诞生了电子工程学。Michael I.Jordan 认为机器学习的发展,遵循着和上面两种学科类似的理论和 ...
2019年11月1日北京智源大会全体大会及闭幕式上,被誉为“机器学习之父”的加州大学伯克利教授、智源研究院学术顾问委员会委员 Michael I.Jordan 做了题为《决策与情境:基于梯度的博弈均衡求解方法》(Decisions and Contexts: On Gradient-Based Methods for FindingGame-Theoretic Equilibria)的主题演讲。

这个演讲报告既“高屋建瓴”,Michael I.Jordan 将机器学习的前世今生划分为四个时代,指出正在到来的第四代机器学习,实践层面将是与智能市场系统的融合,理论层面将是机器学习与经济学等的融合;同时也“脚踏实地”,Michael I.Jordan 介绍了一系列他们在第四代机器学习视角下的研究进展,包括鞍点逃逸、算法加速以及基于博弈均衡机制的“多臂赌博机”等。
 
下面是关于Michael I.Jordan演讲的精彩要点介绍。
 
机器学习的四个时代
首先作为“机器学习之父”,Michael I.Jordan 以化学工程、电器工程的历史发展作为参照案例,来解读他理解中的机器学习。在上世纪20、30年代前,世上还没有“化学工程”这门学科,那时候的化学学科,仅仅是关于实验室里用试剂做实验的内容。直到后来伴随着量子科学的发展、化学工厂以及相关产品的涌现,才出现了化学工程。

电气工程学的前身是一些电子公式,但无法回答研发电路以及实现城市电气化等问题,随着人们开始思考抗阻模块、线路等,便诞生了电子工程学。
 
Michael I.Jordan 认为机器学习的发展,遵循着和上面两种学科类似的理论和实践结合路径:它将传统的统计、算法和推理整合在一起,同时也是工程学的拓展,涉及了人类决策、数据分析等方面的设计和系统应用,它的目标并不是取代人类,也不仅仅是人工智能,而是将人和机器系统融合在一起,包括它将整合包括统计学家、计算机科学家以及经济学家等各类人才的聪明才智,来应对、解决来自社会层面的各种挑战。
 
具体来说,机器学习自诞生后的几十年里鲜有突破,主要涉及数据分析和人类决策,而自上世纪90年代后,机器学习的历史发展可划分为如下四个时代。
 
第一代机器学习(1990~2000年):主要应用是欺诈检测、检索和供应链管理等。欺诈检测主要是应用于电商领域,通过机器学习来鉴别、降低诈骗。比如当时在亚马逊的信用卡诈骗率曾一度是1%-3%,因此亚马逊开始使用云计算机系统,结合数据及不同算法,比如随机森林(Random Forests,简称RF),使诈骗率降到1%以下。之后,亚马逊开始在整个供应链和物流上利用机器学习进行建模,因为在跨境运输条件下,一条有效的供应链,能保证产品即使在面临台风的情况下依然能准时准确送达,这便需要大量的数据分析及各种测算。
 
第二代机器学习(2000~2010年):开始涉及人类层面的研究,以推荐系统、社交媒介系统等为代表。这个阶段,我们拥有的大数据,不仅仅涉及如跨洋运输供应链等产品层面的信息,也内嵌了可供分析“消费者购买原因”的数据内容。比如两个人购买了同一本书,我们基于此进行分析,然后将这本书推荐给另一个还没有购买的潜在客户。于是推荐系统的研究,带来了巨大的行业影响,比如阿里巴巴、亚马逊等都采用了这样的机器学习应用,并进一步发展了价值几十亿资产的行业。
 
第三代机器学习(2010年至今):模式识别应用,以语音识别、计算机视觉、机器翻译等为代表。此时,我们可以模拟人类的智能,或者说可以模仿人类某一方面的智能。我们主要通过数据分析来进一步分析人类智能,但并不意味着现在计算机能够捕捉所有的人类思考。计算机还需要很久的时间才能像人类一样聪明。
 
第四代机器学习(正在到来):机器学习融合市场。市场相当于一种去中心化的算法系统,将消费者和商品紧密连接,把人、数据和现实中的问题和需求进行整合,成为一个可以创建经济新业态的平台,比如Uber,中国的滴滴等。这些市场算法系统和宏观经济的一些原则相类似,必须借助大数据分析,并扩大应用规模,这样才能产生更大的效果;这个市场系统可以在不同的尺度、规模下运作,适应性强,可长时间运行,用户可以自由下载进入的软件。当然这些环节中,计算机并没有代替人类,而是作为整个系统的一个总控。

Michael I.Jordan认为,迄今为止机器学习构建智能市场系统的使命远未完成,包括还没有实现将机器学习和经济学(包括经济统计学、经济测量学等)紧密结合在一起。
 
第四代机器学习中的研究进展
Michael I.Jordan 近十年来主要从事于“第四代机器学习”中决策方向的相关研究,包括创造市场的统计系统、分散决策的错误控制、管理边缘云端交互等。(如下图)

第四代机器学习研究问题范例
 
他关于决策问题的一个重要论断是,机器学习必须要考虑“因果关系”,只有这样才有可能进行大规模的工程应用,比如无人驾驶决定是否加速或停止,这不仅仅是一个阈值和输出的问题,而是要综合考虑周围汽车、街道状况后才能做出决定。
 
接下来,Michael I.Jordan介绍了他们团队最近取得的两项重要研究进展。
 
第一项研究是关于如何有效避开鞍点的问题。鞍点是深度学习中非常棘手、大量存在的问题,它会导致学习曲线变平。我们经常会看到一个学习曲线下降很快,之后很久都是平的,这便是鞍点的表现,尽管它最终会脱离鞍点继续下降,但在现实实践中,我们往往要处理高维下降到低维问题,此时会遇到十多万甚至上百万的维度干扰路径选择,用传统的梯度下降法来逃离鞍点,会十分耗费时间。

因此 Michael I.Jordan 团队在成员 Chi Jin 的主持研究下,提出了一个高效率摆脱鞍点的方案。MichaelI.Jordan 介绍说:“我们引入海森-利普希茨性质(如下图),很明显二阶驻点是一阶驻点的扩展,这个梯度同样趋近零且不等于零,同时海森矩阵的最小特征值不严格大于等于零。我们给自己放松了一个小区间,可得到了一个收敛速度,所以可以测试达到二阶驻点速度有多快。这个算法被命名为扰动梯度下降,本质是在一般梯度下降算法的情况下偶尔增加一些随机噪音。”


扰动梯度下降算法原理

关于这个算法背后的几何原理(如下图):鞍点周围相当于是一个饼状区域,我们如果进入这个区域会被困在里面,在鞍点上停留很长时间,这时候如果有一些随机扰动会把我们从鞍点区域踢出去,以确保不会一而再再而三地陷入困境,这个理论就是关于如何高效率地远离这个饼状区域。

扰动梯度下降算法的几何图解
 
第二项研究进展是关于加速算法,了解加速时会发生的状况及最快运行速度。同时 MichaelI.Jordan 认为在一个离散的点上,更快并没有太大意义,而是要根据整个持续的连续体来看究竟能多快。MichaelI.Jordan 的两个学生花了三年时间研究出通过变分、哈密顿和辛集成的视角来做加速。首先,他们发现如下图最下面的两个公式可以比传统方式运行得更快。


梯度下降的加速算法
 
后来发现拉格朗日函数(如下图),优化一下便能实现最快速度,这是目前能实现的较好结果。函数中有一个布雷格曼散度(Bregman Divergence),它依赖于速度,这个公式孕育出很多加速算法。Michael I.Jordan 团队还发现,布雷格曼拉格朗日函数(Bregman Lagrangian)在几何学方面具有很好的一致性,这意味着不管用什么速度,都可以在一个持续时间当中来实现这个速度,但假如把持续时间和不同公式输入到电脑中逆转推算,却无法实现。

布雷格曼拉格朗日函数
 
接下来是辛集成(Symplectic Integration)(如下图),它是目前较好的算法,也很稳定。我们可以用特殊方式进行加速,利用拉格朗日函数、汉密尔顿函数进行表征,来解决其他许多问题。

辛集成
 
目前在加速和鞍点方面的问题中,Michael I.Jordan团队做了进一步的研究,尝试用汉密尔顿函数分析(如下图)的方式来解决,就是先把汉密尔顿函数分解,分别研究,然后再组合到一起,得到一个综合分析。

汉密尔顿函数分析

下面的加速算法(如下图),是针对一个非凸点问题的,它可以跟汉密尔顿函数相结合,或许能验证加速、帮助通过鞍点。

针对非凸点问题的算法加速
 
未来十年的研究方向:市场与科学、决策的整合闭环
展望未来十年的研究方向,Michael I.Jordan 表示,他们将专注于科学和数学,将市场与科学、市场与决策整合,建立一个闭环链条。

Michael I.Jordan 团队目前正在实验中的一个项目,叫多臂赌博机(Multi-Armed Bandits),这种赌博机的游戏规则简单来讲就是:假设有A到K的选项,选择一个选项后得到奖励,之后进一步增加得分,把得分较大化。这个项目中的成果已经在AB测试、药品研发等诸多领域中应用,它内蕴的博弈逻辑,实际上已经渗透到现在的市场经济各种现象之中。

按 Michael I.Jordan 的观点,对于一个有买方、卖方的匹配市场,就会存在供需匹配和排序的问题,比如很多人选择同一家餐厅,便需要对空间进行限制,比如两人选择了同样的座位,后来者就像AB测试那样输掉,当然输者就会后悔自己的决策。为此,Michael I.Jordan团队已经在建立一个名叫 Bandit Markets 的数学理论,用以验证算法、降低后悔量。这个算法叫做 Gale-Shapley。
 
最后,回归到决策问题,Michael I.Jordan 介绍了他们在算法上的一个进展。从统计学的角度来说决策问题,好比这张二乘二表中(如下图)中0和1的假设,如何测量决策成功呢?如果现实是1,实现预测也是1,或者规避现实是0、预测是1的情况,传统的方式就对专一性和高敏感度进行优化,但这种方式当数据集里发现项假的比较多时,很难有好的效果。
 

二乘二表模拟决策
 
因此 Michael I.Jordan 团队提出了贝叶斯过滤算法来控制的方案(如下图),这个算法公式可以用来展示假的发现项。


贝叶斯算法的过滤方案
 
以上是 Michael I.Jordan 团队用机器学习结合统计学、市场决策等,在推进第四代机器学习时代的过程中,近年来所取得的一些研究进展。Michael I.Jordan 作为机器学习领域的泰斗级人物,其历史和行业视野的前瞻性洞察和研究工作的细致入微的紧密结合,透过这场报告呈现得淋漓尽致,相信能给我们人工智能领域科研者、从业者们带来不少有益的启发。

声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-12-9 07:02 , Processed in 0.131104 second(s), 25 queries .