人工智能之父发话:抛弃反向传播 AI需要重新开始
杰弗里·霍顿(Geoffrey Hinton)被广泛认可为当前人工智能之父。几十年前,他坚持认为所有人都放弃的反向传播和神经网络是改变世界的方式之一。在近期的采访中,他又表示,抛弃反向传播吧,AI需要重新开始。
▲Geoffrey Hinton
在接受Axios Hinton采访时,他表示深度怀疑反向传播,并且建议人工智能领域的学者放弃反向传播的研究,继而重新开始!他担心的是,神经网络似乎不像人类所想的那样学习:
我不认为这表明了大脑是如何工作的,我们显然不需要所有的标签数据。
这句话从神经网络技术先驱者的口中说出来似乎是令人惊讶的,但这无疑代表了部分事实。尽管与他一起参加多伦多AI会议的学者们并不认可这一观点。
首先,将无监督学习作为一个问题来重点关注似乎是错误的。大脑以某种方式将世界排序而不需要外界校正只是部分成立。一种常见且非常成功训练神经网络的方法是提供大量标签数据并训练神经网络再现标签。当提供大量动物类别的图片时,可以使用反向传播调整神经网络以缓慢得到分类。
一个神经网络可以学习一个分类并不奇怪,只要给定足够的自由度和一个很好的优化算法,那么你可以适应数据。真正值得注意的是经过训练的神经网络可以正确识别他们从未见过的图像。它们似乎形成了可信的层次结构,这些层次结构使得对未知事物的识别成为可能。简而言之,精心训练的神经网络似乎提取了数据集的结构。
这与人类大脑的工作方式相同吗?
如果你将AI视为一个工程项目,那么我们并没有真正尝试建立一个与人类大脑相同工作方式的人工智能大脑。我们正试图建立一个以任何方式做同样工作的设备。在这个意义上,识别一只猫的神经网络做得很好,即使它不像人类大脑那样厉害。
然而,人类学习的一种方法是使用奖励机制来指导我们的行为。这是强化学习,它也可以用于神经网络。Google的深度学习在创建可以玩街机游戏的网络,甚至AlphaGo在击败世界冠军玩家方面取得了巨大成功。通过给予标记的动作示例,AlphaGo没有学习复杂和微妙的游戏。相反,它只是从获胜或失败中逐渐学到的“经验”。这件事情就值得考虑了,这也是我建议拒绝反向传播的一个原因,即使反向传播是目前深度学习成功的核心。
很明显,人类在某种程度上是强化的学习机器,而且还有很多例子证明人类大脑的形成没有用到机器学习,比如解决数学问题,只是应用规则,而不是强化学习。AI研究人员长期以来一直追求象征性的推理系统作为模仿人类智力的方式。它可能不像现在深度学习那样流行,但它仍然是实现许多先进系统解决问题的有效方法,而神经网络似乎并不适合这一推理。
整个问题归结于神经网络学习。使用标签数据或反向传播似乎并不像我们想象中那样快速,一个深层神经网络就像冰川一样沿坡度逐渐移动到一个更好的解决方案。
还有一个小问题,反向传播似乎在生物学上没有合理性。原理上,具有低精度算术的神经网络似乎也是起作用的,甚至反馈校正的正确率并不重要。是的,将网络培训的正确性从99%提升到99.1%,效果不佳,系统仍然有点错误。
这是通用计算概念的AI模拟,这表明图灵的完整性是容易实现的,而大多数甚至是稍微复杂的系统都有。AI的等效之处在于,如果拥有足够自由度的东西,可以进行优化并将系统优化应用足够长的时间,那么它将会学习。
神经网络不仅仅是一个晶体管而是计算机的大脑。它们都是可用于构建更复杂和结构化系统的组件。这个结构是什么,以及需要什么组件才是真正的挑战。如果从真空管或晶体管构建计算机,从理论角度来看无关紧要。同样的,如果我们的学习组件使用反向传播或其他东西都不重要,因为它们不过是完整系统的一个组件而已。
您可能也感兴趣:
官方微博/微信
每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。
想在手机上看科技资讯和科技八卦吗?
想第一时间看独家爆料和深度报道吗?
请关注TechWeb官方微信公众帐号:
1.用手机扫左侧二维码;
2.在添加朋友里,搜索关注TechWeb。
为您推荐
恒大汽车 2023 年净亏损 119.95 亿元,努力改善经营状况
日赚0.82亿 比亚迪2023年净利润300.41亿元,同比大涨80.72%
苹果WWDC 2024将于6月10日举行,或将推出生成式AI技术
苹果A18 Pro芯片细节曝光:采用更大尺寸 以提升AI性能
阿里撤回菜鸟上市申请 拟37.5亿美元收购菜鸟少数股东股权
AI造富能力一流
飞书开启裁员 全员信称会提供补偿方案或转岗机会
消息称小红书2023年首次实现盈利 但IPO前景仍不明朗
更多
- 全球生成式人工智能领域去年或有近700笔投资交易 总额291亿美元
- 华尔街预计特斯拉Q1交付47.1万辆电动汽车 但也有分析师预计低于43万辆
- 苹果WWDC24还有望推出Mac Studio 但Mac Pro可能要下半年
- 亚马逊再向AI初创公司Anthropic投资27.5亿美元 兑现40亿美元投资承诺
- 消息称苹果在测试一款新Apple Pencil 有望用于Vision Pro
- 现代汽车计划到2030年将电动汽车增至31款 韩国年产能增至151万辆
- 消息称苹果没有在iOS 18等新一代系统中引入自研AI聊天机器人计划
- 被美国司法部起诉垄断后 苹果在美国又面临至少3起集体反垄断诉讼
- 航拍显示特斯拉上海储能工厂准备动工 厂区内已有施工设备
- 消息称苹果不会在今晚宣布新iPad Air和iPad Pro 还得再等等