U赢电竞官网-东莞变频器简介 大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?
东莞变频器简介 大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?
时间:2021-07-12 01:27 点击:183 次

Hinton刚刚在Twitter上开了一个幼商议: 人们指斥在设计神经网络时从大脑获取灵感,就像在设计飞走器时从羽毛中获取灵感相通。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

△ 「清淡,在设计神经网络时,很众人指斥从大脑吸收灵感,这就像从羽毛构造中吸收灵感设计飞走器相通。无人机必要的桨叶是不会对撞到的东西造成损坏,还能够议定迅速的预处理轻盈修复。」

因而,神经网络的设计到底能不克借鉴人类大脑构造?

「能」或「不克」,这是一个题目

前排网友激动商议:太对了。飞机的设计灵感就来自鸟。大自然向吾们展现了如何飞走。AI也是相通。神经网络仍处于赓续发展当中,不论何时,只要展现了任何难倒人类但已经被大自然解决的题目,吾们都异国理由不往钻研大自然的解法,除非吾们疯了。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

也有网友外示:实在,人类不克像鸟类和昆虫那样以惊人的变通性(滑走、添速、停留、高效果)「飞走」。对大脑来说,什么是 「飞走」?展望吗?能够吧。神经网络不克像大脑那样实走很众义务。吾认为这很有启发性。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

也有网友认为:对于分类题目,BP(逆向传播)能够被望作是带有特征工程(Feature engineering)的LR(逻辑回归)。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

△ 为什么关心这个题目?事情是云云的,在数学中也是如此,你操纵一些工具来得到一个或一些想要的效果,倘若你幸运益的话,过一段时间,你就会清新为什么这些工具真的协助了你。对于分类题目东莞变频器简介,BP能够被望作是带有特征工程(Feature engineering)的LR.

还有网友外示:自吾珍惜和自吾维持的设计还异国纳入机器的考虑周围。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

△ 大脑和鸟类出于生存的必要,进化出了自吾修复的能力。无人机和它们撞到的东西被望作是人工的和可替换的。自吾珍惜和自吾维持的设计还异国纳入机器的考虑周围。

甚至有网友质疑是否能够将大脑-神经网络与鸟类-羽毛进走对比:

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

△ 吾们必须确定神经网络和大脑之间的有关是否可与羽毛和鸟类(或桨叶和无人机)之间的有关相挑并论......不确定是否如此。

也有网友搬出了《大英百科全书》的注释:

羽毛的进化早于鸟类,甚至早于鸟类飞走。因此,早期的羽毛具有保温功能,(......),但不具有空气动力学和飞走功能。(......)羽毛不再被认为是鸟类的稀奇和诊断性特征。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」? 对大脑来说逆向传播是不能够的

在逆向传播算法展现的益几十年,关于大脑如何学习的理论主要受「赫布理论」(1949)影响东莞变频器简介,清淡被注释为「共同激发的神经元之间存在连接」,即相邻神经元的运动越有关,它们之间的突触有关就越强。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

这一理论经过一些修改后,成功注释了某些类型的学习和分类义务。

固然赫布理论在操纵舛讹新闻时,是一栽的专门褊狭、稀奇且不敏感的手段,但对神经学家来说,它照样是最益的学习规则,20世纪50年代后期,它甚至激发了第一幼我工神经网络的发展。

这些网络中的每幼我工神经元授与众个输入并产生一个输出,和实在的神经元相通。人工神经元用一个所谓的「突触」权重(一个外示该输入主要性的数字),对输入进走添权乞降。

到了20世纪60年代,这些神经元能够被机关成一个有输入层和输出层的网络,「人工神经网络」能够被训练来解决某些浅易的题目。

在训练过程中,神经网络为其神经元确定最佳权值,以降矮偏差。

然而直到1986年以前,异国人清新如何有效地训练带有「暗藏层」的人工神经网络,直到Hinton发外了「逆向传播算法」有关论文。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

逆向传播的发明立即引首了一些神经科学家的剧烈抗议东莞变频器简介,他们认为这栽手段不能够在真实的大脑中首作用。

最先,固然计算机能够很容易地在两个阶段实现该算法,但是对于生物神经网络来说,云云做并不浅易。

其次,是计算神经科学家所说的权重传递题目: 逆向传播算法复制或「传输」关于推理所涉及的一切突触权重的新闻,并更新这些权重以获得更高的实在性。

但是在生物网络中,神经元只能望到其他神经元的输出,而不克望到影响输出的突触权重或内部过程。

从神经元的角度来望,「清新本身的突触权重是能够的,你不克清新其他神经元的突触权重。」

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

任何生物学上益像可走的学习规则也必要按照神经元只能从相邻神经元获守新闻的控制; 逆向传播能够必要从更远的神经元获守新闻。

因此,「倘若你逆向传播信号,大脑益像不能够计算。」

胶囊网络

2017年,深度学习三巨头之一的Geoffrey Hinton,发外了两篇论文注释「胶囊网络(Capsule Networks)」。

在那时,这是一栽崭新的神经网络,它基于一栽新的结构——胶囊,在图像分类上取得了更优厚的性能,解决了CNN的某些弱点,例如无法理解图片和语义有关、异国空间分层和空间推理的能力等。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

在CNN中,旁边两幅图都可被网络识别为人脸

甚至,Hinton本身也公开外示过,他要表明为何卷积神经网络十足是「垃圾」,答该以本身的胶囊网络代替。以前三年中,他每年都会推出一个新版本的胶囊网络。

今年2月,Hinton发外了一篇新论文:如何在神经网络中外示片面-集体层次结构?(How to represent part-whole hierarchies in a neural network)

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

本论文中,他挑出了一个叫做GLOM的架构,能够在神经网络中操纵胶囊来外示视觉的层次结构,即片面-集体的有关。

GLOM议定挑出island的概念来外示解析树的节点。GLOM能够隐微升迁transformer类的模型的可注释性。能够隐微升迁transformer类的模型的可注释性。

大脑飞走?Hinton推特引炎议 神经网络是让幼鸟飞首来的「羽毛」?

行为深度学习的大大牛,Hinton挑出了逆向传播(BP),随后又一向在否定本身的做事,挑出了「胶囊网络」还有其他做事来增补生物学上的注释,对于揭开大脑构造和神经网络之谜,他的思考从未停留。

【编辑保举】东莞变频器简介

关于Kafka消耗者的这些参数你答该要清新? Linux 误删文件恢复命令及手段 从谷歌AI设计芯片上,吾们望到了“智能”的内心 鸿蒙开源第三方组件—日期和时间处理组件JodaTime-ohos 别再用ls、cat命令了,这有一套崭新升级版,简洁迅速还易上手
当前网址:http://www.palestinetimes.net/dongguanbianpinqijianjie/6198.html
tag:东莞,变频器,简介,大脑,飞走,Hinton,推特,引炎,
相关新闻