本字幕由TME AI技术生成
三连接主义的圈子
我一直认为我绝对是正确的
杨丽坤坐在台式电脑前
穿着一件白衬衣
外面套着深蓝色的毛衣
伊那是一九八九年
当时台式电脑仍然靠电线连接着微波炉大小的显示器
并配有旋钮来调节屏幕颜色和亮度
另一根电线从这台机器的后部延伸到一个看起来像是倒挂的台灯的东西
但那不是台灯
而是一部摄像机
左撇子杨丽坤会心一笑
用左手拿起一张纸条
上面有个手写的电话号码
二零幺九四九四零三八
他把纸条放到摄像机下面
这时纸条的影像出现在了显示器屏幕上
当他敲击键盘时
屏幕顶部出现了一道闪光
这是一个快速计算的提示
几秒之后
机器读取了纸条上的内容
并以数字化的形式显示出相同的数字
二零幺九四九四零三八
这就是lnet
一个悠扬利坤创建的系统
该系统最终以它的名字命名
上面所说的这个电话号码
可以接通他在新泽西州姆德尔的贝尔实验室研究中心办公室
这间实验室看起来就像一个新未来主义的镜像盒子
是一栋由芬兰裔美国建筑师埃罗萨
李宁eero
sorenan设计的建筑物
实验室里有几十名研究人员
在电信巨头
美国电话电报公司ST得知持下探索性的想法
贝尔实验室可能是世界上最著名的研究机构
负责研究晶体管激光
unix由内克斯计算机操作系统和c语言编程语言
那时
长着一张娃娃脸的来自巴黎的二十九岁的计算机科学家和电气工程师杨丽坤正在开发一种新的图像识别系统
该系统基于杰夫
星顿和戴维
鲁梅尔哈特几年前提出的想法
冷奈特通过分西美国邮政服务部门无法头递列信践信风尚潦草的字迹
学会了使别手写数字
当杨丽坤将信封的图像输入神经网络时
神经网络对图中的每个数字都进行了数以千计的实例分析
从零到九
经过大约两周的训练后
他可以自行识别每个数字了
在霍尔姆德尔的贝尔实验室大楼里
杨丽坤坐在台式电脑前
多用了几组数字来重复测试这个技巧
最后一组数字的图像看起来像是小学艺术项目
是有正常情形的两倍宽
六由一系列的圆圈构成
二则由一堆直线组成
但是机器将它们全都读出来了
而且读的很正确
尽管学习识别电话号码或邮政编码这种简单的任务就需要几周的时间
但杨丽坤认为
随着越来越强大的计算机硬加速其训练过程
这项技术将会继续改进
并且可以使用更短的时间从更多的数据中学习
他认为
沿着这条道路
机器几乎可以识别任何被摄像机捕获其图像的东西
包括狗 猫 汽车
甚至人脸
与四十年前的弗兰克
罗森
布拉特一样
他也相信随着这种研究的继续
机器会像人类一样学会听和说
甚至可能学会推理
但他没有明说
他说
我们那时就在思考这个
但没有真正说出来
这么多年来
研究人员一直声称人工智能近在咫尺
但实际不然
研究界的规范已经发生了变化
如果你声称找到了一条通往智能的道路
那么你并不会得到重视
除非你有证据证明自己的说法是正确的
否则你不该做出这样的声明
杨丽坤说
你开发了系统
它奏效了
你就可以说
看
这就是基于这个数据集的结果
但即便如此
也没有人相信你
即使你真的有证据
并且展示了它是有效的
也没有人会相信你
一九七五年十月
在巴黎北部的一座中世纪修道院罗亚蒙修道院里
美国语言学家诺姆
乔姆斯基nom
trumssky和瑞士心理学家让
皮亚杰jee
PHJ就学习德本兹展开了辩论
二十五年后
一本论文集解构了这场影响广泛的辩论
杨丽坤作为一名年轻的工科学生
阅读了这些论文
顺便说一句
这本书有八十九页的篇幅提到了感知机
称它是一种能够通过定期接触原始数据的方式形成简单假设的设备
杨丽坤被吸引记住了
立刻迷上了机器可以学习的想法
他认为学习与智能密不可分
任何有大脑的动物都可以学习
他经常说
当时很少有研究人员关注神经网络
但那些关注神经网络的研究人员认为
神经网络不是人工智能
而是另一种形式的模式识别
杨丽坤在法国高等电气与电子工程学院也c读本科时就开始研究这个想法了
他研究的大部分论文都是日本研究人员用英语写的
因为日本是少数几个仍在进行这项研究的地方之一
然后
他发现了北美的研究活动
一九八五年
杨丽坤参加了在巴黎举办的一次会议
该会议专门探索计算机科学领域的创新和不同寻常的方法
辛顿也参加了会议
并做了一场关于波尔兹曼基的演讲
当他的演讲结束时
杨丽坤跟着他走出会场
确信他是世界上少数只有相同信仰的人之一
在混乱的人群中
杨丽坤无法接近他
但随后
辛顿转向另一个人
问道
你认识一个叫杨丽坤的人吗
后来大家才知道
辛顿是从特里谢诺夫斯基那里听说了这名年轻的工科学生的
而谢诺夫斯基是波尔兹曼基背后的另一位研究人员
几周前
他在一场研讨会上遇到过杨丽坤这个名字其实辛顿已经忘了
他只是在会议手册中看到了杨丽坤的研究论文标题
他想
谢诺夫斯基所说的一定是这个人
第二天
两人在当地的一家北非餐厅共进午餐
尽管辛顿几乎不懂法语
杨丽坤也只懂一点英语
但他们在一起吃着粗卖粉
讨论着连接主义的变幻无常
交流起来并没有什么困难
杨丽坤觉得辛顿好像是在补充他要说的话
我发现我们说的是相同的语言
他说 两年后
杨丽坤完成了自己的博士论文
他在论文中探索的是一种类似于反向传播的技术
辛顿看到后
立刻飞往巴黎
加入了论文委员会
尽管他仍然几乎不懂法语
通常在阅读研究论文时
他会跳过数学的内容
直接阅读文本部分
而对于杨丽坤的论文
他别无选择
只能跳过文本阅读数学部分
关于论文的答辩
双方同意
辛顿用英语提问
杨丽坤用法语回答
效果非常好
只是辛顿听不懂答案
在漫长的寒冬过后
神经网络开始从寒冷中复苏
迪安
波莫洛还在卡内基梅隆大学研究他的自动驾驶汽车
与此同时
谢诺夫斯基正在使用一种它叫做netAK的东西兴风作浪
三
他使用一种可以产生合成声音的硬件设备
打造了一个可以学其大声朗读的神经网络
这个设备有点像英国物理学家霍金在神经退行性疾病夺走他的声音后所使用的机器人语音盒
当这个神经网络分析满是英语单词及匹配音素即每个字母如何发音的儿童书籍时
他可以自行读出单词
他可以学会GH的发音和十像f比如在enough中
以及TI的发音和石像比如在nation中
当他在会议上演讲时
谢诺夫斯基会播放一段记录各个阶段设备训练情况的录音
起初
他像婴儿一样咿呀学语
过了半天
他开始读出可辨别的单词
一周之后
他就可以大声朗读了
他的系统展示了神经网络的功能和工作原理
当谢诺夫斯基将这一成果带到一系列学术会议上
以及在今日秀节目上与数百万名电视观众分享这一成就时
他激发了大西洋两岸的连接主义研究
在获得博士学位后
杨丽坤跟随辛顿到多伦多大学做了一年的博士后研究
他从法国带了两只手提箱
一只装着衣服
另一只装着他的个人电脑
虽然这两个人相处的很好
但他们的兴趣不尽相同
轻盾的动力主要在于一种理解大脑的需要
而训练有素的电气工程师杨丽坤还对计算机硬件
神经网络中的数学以及打造广义上的人工智能感兴趣
杨丽坤的事业受到了乔姆斯基和皮亚杰辩论的启发
也受到了导演斯坦利
库布里克stanley
cubrick在二零零一太空漫游中所展现的还有九千人工智能电脑及其他未来及器的启发
这部电影是他就随时在巴黎剧院观看得起十毫米宽荧幕泉景电影
四十多年后
当他打造一间世界领先的企业实验室时
他将装裱好的电影剧照挂在墙上
在他的职业生涯中
当他探索神经网络和其他算法技术时
他还设计了计算机芯片和越野自动驾驶汽车
我尽我所能
他说
他体现的是人工智能的方式
人工智能是一种学术追求
与其说他是一门正式的科学
都说它是一种态度
它融合了众多不同形式的研究
将它们全部拉入一项通常过于雄心勃勃的奋斗之中
既打造出行为类似人类的机器
即便只是模仿人类智能的一小部分
就像辛顿想要做的那样
也是一项艰巨的任务
将智能应用于汽车
飞机和机器人
则会更加困难
但杨丽坤比后来脱颖而出的其他很多研究人员更实际
更踏实
在未来的几十年里
关于神经网络最终是否有用
会存在一些质疑的声音
然后一旦神经网络的力量显现
一些人又会质疑人工智能是否会毁灭人类
杨丽坤觉得这两个问题都很可笑
无论是在私下还是在公开场合
他从来都直言不讳
就像几十年后
他在获得图灵奖计算机领域的诺贝尔奖当晚的一段视频中所说的那样
我一直认为我绝对是正确的
他相信神经网络是一条路径
通向的是非常真实和非常有用的技术
他就是这样说的
他取得的突破是一种在视觉皮质上建模的神经网络的变体
而视觉皮质就是大脑中处理视觉的部分
四
受到日本计算机科学家福岛邦烟juunihico
富库克
希玛工作的启发
杨立坤把它叫做卷积神经网络
就像视觉皮质的不同部分处理眼睛捕捉的不同部分的光一样
卷积神经网络将图像切割成众多方块
并分别分析每一个方块
在这些方块中找到小图案
并在信息通过其人造神经元网络时
将它们构建成更大的图案
这是一个将决定杨丽坤职业生涯的想法
如果杰夫
辛顿是一只狐狸
那么杨丽坤就是一只刺猬
加州大学伯克利分校教授吉腾德拉玛利克jatanramlic说
他借用的是则学家以赛亚
柏林
艾z尔berin
得得一
我们都很熟悉德德比
辛顿的想法层出不穷
无数的想法朝着不同的方向跳跃
而杨丽坤要专一的多
狐狸知道很多小事
而刺猬只知道一件大事
跟随辛顿在多伦多大学学习的那一年
杨丽坤依次提出了自己的想法
然后当他进入贝尔实验室时
这个想法得到了繁荣发展
贝尔实验室拥有训练他的卷积神经网络所需的大量数据
成千上万封无法投递的信件
还拥有分析这些信封上的自己所需的额外处理能力
一台崭新的太阳微系统工作站
他告诉自己的老板
他之所以加入贝尔实验室
是因为对方承诺他可以拥有自己的工作站
不必像在多伦多大学做博士后研究时那样多人共用一台机器
再加加入尔实验室
几周之后
他使用相同的基本算法开发了一套可以识别手写数字的系统
其准确度超过了美国电话电报公司正在开发的其他任何技术
这套系统运行良好
而且他很快就找到了商业应用方法
除了贝尔实验室之外
美国电话电报公司还拥有一家名为NCR的公司
该公司出售收音机和其他商业设备
到了二十世纪九十年代中期
NCR将杨丽坤的技术出售给银行
用于自动读取手写支票
有一段时间
美国超过百分之十的支票都是由杨丽坤开发的产品读取的
但他的梦想更大
在霍尔姆德尔的贝尔实验室建筑群的玻璃墙被称为世界上最大的镜子内
杨丽坤和他的同事们设计了一种叫做anna的微芯片
这个首字母缩略词中嵌套了另一个首字母缩略词
安娜是模拟神经网络阿uanalogneuralnetworkcolu的缩写
而阿u代表算术逻辑单元arithmeticlogicunit
是一种数字电路
适合运行驱动神经网络的数学运算
五阳利坤的团队没有使用普通芯片来运行他们的算法
而是为这一特定工作设计了一款芯片
这意味着它的处理速度远远超过当时标准的处理器大约每秒四十亿次操作这一基本概念
专门为神经网络制造的硅片将重塑全球芯片产业
尽管这一时刻还需要二十年才会到来
杨利坤开发的银行扫描仪面世后不久
美国电话电报公司这个过去几十年
分裂成很多小公司的国家电话系统再次分裂
NCR和杨丽坤的研究小组突然分家
银行扫描一项目被解散
这让杨丽坤大失所望
心情沮丧
随着他的团队转向万维网这项在美国主流社会刚刚起步的技术
他完全停止了对神经网络的研究
当公司开始解雇研究人员时
杨丽坤明确表示
他也想要一张解雇告知书
他告诉实验室的负责人
我丝毫不在乎公司要我做什么
反正我正在研究计算机视觉
解雇告知书如期而至
一九九五年
贝尔实验室的两位研究人员弗拉基米尔
瓦普尼克
弗拉德米尔vapanick和拉里杰克larryjackell打了一个赌六
瓦普尼克说
在十年内
心智正常的人不会再使用神经网络
但杰克尔站在连接主义者一边
他们赌了一顿丰盛的晚餐
拟好协议并签上名字
杨丽坤是见证人
很快
杰克尔看起来似乎要输了
过了几个月
连接主义研究的更多领域笼罩上了另一股寒义
波莫洛的卡车可以自动驾
是谢诺夫斯基的netAK可以学习大声朗读
杨丽坤的银行扫描仪可以读取手写支票
但很明显
那辆卡车除了私家道路和直线高速公路
无法在其他任何道路上行驶
netAK可能会被看作派对上的把戏
而除了使用杨丽坤的银行扫描仪
市面上还有其他方式可以读取支票
杨丽坤的卷积神经网络在分析更为复杂的图像是不起作用
比如狗
猫和汽车的照片
也没有人知道这些网络以后能否起作用
最终
虽然杰克尔赢得了赌注
但事实证明
这是一场空洞的胜利
在他们打赌十年之后
研究人员可能仍然在使用神经网络
但是相比于多年前杨丽坤在他的台式机器上所做的事情
这项技术能做的工作并没有变得更多
我赌赢了
主要是因为杨丽坤没有放弃
杰克尔说
他基本上被外界忽视了
但他自己并没有放弃
这场赌局结束后不久
在一场关于人工智能的演讲中
斯坦福大学的一位名叫吴恩达andrewNG的计算机科学教授相整各会场的研究生描述了神经网络
然后他补充了一条说明
杨丽坤是唯一能真正让神经网络生效的人
但是
就连杨丽坤自己对未来也没有确定的判断
他在个人网站上写下了一些伤感的话
将自己的芯片研究描述为停留在过去的东西
将自己在新泽西州协助开发的硅处理器描述为第一个
也可能是最后一个真正做有用事情的神经网络芯片期
多年之后
当被问及这些话时
他不以为然
并很快指出
他和他的学生在十年结束时又回到了这个领域
但他感受到的不确定性就在那里
神经网络确实需要更多的计算能力
但没有人意识到他到底需要多少
正如杰弗辛顿后来所说的
没人想过要问
假设我们还需要一百万倍的计算能力会怎么样
当杨利坤在新泽西州开发他的银行扫描仪时
克里斯
布罗克特chrisrocket正在华神盾大学亚咒语言文学习叫授日语
后来为软聘请布罗克特丹任人工智能研究院
这是一九九六年距离这家科技巨头创建其第一间专门的研究实验室才过不久
微软的目标是打造能够理解自然语言的系统
而自然语言是人们日常书写和说的语言
当时这属于语言学家的工作
布洛克特曾在他的祖国新西兰学习语言学和文学
后来又到日本和美国学习
像他这样的语言专家整天都在编写详细的规则
旨在向机器展示人类是如何把单词拼凑在一起的
他们会解释微什么时间将飞逝
f
ly小心翼翼的将名词合同contract语
动词签约contract分开
详细描述说英语的人在选择形容词次序时奇怪且基本上无意识的方式等等
这项工作让人想起奥斯汀的赛克项目
或者在迪安波莫洛出现之前
卡内基梅隆大学在自动驾驶汽车领域的工作
这是一种重新创造人类知识的尝试
无论微软雇用多少语言学家
这种尝试都无法在几十年内到达终点
二十世纪九十年代末
在马文明斯基和约翰麦卡锡等著名研究人员的带领下
大多数大学和科技公司就是这样打造计算机视觉
语音识别和自然语言理解技术的
专家们一次一条规则的将技术拼凑出来
