首页 关于我们 新闻中心 工程案例 荣誉资质 诚聘精英 联系我们

新闻中心

你的位置:kai云体育网页app登陆入口2026(官方)APP下载IOS/Android通用版/手机app > 新闻中心 > 开云kaiyun体育主理东谈主问奥特曼:「这家公司一齐走来-kai云体育网页app登陆入口2026(官方)APP下载IOS/Android通用版/手机app

开云kaiyun体育主理东谈主问奥特曼:「这家公司一齐走来-kai云体育网页app登陆入口2026(官方)APP下载IOS/Android通用版/手机app

发布日期:2026-11-18 08:45    点击次数:62

开云kaiyun体育主理东谈主问奥特曼:「这家公司一齐走来-kai云体育网页app登陆入口2026(官方)APP下载IOS/Android通用版/手机app

最新访谈中开云kaiyun体育,奥特曼给出了一个淡薄的评价:

「他可能是 AI 历史上最热切、却不太为东谈主所知的征询者。」

这个东谈主等于Alec Radford,真 · GPT 之父。

你可能没听过他,但你简略率用过他发明的东西。

GPT-1、GPT-2、CLIP、Whisper,他都是论文第一作家。

此外,他还参与了 GPT-3、DALL · E、Scaling Law、GPT-4 和 GPT-4o 等一系列要道使命。

奇怪的是,这样一个经验险些横跨大模子每次要道转向的东谈主,莫得博士学位,也很少接管采访。

ChatGPT 红遍巨匠时,聚光灯下险些看不到他的身影。

但要是顺着往日十年的 AI 论文往回翻,会发现一个更奇怪的阵势:

每当模子开动得到一种此前莫得的通用智力,Alec Radford 的名字,经常如故提前出咫尺作家栏里。

OpenAI 简直升空,从招进 Alec 开动

最新一期《Invest Like The Best》节目中,主理东谈主问奥特曼:

「这家公司一齐走来,你最观赏的幕后元勋是谁?」

奥特曼直言不讳,是Alec Radford。

Alec 作念出的使命,自后简直演变成了 GPT 系列。

除此以外,他还连续启发、指令身边的东谈主,把征询推向一些自后被阐发注解极为热切的标的。

《连线》也一样给过一个重量粗重的判断:

OpenAI 的崛起之路,简直始于它聘请了其时还鲜为人知的 Alec Radford。

2016 年,Alec 加入 OpenAI。那年他唯一 23 岁。

那时,他如故个深夜吃菠萝洋葱披萨、和同学一王人打 Kaggle 比赛的毛头小子,在波士顿的寝室里创办了一家袖珍 AI 公司:Indico。

接管邀请加入 OpenAI 后,Alec 也没以为多热切,反而嗅觉这份使命「有点像读征询生」。

莫得太多短期压力,也莫得必须立即作念成的居品。他可以目田寻找一个其时还没东谈主知谈谜底的问题:言语模子究竟颖慧什么?

他的第一次尝试,是拿 20 亿条 Reddit 驳倒覆按言语模子。数据范畴不小,放浪却没什么用。

这个践诺和 OpenAI 早期的好多探索一样,失败了。

但 OpenAI 让他陆续作念下去,时任 CTO 的 Greg Brockman 回忆:

「咱们其时就以为,Alec 很锋利,就让他作念他想作念的事吧。」

于是,这个年青东谈主得以陆续尝试他的践诺。但很快,他就受限于 OpenAI 的算力不及。

既然跑不起更大的践诺,Alec 便把界限消弱,找来肤浅 1 亿条亚马逊商品驳倒,让模子作念一件简便到近乎乏味的事:笔据前边的翰墨,瞻望下一个字符。

这个经由中,一个不测出现了。

自然莫得东谈主教模子什么叫好评、什么叫差评,但模子里面有一个神经元,开动主动折柳驳倒的正负情怀。

把它调向一个标的,模子更容易生成好评;调向另一个标的,它便开动吐槽商品。

OpenAI 自后把它叫作「无监督情谊神经元」。

此次践诺第一次给出了 Alec 简直想找的谜底:

当模子被条目在实足多的数据上完成瞻望任务时,它可能自行学会一些覆按主义里从未明确写出的智力。

Ilya   Sutskever 还饱读舞他跳出亚马逊驳倒,让模子去学习范畴更大、实质更各样的文本,甚而是通盘互联网。

问题是,以其时的神经麇集架构,处理如斯浩瀚的数据可能需要数年。

但很快,OpenAI 迎来了好运。因为在 2017 年,谷歌那篇改写 AI 进度的论文《Attention Is All You Need》,横空出世。

Ilya 一眼就看中了 Transformer 架构。他的第一反映是:「这恰是咱们一直在等的东西!」

Alec 马上把 Transformer 接到此前的践诺门路上。他找来 BooksCorpus 数据集,其中包括 7000 多本尚未崇拜出书的英文竹帛,题材横跨爱情、冒险和魔幻。

与好多句子被打散的数据集比拟,竹帛保留了长篇一语气叙事,更合适让模子学习前后文之间的远距离关连。

他并莫得像谷歌那样用 Transformer 作念机器翻译,而是让它瞻望下一个最可能出现的词。

机器有了反映:一个词,接着一个词,再一个词——每个新词都是从那七千本书中荫藏的模式忖度出来的。

对 Alec 来说,「这两周内取得的进展,比往日两年加起来都多」。这套践诺最终成为 GPT-1 的预覆按基础。

他与同事开动洽商一个叫「Big Transformer」的标的:不要给模子想象更多小巧功令,径直把模子、数据和计较范畴作念大,望望它还能学出什么。

2018 年,这条门路有了崇拜名字:

Generative Pre-trained Transformer(生成式预覆按 Transformer),简称 GPT。

第一篇 GPT 论文共有四位作家,排在第一位的,等于 Alec Radford。

GPT-1 莫得立即震憾全国,但它给 OpenAI 带来了一样更热切的东西:标的。

Alec 取得冲破后,OpenAI 经管层作出了一系列要道决定。他们开动把征询资源从机器东谈主均分布形状中不断,蛊卦到言语模子。

比起陆续想象复杂的新结构,团队更欣慰网罗更巨额据、插足更多算力,把如故炫夸出后劲的次序陆续放大。

一年后,GPT-2发布。

它的参数目从 GPT-1 的 1.17 亿增多到 15 亿,覆按数据也从 7000 多本书彭胀到约 800 万个网页。

GPT-2 论文共有 6 位作家,Alec 仍然排在第一位,并与 Jeffrey Wu 为共统一作。

这一次,模子不再需要针对每项任务重新覆按。只靠瞻望下一个词,它如故能尝试翻译、问答和摘抄,甚而在多个零样本测试中取得可以的收成。

2020 年头,OpenAI 把这种关连写进《神经言语模子的 Scaling Laws》论文。

Alec 一样在 10 位作家之列。此前依靠一次次践诺鸠集的判断,开动被描写成可以瞻望的数学规章。

同庚 5 月,OpenAI 把模子进一步放大到 1750 亿参数,作念出了 GPT-3。

此时,论文作家如故从 GPT-1 的 4 东谈主增多到 31 东谈主。

第一作家变成 Tom Brown,Alec 排在第 29 位,仅位于 Ilya Sutskever 和 Dario Amodei 之前。

签字位置的变化,也表露了 GPT 形状性质的更变。

它不再是 Alec 主导的少数东谈主践诺,而是 OpenAI 调度征询、工程和算力共同完成的大型形状。

Alec 最早鼓动的门路,如故变成这家公司最热切的技妙策谋。

但就在 GPT 简直开动为外界熟知、行将产生巨大影响的时辰,Alec 却如故把主见移向了别处。

言语以外,他又一语气押中图像和语音

GPT-3 发布后,Alec 作念回了他的本钱行:图像。

早在加入 OpenAI 之前,他最有影响力的作品等于DCGAN。

他与 Luke Metz、Soumith Chintala 把卷积麇集引入 GAN,惩办了这类模子难以稳健覆按的问题。

他们还发现,模子在学习生成卧室图片晌,会自行造成对于床、窗户和场景结构的视觉表征。

自后反复出咫尺 Alec 征询中的那种直观,此时如故透露雏形:

只消找到一个实足通用的覆按任务,模子可能在完成任务的经由中,我方学出更多智力。

其实吧,这中间还有个八卦。

2016 年,黄仁勋在英伟达大会上展示 DCGAN 生成的图像,却把主邀功劳归给了 Yann LeCun 其时指导的 Facebook 践诺室。

Alec 和几位同伴坐在波士顿办公室里看直播,相等受伤。

不久后,Alec 就离开波士顿,加入 OpenAI。

他的一又友 Victoroff 甚而认为,此次被忽视是 Alec 决定前去 OpenAI 的热切原因之一。

几年后,他带着 GPT 重新回到图像。

2020 年,OpenAI 发布Image GPT:把图片伸开成一串像素,再像瞻望下一个词一样,瞻望下一个像素。

Alec 排在论文作家第二位。

它阐发注解,GPT 并不自然属于言语。只消数据能够被表露成序列,统一套次序也可以用来学习图像。

仅仅逐一生成像素实在太慢。半年后,DALL · E把图片压缩成视觉 Token,再将翰墨和图像放进统一条 Transformer 序列。

「牛油果时势的扶手椅」「遛狗的萝卜宝宝」,这些从未存在的组合第一次被模子画了出来。

与 DALL · E 统一天发布的,还有CLIP。

这一次,Alec 重新回到共同第一作家的位置。

OpenAI 拿出从互联网网罗的 4 亿组图文对,让模子只作念一谈遴选题:哪段翰墨和哪张图片是一双?

莫得固定类别,也莫得为每项任务成心覆按。

最终,CLIP 在莫得使用 ImageNet 覆按集的情况下,零样本识别准确率如故与早期有监督覆按的 ResNet-50 罕见。

图像以外,他也在尝试声息。

2020 年的Jukebox把音频压缩成防碍编码,再让 Transformer 像生成翰墨一样生成音乐。

两年后,统一条门路通向了更实用的Whisper。

Alec 又排在论文作家第一位。

OpenAI 从互联网上网罗了 68 万小时音频罕见文本,数据并不齐全,却包含不同言语、口音、噪声和使用场景。

Whisper 莫得成心针对某一张榜单优化,在多个不同起头的数据集上进行零样本测试时,它却推崇得愈加肃穆,更能应酬真实全国里的口音、布景噪声和专科词汇。

这些使命名义横跨图像、言语、多模态和语音,背后却源自 Alec 的统一个判断:

少划定一些功令,多提供一些数据和算力,通用智力可能我方出现。

他似乎总能比行业共鸣早一步,找到下一个值得放大的简便任务。

OpenAI 最私密的男东谈主

大佬的后光过往,不堪胪列,先容到这里就好意思满了。

回到他本东谈主,险些可以说「曾是」OpenAI 最私密的男东谈主。

与他的论文影响力比拟,Alec 险些不筹画个东谈主品牌。

自然有 X 账号,坐拥 7 万粉,但他很少围绕我方发东西,大多是转发。

上头置顶的,于今如故 2018 年发布 GPT-1 时的那条音讯。

「这是我往日一年一直在作念的事情。」

他先列出 CoVe、ELMo 和 ULMFiT 三项启发起头,然后用一句颇为朴素的话先容放浪:

「一个 Transformer 言语模子,只需少许调养,就能被挪动到各样自然言语处理任务。」

谁能猜想,这项使命预报了一个全新的时间?

对于 Alec 的公开长篇采访,稀稀拉拉;而他的个东谈主网站,也简便得近乎空缺。

唯一姓名、「Latest Posts」和分页按钮,险些莫得其他实质。

(连像片都一直用统一张,大佬实在太低调了)

这与他的行业地位造成了一种奇怪的反差。

公众谈起 OpenAI 和 GPT,源流猜想的是奥特曼和 Ilya Sutskever;但征询者谈起往日十年的要道论文,却很难绕过 Alec Radford。

奥特曼在最新访谈中形容,要是去问那些与 Alec 同事过的东谈主,他们自然会先说:

这是一个「几十年一遇的天才」、极具创造力的念念考者,对我方的征询有极深的知道。

但话说完之前,每个东谈主都会补上另一句:

他亦然他们相助过的最慈祥、最佳的东谈主之一。

One More Thing

不外,这位评价超高的 GPT 之父,在科研上照实挺不走寻常路的…

2024 年 12 月,Alec 离开使命近九年的 OpenAI,从事独处征询。

但当整个东谈主都期待他作念出下一个 GPT 的时辰——

Alec 跑去搞了个「老翁 AI」。

本年 4 月,他和 Nick Levine、David Duvenaud 共同推出Talkie。

这是一个领有 130 亿参数的「古董言语模子」,基础模子使用 2600 亿个 Token 覆按。

它的预覆按语料有一条硬划定:

1931 年 1 月 1 日之后出书的英文材料,十足不!准!进!

是以,它读过蒸汽机、飞机和第一次全国大战,却不知谈电视机、互联网和第二次全国大战自后发生了什么。

更不能能知谈 Python。

但就这样个老古董,征询东谈主员给它看了几个 Python 面貌示例,再让它惩办 HumanEval 编程题。

它竟然真的写出了几段简便代码。

这个践诺简直测试的是:一个从未构兵当代计较机的言语模子底座,得到少许新示例和后覆按后,能以多快的速率继承一项完全生分的手段?

啥?你是说当全网都还在猛猛 Scaling、想办法让模子读得更多的时辰…

GPT 之父却反手把它「断网」了近一百年??

要是模子没见过谜底,依然能够现学现用,那它靠的究竟是顾忌,如故学习?

也不知谈大佬此次,究竟又提前押注了什么…

不外按照他的通例,等外界终于看懂这谈题时,他本东谈主多半如故跑去作念下一谈了 ~

参考邻接:

[ 1 ] https://x.com/InvestLikeBest/status/2086849947119333878?s=20

[ 2 ] https://www.wired.com/story/what-openai-really-wants/

[ 3 ] https://www.bostonglobe.com/2023/06/10/business/how-couple-olin-college-students-helped-spark-ai-chatbot-revolution/

[ 4 ] https://www.newyorker.com/books/under-review/can-sam-altman-be-trusted-with-the-future

一键三连「点赞」「转发」「防范心」

接待在驳倒区留住你的想法!

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云kaiyun体育