亚博全站 Transformer 五年援用超四万,六位作家创立五家创业公司,仅一位作家还留在谷歌 - 亚博全站_亚博全站登录_亚博全站官网入口(official)

亚博全站 Transformer 五年援用超四万,六位作家创立五家创业公司,仅一位作家还留在谷歌

你的位置:亚博全站_亚博全站登录_亚博全站官网入口(official) > 亚博全站新闻中心 > 亚博全站 Transformer 五年援用超四万,六位作家创立五家创业公司,仅一位作家还留在谷歌

亚博全站 Transformer 五年援用超四万,六位作家创立五家创业公司,仅一位作家还留在谷歌

时间:2022-05-14 09:59 点击:146 次

时隔五年,Transformer 的八位作家仅有一位还留在谷歌。

>>>>

要是你在一家大厂做出了一份行业里程碑式的辩论,那么接下来的职场糊口你会怎样走?不竭留在这家大厂?换一家待遇更好的大厂?照旧创业或加入有出路的创业公司?

Transformer(出自论文《Attention Is All You Need》)几位作家的遴选好像有一定的代表性:其中六人遴选创业或加入创业公司,唯有一人遴选不竭留在谷歌,还有一位去了 OpenAI。

图源:推特用户 @Nathan Benaich。

这篇进军论文发表于 2017 年,如今援用量一经破裂 41000。论文注目中写道,几位作家对这份辩论做出了不同但同等进军的孝敬(名次就地)。具体来说,他们的单干不错笼统为:

Jakob 提倡用自醒见地替代 RNN,并源泉发奋尝试这一想法; Ashish 和 Illia 一齐瞎想并达成了第一批 Transformer 模子,并重度参与了 Transformer 架构的各方面干事; Noam 提倡了缩放点积醒见地、多头醒见地和无参数位置示意,并成为险些每一个细节的参与者; Niki 在原始代码库和 tensor2tensor 中瞎想、达成、调优和评估了无数的模子变量; Llion 还尝试了新的模子变体,负责运转代码库以及高效的推理和可视化; Lukasz 和 Aidan 花了无数天的时刻来瞎想和达成 tensor2tensor 的各个部分,替换了早期的代码库,极地面改善了端正、加快了辩论程度。

不错说,每位作家都有我方擅长的干事,对于行业也都有我方的预判。论文发表五年之后,他们都在做什么呢?以下是咱们能够查到的信息。

Ashish Vaswani、 Niki Parmar:投身通用智能

2022 年 4 月 26 日,一家名为 「Adept」 的公司官宣设立,共同首创人有 9 位,其中就包括 Ashish Vaswani 和 Niki Parmar。

Ashish Vaswani 在南加州大学拿到博士学位,师从华人学者蒋伟(David Chiang)和黄亮(Liang Huang),主要辩论当代深度学习在说话建模中的早期应用。2016 年,他加入了谷歌大脑并指引了 Transformer 的辩论。

Niki Parmar 硕士毕业于南加州大学,2016 年加入谷歌。干事时代,她为谷歌搜索和告白研发了一些凯旋的问答和文本相似度模子。她指引了彭胀 Transformer 模子的早期干事,将其彭胀到了图像生成、谋略机视觉等范围。

Ashish Vaswani、Niki Parmar 等人共同创立的 Adept 是一家竭力于于用 AI 来增袼褙类才能并最终达成通用智能的公司。在论说公司创立初志时,首创人写道,「在谷歌,咱们考试出了越来越大的 Transformer,逸想着有朝一日构建一个通用模子来救援统共 ML 用例。然则,这其中有一个显著的局限:用文本考试出的模子不错写出很棒的著作,但它们无法在数字天下中给与步履。你不成条目 GPT-3 给你订机票,给供应商开支票,或者进行科学执行。」

因此,他们谋略创建一个通用系统,匡助人们在电脑前完成干事,「你不错把它想象成你电脑里的一个 overlay,它和你一齐干事,使用和你同样的器具。使用 Adept,你能专注于你真确心爱的干事,并条目模子承担其他任务。举例,你不错条目模子生成月度合规答复,统共这些都使用现存的软件,如 Airtable、Photoshop、ATS、Tableau、Twilio。」

Noam Shazeer:玄妙创业者

Noam Shazeer 是谷歌最进军的早期职工之一。他在 2000 年底加入谷歌,直到 2021 年最终下野。

也曾,Noam Shazeer 和共事 Georges Harik 花了数年时刻分析网页上的数据,通晓词组相当协同干事旨趣。他们汇集的数据最终被谷歌用于其 AdSense 居品,该居品会分析网页的翰墨内容并在上头贴告白。

2021 年,Noam Shazeer 成为了一家隐形初创企业的 CEO,名字叫做「CharacterAI」,对于这家公司的组织架构和业务模式,外界不甚了解。

Jakob Uszkoreit:发明「Transformer」名字的人,转向分子瞎想

2021 年,Jakob Uszkoreit 和 Rhiju Das 共同创立了 Inceptive,竭力于于通过高度可彭胀的执行和深度学习的奇异统一来达成下一代 RNA 分子的瞎想。

在谷歌干事时代,Jakob Uszkoreit 参与了组建谷歌助理的说话通晓团队,早期还曾从事过谷歌翻译的干事。

在其时《Attention Is All You Need》这项辩论中,Vaswani 曾示意:「醒见地汇集听起来并不蛊惑人。」

临了,Jakob Uszkoreit 想出了「Transformer」这个名字:「我觉得咱们正在 transform 某些东西,天然,这仅仅在玩梗。」

Llion Jones:在谷歌开启下一个十年?

Llion Jones 是目下 Transformer 作家团队唯独还留在谷歌干事的人。

他在英国圭内斯郡南部的 Abergynolwyn 长大,来到谷歌山景城园区之后,他曾嗟叹:「目下我干事场地的人数,险些是我长大的村落里的 100 倍。」

Llion Jones 现年 36 岁,曾在 Abergynolwyn 生活多年,完成在 Coleg Meirion-Dwyfor 的学业之后,他在伯明翰大学得到了谋略机科学硕士学位。

但在毕业后的一段时刻内,Llion Jones 没找到适合的干事。他也曾将简历送达给谷歌在伦敦的办公室,且经过了两轮电话口试。由于档期问题,Llion Jones 在收到谷歌的最终 offer 之前,一经入职了另外一家公司。

不外,18 个月之后,另一位谷歌招聘人员关系了他,Llion Jones 成为了别称谷歌人。从 2012 年源泉,Llion Jones 一直在谷歌干事。这一任职时长差未几杰出了谷歌九成职工。

Aidan N. Gomez:创立 NLP 平台,一年融资 1.7 亿美元

2021 年 5 月,Aidan N. Gomez 官宣设立新公司——天然说话处理平台 Cohere ,基于我方考试的大型 NLP 模子为外界提供 API 服务。

Aidan Gomez 本科就读于多伦多大学,是牛津大学 Yarin Gal 和 Yee Whye Teh 的博士生,曾在谷歌大脑团队的 Geoffrey Hinton 和 Lukasz Kaiser 组内干事。

这家公司的投资气势颇为豪华:早期投资者包括图灵奖得主 Geoffrey Hinton、GAN 之父 Ian Goodfellow、Uber 首席科学家 Raquel Urtasun、英伟达多伦多辩论执行室主任 Sanja Fidler 以及斯坦福大学解释李飞飞等。

GPT-3 等模子的问世让人们看到了大范围预考试说话模子的后劲,也在国表里掀翻了一场创业欣忭。Cohere 团队的首创成员也都是预考试模子范围的资深辩论者。但他们明慧到,由于时刻门槛过高,大大量人(包括日常开导人员)根蒂无法使用这项时刻,因此他们竭力于于改动这一近况。

Aidan Gomez 曾示意,为了达成这一职责,他们考试了一个数十亿(畴前可能数千亿)参数的说话模子。运用该模子的 API,咱们不错完成文本补全、从文本中索要有语义真谛的向量、测量段落语义相似性等任务。用户只需要在我方的系统中载入三行代码就不错调用该模子的才能。「不管你是前端照旧后端的开导人员,不管你是做 web 照旧移动,任何人都不错将 NLP 构建到应用方法中。」Aidan Gomez 在采访中说到。

如今,固然仅创立一年,这家公司一经拿到了 1.7 亿美元的融资。

Lukasz Kaiser:跳槽 OpenAI

2021 年 6 月,Lukasz Kaiser 从谷歌跳槽到了 OpenAI。

在 2013 年加入谷歌之前,Lukasz Kaiser 是巴黎狄德罗大学的毕生辩论员,从事逻辑和自动机表面辩论。他于 2008 年在亚琛工业大学得到博士学位,在波兰弗罗茨瓦夫大学得到硕士学位。

Lukasz Kaiser 的辩论范围包括深度学习和天然说话处理,在谷歌担任辩论科学家时代,他参与了机器翻译、领悟相当他算法和生成任务的 SOTA 神经模子瞎想,是 TensorFlow 系统、Tensor2Tensor 库的共同作家。

他的辩论干事还包括使用可欢欣性求解器和其他标识方法来构建游戏系统和处理方法合成问题,讲明对于态状复杂性、博弈论和处理恒久未处理问题的自动机的定理。

Illia Polosukhin:丽都变身区块链创业大佬

Illia Polosukhin 目下是 NEAR.AI 的统一首创人及 CTO。

Illia Polosukhin 来自乌克兰,在哈尔科夫国立时刻大学得到了应用数学和谋略机科学硕士学位。移居加利福尼亚之后,他参与了各式机器学习步地,并加入了谷歌辩论院,仅用一年就成为了工程阁下。

三年后,他决定和 Alexander Skidanov 共同创办 NEAR.AI:「咱们信托『方法合成』这一从人类程序动身辩论自动化编程的范围将改动软件开导和通盘天下。」

但跟着创业经由的深化,他们相识到,即使专注于苟简的问题,任务态状也很复杂。态状中使用的见识和说话种类重生,模子无法捕捉,一些问题也需要逻辑推理要津和外部数学常识。他们发现,之前的辩论端正在扩充中尚不可用(最好模子的准确率约为 12%),机器学习非凡是天然说话通晓的转机点,似乎还莫得出现。

其后,NEAR.ai 这家公司源泉转向区块链。Illia 在一篇关系公司转型的博客中写道:

1、洽商到咱们在方法合成方面所做的干事,照拂人建议咱们把辩论主张改成为以太坊生成智能合约。目下,日常工程师很难编制可讲明的合同,方法合成不错有用处理这个问题;

2、在与想要开导应用方法的人谈过之后,咱们安然了解到,他们对于「使用区块链构建应用方法,以提供资产引发和更好的诡秘和安全」非凡存眷。

1、洽商到咱们在方法合成方面所做的干事,照拂人建议咱们把辩论主张改成为以太坊生成智能合约。目下,日常工程师很难编制可讲明的合同,方法合成不错有用处理这个问题;

2、在与想要开导应用方法的人谈过之后,咱们安然了解到,他们对于「使用区块链构建应用方法,以提供资产引发和更好的诡秘和安全」非凡存眷。

自此,公司隆重更名为 NEAR Protocol。他们组建了一支优秀的人才军队,包括 3 名 ICPC 金牌得主、3 名 MemSQL 工程师、4 名前谷歌职工,并正在邀请 Web3 范围的巨匠加入公司。

目下,NEAR Protocol 一经成为一家区块链漫衍式左券提供商,基于一种名为 Nightshade 的分片方法和共鸣机制,竭力于于开导区块链底层架构与 DApp 开导平台,并为开导人员提供事务、智能合约帐户和 gas 用度回扣等左券级别器具。前段时刻,该公司文告完成 3.5 亿美元的最新一轮融资。

—版权声明—

开始:机器之心,裁剪:nhyilin

仅用于学术共享,版权属于原作家。

若有侵权,请关系微信号:Eternalhui或nhyilin删除或修改!

—THE END—

☞ 史宁中:从分数的实质谈起

☞ 官宣!多所高校,合座搬迁!

☞ 秉公王法!博士生举报导师抄袭我方的辩论效果;导师示意,步地都是我出的钱,不算抄袭;没意象学校条目导师撤除著作

☞ 一位数学专科女生大学毕业前的嗟叹

☞ 数学三大中枢范围概述:代数、几何、分析

☞ 初中毕业被清华破格请托!他每篇论文都有经验得到博士学位亚博全站,但一世仅有一张初中证书……

谷歌Jakob模子NoamNiki发布于:安徽省声明:该文观点仅代表作家本身,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。

回到顶部
亚博全站登录服务热线
官方网站:https://www.progeny2000.com/
工作时间:周一至周六(09:00-18:00)
联系我们
QQ:285232323220325
邮箱:dfdfd343483@qq.com
地址:武汉东湖新技术开发区光谷大道国际企业中心
关注公众号

Powered by 亚博全站_亚博全站登录_亚博全站官网入口(official) RSS地图 HTML地图

Copyright © 2013-2022 亚博全站_亚博全站登录_亚博全站官网入口(official) 版权所有