一个内部笑话,说了很多关于人工智能的发展
对 BERT 和 ERNIE 说01101000 01101001。
最近人工智能的最大趋势之一是创建机器学习模型,该模型可以生成具有前所未有流动性的书面文字这些程序是游戏规则的改变者,可能会增强计算机解析和生成语言的能力
但在很大程度上被忽视的是第二个趋势——第一个的阴影——那就是:这些工具中有惊人的数量以 Muppets 命名。。
迄今为止,语言认可这个新的品种包括埃尔莫,一个BERT,一个格罗弗,一个大鸟,一个罗西塔,一个罗伯塔,至少2 摇奖S,和KERMIT谷歌,Facebook 和艾伦人工智能研究所等大型科技公司都参与其中,热潮席卷全球,中国搜索巨头百度和北京的清华大学贡献了模型命名约定非常完善,以至于这些系统有时被称为Muppetware但是谁发起了会议,为什么
正如您可能已经猜到的那样,简单的答案是:这是一个内部笑话,研究人员以 Muppets 命名 AI 模型,因为其他研究人员以 Muppets 命名 AI 模型但这是一个笑话,恰好突出了人工智能研究的一个特殊特征,展示了实验室如何向彼此的工作致敬并在此基础上发展
我们有一个可用于首字母缩略词的字母列表,彼得斯说语言模型,上下文,嵌入等 是一位名叫 Joel Grus 的工程师想出了ELMo来代表来自语言模型的嵌入,他说,这个名字立即被卡住了
当时我的大儿子大约三岁,这也是我将论文献给他的方式。
我喜欢它,因为它有点异想天开但令人难忘,彼得斯说当时我的大儿子大约三岁,这也是我将论文献给他的方式
如果不是谷歌人工智能团队在 2018 年创建的语言模型 BERT,ELMo 可能是一次性的这个模型被证明是强大和有影响力的,并将一些关于语言生成的新想法推向了人工智能主流
BERT 本身正式代表来自 Transformers 的双向编码器表示,尽管谷歌拒绝了The Verge 的多次讨论该名称起源的请求,但人们普遍认为,像 Allen 的研究人员一样,考虑到了布偶在谷歌自己关于该主题的博客文章中,该公司表示BERT 建立在最近在预训练上下文表示方面的工作之上——包括...... ELMo
BERT 在多项测试中取得了最先进的结果,并且非常成功,以至于 Google 最近将其纳入其搜索引擎模型一经发布,Muppetware 的闸门就打开了,紧随其后的是许多使用蛮力首字母缩略词的巧妙算法,包括 ERNIE,KERMIT和 Big BIRD
信用:谷歌
Muppetware 正在产生巨大影响:谷歌将 BERT 纳入其搜索引擎以提高语言理解能力。别急着点“领养宠物”,如果你对这个随机分配的音乐宠物不满意的话,在下方还有一个重新抽取的选项。说是抽取,其实是可以选的,这里有“棉花糖兔,梨花兔,棕棕熊,调皮猫,秋天狗,薯条猫,雪球熊,咕咕鹅,二哈狗”等的类别的选择,选择一个你喜欢的类型后得到一个宠物蛋,然后就又一个孵化过程。
但这种趋势不仅仅是一个笑话正如艾伦研究所首席执行官奥伦·埃齐奥尼 所解释的那样,这也是识别人工智能世界中智力债务的一种严肃方式ELMo 被命名为一时兴起,但 BERT 直接建立在 ELMo 的见解之上,Grover 使用 BERT 等,Etzioni通过电子邮件告诉The Verge
帮助创建 KERMIT 和 Big BIRD 的伯克利博士生米切尔·斯特恩 表示,命名约定主要是有趣的,但它也有品牌方面。
以布偶命名模型是一种识别智力债务的方式
鉴于这种趋势已经变得如此普遍,在这一领域工作的人们自然会认出包含芝麻街主题名称的新论文,斯特恩通过电子邮件告诉The Verge虽然并非所有使用这些新技术的 AI 语言模型都以 Muppet 命名,可以肯定的是,如果您看到 Muppetware 模型,您就会知道它正在使用什么方法
所有这些反过来又帮助我们了解人工智能世界如何依赖开放性和协作来产生和完善想法人工智能不是一门学科,孤独的科学家们晚上在实验室里辛勤工作,通过处理器输送电力,并在发光的命令行上咯咯地笑着它活着相反,进步往往是迭代和协作的,研究人员小组建立在彼此的工作和想法的基础上
虽然 Muppetware 的笑话可能很快就会消失,但在此之前,这是一个合适的传统毕竟,合作和尊重正是芝麻街角色引以为豪的那种特征
。