人工智能人才培训基地,来认识一下谷歌失去的价值 40 亿美元的 AI 超级巨星

谷歌最重要的发明之一(一项后来困扰该公司的发明)最初是在午餐时设计出来的,这似乎很合适。

谷歌最重要的发明之一(一项后来困扰该公司的发明)最初是在午餐时设计出来的,这似乎很合适。

2017 年,Alphabet Inc. 加利福尼亚州山景城总部的研究人员在午餐时讨论如何让计算机更有效地生成文本。在接下来的五个月里,他们进行了实验,并没有意识到他们的发现的重要性,而是将他们的发现写在了一篇名为“注意力就是你所需要的”的研究论文中。结果是人工智能的飞跃。

该论文的八位作者创建了 Transformer,该系统使机器能够比以往更有效地生成类人文本、图像、DNA 序列和许多其他类型的数据。他们的论文最终被其他研究人员引用超过 80,000 次,他们设计的 AI 架构将支撑 OpenAI 的 ChatGPT(“T”代表 Transformer)、Midjourney 等图像生成工具等。

谷歌与世界分享这一发现并没有什么不寻常的。科技公司经常开源新技术来获取反馈、吸引人才并建立支持者社区。但谷歌本身并没有立即使用这项新技术。该系统多年来一直处于相对休眠状态,因为该公司正在更广泛地努力将其尖端研究转化为可用的服务。与此同时,OpenAI 利用谷歌自己的发明对这家搜索巨头发起了多年来最严重的威胁。尽管谷歌培养了众多人才和创新,但竞争公司才是利用其重大发现的公司。

共同撰写 2017 年论文的研究人员也没有看到谷歌的长远未来。事实上,他们所有人都已经离开了公司。他们随后创办了初创公司,包括生产企业软件的 Cohere 和由 Noam Shazeer 创立的 Character.ai,Noam Shazeer 是该集团中任职时间最长的 Google 员工,被视为公司的人工智能传奇人物。根据研究公司 Pitchbook 和价格跟踪网站 CoinMarketCap 的估值统计,他们的业务目前总价值约为 41 亿美元。他们是硅谷的人工智能皇室。

Llion Jones 是留在谷歌的八位作者中最后一位,他本周证实他将离开谷歌创办自己的公司。他告诉我,去年他共同创造的技术滚雪球般的发展真是超现实。 “直到最近我才感觉……出名了?”琼斯说。 “没有人知道我的脸或我的名字,但需要五秒钟的时间来解释:‘我是在 ChatGPT 中创建‘T’的团队的一员。’”

琼斯因谷歌之外的行动而成为名人,这似乎很奇怪。公司哪里出了问题?

一个明显的问题是规模。根据人工智能公司 Glass.ai 的估计,谷歌拥有一支由 7,133 名员工组成的队伍,而其员工总数约为 140,000 人。Glass.ai 今年早些时候扫描了 LinkedIn 的个人资料,以识别大型科技公司的人工智能员工。相比之下,OpenAI 引发了一场 AI 军备竞赛,其员工规模要小得多——到 2023 年,大约 375 名员工中约有 150 名 AI 研究人员。

几位前科学家和工程师告诉我,谷歌的庞大规模意味着科学家和工程师在创建 Transformer 时必须经过多层管理才能批准想法。谷歌大脑(该公司主要人工智能部门之一)的研究人员也缺乏明确的战略方向,导致许多人沉迷于职业发展和研究论文的知名度。

将创意转化为新产品的门槛也非常高。 25 岁的伊利亚·波洛苏欣 (Illia Polosukhin) 第一次在谷歌食堂与同事研究员阿什什·瓦斯瓦尼 (Ashish Vaswani) 和雅各布·乌兹科雷特 (Jakob Uszkoreit) 坐在一起时说道,“除非[一个想法]成为一项价值十亿美元的业务,否则谷歌不会采取行动。”但建立一个价值十亿美元的业务需要不断的迭代和大量的死胡同,这是谷歌并不总是容忍的。

谷歌没有回应置评请求。

在某种程度上,该公司成为了自身成功的受害者。它的队伍中有像 Geoffrey Hinton 这样的传奇人工智能科学家,并且在 2017 年就已经在使用尖端的人工智能技术来处理文本。许多研究人员的心态是“如果它没有坏,就不要修理它”。

但这正是 Transformer 作者的优势所在:Polosukhin 正准备离开谷歌,并且比大多数人更愿意承担风险(此后他创办了一家区块链公司)。 Vaswani 将成为他们论文的主要作者,他渴望投入一个大项目(他和 Niki Parmar 创办了企业软件公司 Essential.ai)。 Uszkoreit 通常喜欢挑战人工智能研究的现状——他的观点是,如果它还没有被打破,那就打破它(此后他与他人共同创立了一家名为 Inceptive Nucleics 的生物技术公司)。

2016 年,Uszkoreit 探索了人工智能中“注意力”的概念,即计算机区分数据集中最重要的信息。一年后的午餐时,三人讨论了如何利用这个想法来更有效地翻译单词。当时的谷歌翻译很笨拙,尤其是对于非拉丁语言。 “汉语转俄语非常糟糕,”波洛苏欣回忆道。

问题在于循环神经网络处理序列中的单词。这很慢,并且没有充分利用可以同时处理大量任务的芯片。家用计算机中的 CPU 可能有四个“核心”,用于处理和执行指令,但用于处理人工智能系统的服务器中的 CPU 有数千个核心。这意味着人工智能模型可以同时“读取”句子中的许多单词。没有人充分利用这一点。

Uszkoreit 会在 Google 办公室里走来走去,在白板上画出新架构的图表,但经常遭到怀疑。琼斯说,他的团队希望删除当时使用的循环神经网络中的“循环”部分,这“听起来很疯狂”。但随着 Parmar、Aidan Gomez 和 Lukasz Kaiser 等其他一些研究人员加入该小组,他们开始看到改进。

这是一个例子。在“动物没有过马路,因为它太累了”这句话中,“它”指的是动物。但如果句子改为“因为它太宽了”,人工智能系统就会陷入困境,因为“它”会更加模糊。只是现在系统没有。琼斯记得看着它解决了这个问题。 “我想,‘这很特别,’”他说。

德语流利的 Uszkoreit 还注意到,这项新技术可以比谷歌翻译更准确地将英语翻译成德语。

但谷歌本身花了很长时间才将该技术应用到其免费翻译工具或其语言模型 BERT 中,而且该公司从未将其部署在任何人都可以测试的聊天机器人中。直到 2022 年底 ChatGTP 的推出迫使谷歌于 2023 年 3 月迅速发布了名为 Bard 的竞争对手。

多年来,作者们见证了他们的想法被其他人应用到一系列任务中,从 OpenAI 的 ChatGPT 早期迭代到 DALL-E,从 Midjourney 的图像工具到 DeepMind 的蛋白质折叠系统 AlphaFold。很难不注意到最令人兴奋的创新发生在山景城之外。

你可能会说谷歌只是在部署人工智能服务方面非常谨慎。但缓慢并不总是意味着谨慎。它也可能只是惰性和膨胀。如今,一些最有趣的人工智能进步来自小型、灵活的初创公司。遗憾的是,他们中的许多人将被大型科技公司吞并,即使他们在追赶,也有望在人工智能竞赛中获得最大的经济利益。

谷歌最终可能会笑到最后,但从很多方面来说,这将是一次平淡无奇的旅程。

韭菜热线原创版权所有,发布者:风生水起,转载请注明出处:https://www.9crx.com/73685.html

(0)
打赏
风生水起的头像风生水起普通用户
上一篇 2023年7月15日 23:03
下一篇 2023年7月16日 23:33

相关推荐

  • 人工智能革命是历史的重演吗?

    人工智能( AI)革命即将到来。财经媒体和头条新闻充斥着生成式“人工智能”和随后的“工业革命”的故事。 毫不奇怪,随着 ChatGPT 的推出,人们的注意力转向了人工智能。随着人工智能融入搜索引擎,其好处已经显而易见。就连有关利用人工智能“赚一百万”的 TikTok 视频也说明了为什么与人工智能相关的股票近几个月来飙升。 工业革命通常被认为是从 1800 年…

    2023年10月1日
    16700
  • 人工智能正在变得越来越便宜,但它并不能解决所有问题

    人工智能越来越便宜,但无法解决所有问题 作为一项有望帮助企业削减成本的技术,人工智能却面临着巨大的问题——成本过高。 人工智能的扩展定律表明,需要更多的计算能力来构建更强大的模型,这使得科技公司竞相投入数十亿美元建设庞大的数据中心并购买强大的芯片——这些成本他们不得不转嫁给客户。谷歌为办公室工作人员生成文档或电子邮件的人工智能工具并不便宜。它为每位员工增加了…

    2024年9月12日
    5000
  • 随着市场从电动汽车转向人工智能,英伟达成为特斯拉的继任者

    作者: Esha Dey,Jeran Wittenstein,2024 年 3 月 4 日 Nvidia 公司的崛起吸引了股市的目光,并推动标准普尔 500 指数创下新高。但它也让人想起另一个投资者的宠儿,他因技术变革的梦想而飙升,但当这些希望变成失望时,却又跌落到地面。 该股票属于特斯拉公司,该公司在 2017 年引发了自己的狂热,因为投资者押注电动汽车将…

    2024年3月21日
    6800
  • 补贴太阳能和风能,而不是电动汽车

    补贴太阳能和风能,而不是电动汽车 无论喜欢与否,世界都远远达不到目前减少碳排放的目标。鉴于这一现实,绿色能源倡导者通常支持的哪些政策(碳税、排放标准、太阳能补贴、电动汽车税收抵免等)最有效且应优先考虑? 我们经济学家有专门解决这些问题的工具。尽管存在种种局限性,经济学仍然有助于比较一组支出与另一组支出,尤其是当有一个固定目标时,在这种情况下就是限制有害的气候…

    2024年8月30日
    4000
  • OpenAI、Google 和 Meta 正使用您的数据构建他们的 AI 系统

    当白宫公布七家人工智能公司签署的自愿安全和社会承诺清单时,有一点明显缺失:与这些人工智能系统收集和用于训练这项强大技术的数据相关的任何内容。很可能包括你的。 人们对复杂的生成人工智能系统给公众带来的潜在危害有很多担忧。他们对我们的数据所做的事情就是其中之一。我们对这些模型从哪里获取所需的 PB 数据、如何使用这些数据以及在涉及敏感信息时采取了哪些保护措施(如…

    2023年8月5日
    16300

发表回复

登录后才能评论
客服
客服
关注订阅号
关注订阅号
分享本页
返回顶部