2019年谷歌AI的“成绩单”咋样？
|
（原标题：2019年谷歌AI的“成绩单”咋样？） 又一年，Jeff Dean代表Google AI，总结过去一年AI大趋势。 这是姐夫作为Google AI大总管的例行年度汇报，也是全球AI——乃至前沿技术第一大厂的肌肉展示。 他说，过去的2019年，是非常激动人心的一年。 依旧是学术和应用两开花，开源和新技术同步推进。 从基础研究开始，到技术在新兴领域的应用，再到展望2020。 虽然汇报格式没有变化，但人工智能技术，又往前迈出了一大步。
Jeff Dean总结了16个大方面的AI成果，并透露全年AI论文发表数达754篇，平均每天都有2篇论文发表。 涵盖AutoML、机器学习算法、量子计算、感知技术、机器人、医疗AI、AI向善…… 桩桩件件，不仅在当前推动了AI作用社会方方面面，而且也是对未来趋势的小小展示。 毫不夸张地说，欲知2019 AI技术进展，看Jeff这篇总结再合适不过；欲知2020 AI会走向何方，看Jeff这篇也能获益良多。
为了方便阅读，我们先整理了一个小目录给你： 机器学习算法：理解神经网络中动态训练性质 AutoML：持续关注，实现机器学习自动化 自然语言理解：结合多种方式、任务，提高技术水平 机器感知：对图像、视频、环境更深入理解和感知 机器人技术：自监督方式训练，发布机器人测试基准 量子计算：首次实现量子优越性 AI在其他学科的应用：从苍蝇的脑子到数学，还有化学分子研究和艺术创作 手机AI应用：本地部署的语音、图像识别模型，还有更强的翻译、导航和拍照 健康和医疗：已用于乳腺癌、皮肤病的临床诊断 AI辅助残障人士：用图像识别、语音转写技术造福弱势群体 AI促进社会公益：预告洪水、保护动植物、教小朋友识字学数学，还砸了1个多亿做了20个公益项目 开发者工具打造和造福研究者社区：TensorFlow迎来全面升级 开放11个数据集：从强化学习到自然语言处理，再到图像分割 顶会研究和Google研究的全球扩张：发表大量论文，投入大量资源资助教师、学生和各方面研究人员进行研究 人工智能伦理：推进人工智能在公平、隐私保护、可解释性方面研究进展 展望2020年及以后：深度学习革命将继续重塑我们对计算和计算机的看法。 机器学习算法 2019年，Google在机器学习算法和方法的许多不同领域进行了研究。 一个主要的焦点是理解神经网络中动态训练的性质。 在下面这项研究中，研究人员的实验结果表明，缩放数据并行量可以让模型收敛更快有效。
论文地址： https://arxiv.org/pdf/1811.03600.pdf 与数据并行性相比，模型并行性可以是扩展模型的有效方法。 GPipe是一个可以让模型并行化更加有效的库： 当整个模型的一部分在处理某些数据时，其他部分可以做别的工作，计算不同的数据。 这种pipline方法可以组合在一起，来模拟更有效的batch大小。 GPipe库地址： https://ai.googleblog.com/2019/03/introducing-gpipe-open-source-library.html 当机器学习模型能够获取原始输入数据，并学习“disentangled”高级表示形式时，它们是非常有效的。 这些表示形式通过用户希望模型能够区分的属性来区分不同种类的示例。 机器学习算法的进步，主要是为了鼓励学习更好的表示法，以此来推广到新的示例、问题及领域。 2019年，Google在不同的背景下研究了这方面的问题： 比如，他们检查了哪些属性影响了从无监督数据中学习的表示，以便更好地理解什么因素能够有助于良好的表示和有效的学习。 博客地址： https://ai.googleblog.com/2019/04/evaluating-unsupervised-learning-of.html Google表明可以使用margin分布的统计量来预测泛化差距，有助于了解哪种模型最有效地进行了泛化。 除此之外，还在强化学习的背景下研究了Off-Policy分类，以便更好地理解哪些模型可能泛化得最好。
博客地址： 研究了为强化学习指定奖励功能的方法，使学习系统可以更直接地从真实目标中进行学习。
博客地址： AutoML Google在2019年依然持续关注着AutoML。 这种方法可以实现机器学习许多方面的自动化，并且在某些类型的机器学习元决策方面，通常可以取得更好的结果，比如： Google展示了如何使用神经结构搜索技术，在计算机视觉问题上获得更好的结果，其在ImageNet上的正确率为84.4%，而参数比以前的最佳模型少8倍。
博客地址： Google展示了一种神经架构搜索方法，展示了如何找到适合特定硬件加速器的高效模型。从而为移动设备提供高精度、低计算量的运行模型。 博客地址： Google展示了如何将AutoML工作扩展到视频模型领域，如何找到能够实现最先进结果的架构，以及能够匹配手工模型性能的轻量级架构。 结果使计算量减少了50倍。
博客地址： Google开发了用于表格数据的AutoML技术，并合作发布了这项技术，作为Google Cloud AutoML Tables的新产品。 博客地址： 展示了如何在不使用任何训练步骤，来更新被评估模型的权重的情况下，找到有趣的神经网络架构，让结构搜索的计算效率更高。
博客地址： 探索了发现NLP任务的体系结构。这些任务的性能明显优于普通的Transformer模型，并且大大降低了计算成本。
博客地址： 研究证明了自动学习数据增强方法可以扩展到语音识别模型中。 与现有的人类ML-expert驱动的数据增强方法相比，可以在较少数据情况下获得了显著更高的准确性。 博客地址： 推出了第一款使用AutoML进行关键字识别和口语识别的语音应用程序。 在实验中，发现了比人类设计更好的模型：效率更高，性能也更好。 博客地址： https://www.isca-speech.org/archive/Interspeech_2019/abstracts/1916.html 自然语言理解 在过去几年里，自然语言理解、翻译、自然对话、语音识别和相关任务的模型取得了显著进展。 Google在2019年工作的一个主题是：通过结合各种方式或任务来提高技术水平，以此来训练更强大的模型。 比如，只用1个模型，在100种语言之间进行翻译训练(而不是使用100个不同的模型)，从而显著提高了翻译质量。
博客地址： 展示了如何将语音识别和语言模型结合起来，并在多种语言上训练系统，可以显著提高语音识别的准确性。
博客地址： 研究证明，训练一个联合模型来完成语音识别、翻译和文本到语音的生成任务是有可能的。 并且还具有一定的优势，例如在生成的翻译音频中保留说话人的声音， 以及更简单的整体学习系统。 博客地址： 研究展示了如何结合许多不同的目标，来生成在语义检索方面明显更好的模型。 例如，在GoogleTalk to Books中提问，“什么香味能唤起回忆?” 结果是，“对我来说，茉莉花的香味和烤盘的香味，让我想起了我无忧无虑的童年。” 博客地址： 展示了如何使用对抗性训练程序来显著提高语言翻译的质量和鲁棒性。
博客地址： 随着基于seq2seq、Transformer、BERT、Transformer-XL和ALBERT等模型的发展，Google的语言理解技术能力不断提高。并已经应用到了许多核心产品和功能中。 2019年，BERT在核心搜索和排名算法中的应用，带来了过去五年里搜索质量的最大提升(也是有史以来最大的提升之一)。 机器感知 在过去十年中，用于更好地了解静态图像的模型取得了显著进步。 接下来是Google在过去一年中，在这个领域中的主要研究。 包括图像和视频的更深入的理解，以及对生活和环境的感知，具体有： 研究了镜头中更细粒度的视觉理解，支持更强大的视觉搜索。 博客地址： https://www.blog.google/products/search/helpful-new-visual-features-search-lens-io/ 展示了Nest Hub Max的智能相机功能，例如快速手势、面部匹配和智能视频通话取景。 博客地址： https://blog.google/products/google-nest/hub-max-io/ 研究了更好的视频深度预测模型。 博客地址： https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html 研究使用时间周期一致性，学习对视频进行细粒度时间理解的更好表示。
博客地址： https://ai.googleblog.com/2019/08/video-understanding-using-temporal.html 学习文本、语音和视频中与未标记视频在时间上一致的表示形式。
博客地址： https://ai.googleblog.com/2019/09/learning-cross-modal-temporal.html 也能够通过对过去的观察，来预测未来的视觉输入。 博客地址： https://ai.googleblog.com/2019/03/simulated-policy-learning-in-video.html 并证明了模型可以更好地理解视频中的动作序列。
博客地址： https://ai.googleblog.com/2019/04/capturing-special-video-moments-with.html 机器人技术 机器学习在机器人控制中的应用是Google的重要研究领域。Google认为，这是使机器人能够在复杂的现实世界环境（比如日常家庭、企业）中有效运行的重要工具。 Google2019年在机器人技术中所做的工作包括： 1、在通过自动强化学习进行远程机器人导航中，Google展示了如何将强化学习与远程项目结合，使机器人能够更有效地在复杂的环境（例如Google办公大楼）中导航。
相关链接： 2、在PlaNet中，Google展示了只从图像中有效地学习世界模型，以及如何利用这种模型以更少的学习次数完成任务。 相关链接： 3、在TossingBot上，Google将物理定律和深度学习统一起来，让机器人通过实验来学习直观物理原理，然后将物体按照学习到的规律扔进盒子里。
相关链接： 4、在Soft Actor-Critic的研究中中，Google证明了，训练强化学习算法的方式，既可以通过最大化期望的奖励，也可以通过最大化策略的熵来实现。 这可以帮助机器人学习得更快，并且对环境的变化更加鲁棒。 相关链接： 5、Google还发展了机器人的自监督学习算法，让机器人以自监督的方式，通过分解物体的方式物来学习组装物体。这表明机器人可以和儿童一样，从拆解中学到知识。
相关链接： 6、最后，Google还推出了低成本机器人的基准测试ROBEL，这是一个针对低成本机器人的开源平台，帮助其他开发者更快更方便地研发机器人硬件。 相关链接： 量子计算 在2019年，Google在量子计算上取得了重大图片，首次向世人展示了量力优越性：在一项计算任务中，量子计算机的速度远远超过经典计算机。 原本经典计算机需要计算10000年的任务，量子计算机仅需200秒即可完成。这项研究登上了今年10月24日Nature杂志的封面。
△ Google用于量子计算的Sycamore处理器 GoogleCEO皮查伊说：“它的意义就像第一枚火箭成功地脱离地球引力，飞向太空边缘。”量子计算机会在材料科学、量子化学和大规模优化等领域中发挥重要的作用。 Google还在努力使量子算法更易于表达、更易于控制硬件，并且Google已经找到了在量子计算中使用经典机器学习技术的方法。 AI在其他学科的应用 人工智能和机器学习在其他科学领域的应用方面，Google发了很多论文，主要是在多组织协作方面。 论文集： https://research.google/pubs/?area=general-science 今年的重点有： 苍蝇大脑交互性自动3D重建，用机器学习模型来精心绘制苍蝇大脑的每个神经元，Jeff Dean称这是映射苍蝇大脑结构的的里程碑。
相关博客： https://ai.googleblog.com/2019/08/an-interactive-automated-3d.html 在为偏微分方程学习更好的仿真方法中，Google用机器学习加速偏微分方程计算，这也是研究气候变化、流体动力学、电磁学、热传导和广义相对论等基础计算问题的核心。
△ Burgers方程的两种解法仿真 Google还用机器学习模型判断气味，用GNN判断分子结构，来预测它闻起来是什么味儿。
相关报道： Google造出AI调香师：看一眼分子结构，就知道它闻起来什么味儿 同样在化学方面，Google还做了一个强化学习框架来优化分子。 相关论文： https://www.nature.com/articles/s41598-019-47148-x 艺术创作方面，GoogleAI的努力就更多了，比如AI+AR的艺术表现
https://www.blog.google/outreach-initiatives/arts-culture/how-artists-use-ai-and-ar-collaborations-google-arts-culture/ 用机器重新编排舞蹈： https://www.blog.google/technology/ai/bill-t-jones-dance-art/ AI作曲的新探索： https://www.blog.google/technology/ai/behind-magenta-tech-rocked-io/ 还延伸出了一个好玩的AI作曲Doodle： https://www.blog.google/technology/ai/honoring-js-bach-our-first-ai-powered-doodle/ 手机AI应用 Google做的很多事情都是借机器学习赋予手机新的能力，这些模型都能在手机端运行，就算开了飞行模式，这些功能依然可以使用。 现在，手机端语音识别模型、视觉模型、手写识别模型都已经实现了。 相关博客： 语音识别 https://ai.googleblog.com/2019/03/an-all-neural-on-device-speech.html 视觉模型 https://ai.googleblog.com/2019/11/introducing-next-generation-on-device.html 手写识别模型 https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.html Jeff Dean称，这为实现更强大的新功能铺平了道路。 此外，今年Google在手机上的亮点有： Live Caption功能，手机上任何应用播放的视频，它都能给自动加上字幕。 相关博客： https://ai.googleblog.com/2019/10/on-device-captioning-with-live-caption.html Recorder应用，让你能搜索手机录下的音频中的内容。
相关博客： https://ai.googleblog.com/2019/12/the-on-device-machine-learning-behind.html （编辑：52刷机网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
