seawang的个人空间 https://blog.eetop.cn/dacong9999 [收藏] [复制] [分享] [RSS]

空间首页 动态 记录 日志 相册 主题 分享 留言板 个人资料

日志

Google公布下一代人工智能框架“Pathways”,将可更快学习,兼评论 ... ... ...

已有 1349 次阅读| 2021-11-10 09:56 |个人分类:行业|系统分类:人工智能


Google上周公布可改善现有机器学习过于专注单一任务的问题,能同时处理多样任务、快速学习新任务、具备完整理解力的AI构架Pathways。


Google资深院士Jeff Dean指出,现今的机器学习模型大都是为单一新问题而从头训练起,训练好也只用于一项任务,结果企业或科学家开发出数千种单一任务的模型。由于模型能力无法累积、概括化(generalize),每次机器学习过程要花更久时间,需要的数据也更多,但人脑学习的运作并非如此,因为人类会在旧技能基础上学习新技能。

因此Google想训练的是不但能处理多种不同任务的模型,而且还能利用及结合它在一项技能学习到的能力(学习从空照图预测地面抬升的能力),来学习另一项新技能(例如预测洪水是否会流经某地形)。


Google想训练的是,可概括化到数百万种任务的单一AI模型构架,它有多种能力,需要时可以调用,又能整合这些能力来执行更复杂的新任务。Google称之为Pathways。利用Pathways,Google将开发能因应新需求、新问题的次世代AI系统。

Dean解释,今天的机器学习模型是一次处理信息的单一模态(modality),无法同时处理一个以上。但Pathways使用多模态模型,可同时处理视觉、听觉及语言理解。例如当系统不论听到、看到“猎豹”这个字词,或是看到这个动物的图像,都会引发同一种反应。Dean指出,这种多模态能力的模型能看得更全面,避免偏见或错误。

此外,除了这些信息,Pathways还能处理更多类抽象信息,例如帮助科学家从复杂的天气系统中,找出许多难以发现的数据规律(pattern)。


Google指出Pathways另一个优点是更有效率。Dean解释,现有机器学习模型处理任务都太密集、太“劳师动众”,即不论问题大小、简单或复杂,都会启动整个神经网络。但Pathways更像人脑的运作,处理简单任务只会启动零星资源,即启用神经网络的一小部份路径,而且它还会动态学习什么任务、最适合使用哪些路径,使得系统更有效率。

例如Google建立的2个最大的机器学习模型,包括GShard和Switch Transformer因为已经具有“零星启动”特性,因此和同样大的密集模型系统相比,仅耗费1/10的能源。

评:


1,如果这是真的,这是划时代的新闻,很多人没有意识到它的重要性。它将改变世界。



2,他的思路和我的AGI请愿书有些相似,但毕竟我在一年半前就已经提交了PCT,


已经公开并即将进入美国,并且已经获得3个中国授权了,呵呵。



3,今年以来太忙,没有再搞了。但这条路是AGI的一条正路。






点赞

评论 (0 个评论)

facelist

您需要登录后才可以评论 登录 | 注册

  • 关注TA
  • 加好友
  • 联系TA
  • 0

    周排名
  • 7

    月排名
  • 0

    总排名
  • 1

    关注
  • 35

    粉丝
  • 17

    好友
  • 144

    获赞
  • 191

    评论
  • 11382

    访问数
关闭

站长推荐 上一条 /1 下一条

小黑屋| 关于我们| 联系我们| 在线咨询| 隐私声明| EETOP 创芯网
( 京ICP备:10050787号 京公网安备:11010502037710 )

GMT+8, 2024-3-29 14:13 , Processed in 0.010530 second(s), 8 queries , Gzip On, Redis On.

eetop公众号 创芯大讲堂 创芯人才网
返回顶部