| ||
Google上周公布可改善现有机器学习过于专注单一任务的问题,能同时处理多样任务、快速学习新任务、具备完整理解力的AI构架Pathways。
Google资深院士Jeff Dean指出,现今的机器学习模型大都是为单一新问题而从头训练起,训练好也只用于一项任务,结果企业或科学家开发出数千种单一任务的模型。由于模型能力无法累积、概括化(generalize),每次机器学习过程要花更久时间,需要的数据也更多,但人脑学习的运作并非如此,因为人类会在旧技能基础上学习新技能。
因此Google想训练的是不但能处理多种不同任务的模型,而且还能利用及结合它在一项技能学习到的能力(学习从空照图预测地面抬升的能力),来学习另一项新技能(例如预测洪水是否会流经某地形)。
Google想训练的是,可概括化到数百万种任务的单一AI模型构架,它有多种能力,需要时可以调用,又能整合这些能力来执行更复杂的新任务。Google称之为Pathways。利用Pathways,Google将开发能因应新需求、新问题的次世代AI系统。
Dean解释,今天的机器学习模型是一次处理信息的单一模态(modality),无法同时处理一个以上。但Pathways使用多模态模型,可同时处理视觉、听觉及语言理解。例如当系统不论听到、看到“猎豹”这个字词,或是看到这个动物的图像,都会引发同一种反应。Dean指出,这种多模态能力的模型能看得更全面,避免偏见或错误。
此外,除了这些信息,Pathways还能处理更多类抽象信息,例如帮助科学家从复杂的天气系统中,找出许多难以发现的数据规律(pattern)。
Google指出Pathways另一个优点是更有效率。Dean解释,现有机器学习模型处理任务都太密集、太“劳师动众”,即不论问题大小、简单或复杂,都会启动整个神经网络。但Pathways更像人脑的运作,处理简单任务只会启动零星资源,即启用神经网络的一小部份路径,而且它还会动态学习什么任务、最适合使用哪些路径,使得系统更有效率。
例如Google建立的2个最大的机器学习模型,包括GShard和Switch Transformer因为已经具有“零星启动”特性,因此和同样大的密集模型系统相比,仅耗费1/10的能源。
评:
1,如果这是真的,这是划时代的新闻,很多人没有意识到它的重要性。它将改变世界。
2,他的思路和我的AGI请愿书有些相似,但毕竟我在一年半前就已经提交了PCT,
已经公开并即将进入美国,并且已经获得3个中国授权了,呵呵。
3,今年以来太忙,没有再搞了。但这条路是AGI的一条正路。