新算法让神经网络持续学习

2024-11-13 07:50来源:本站编辑

神经网络在学习特定任务方面具有非凡的能力,比如识别手写数字。然而,这些模型在被教授额外的任务时经常经历“灾难性的遗忘”:它们可以成功地学习新的任务,但“忘记”如何完成原来的任务。对于许多人工神经网络来说,比如引导自动驾驶汽车的神经网络,学习额外的任务需要完全重新编程。

另一方面,生物大脑非常灵活。例如,人类和动物可以很容易地学会如何玩一个新游戏,而不必重新学习如何走路和说话。

受人类和动物大脑灵活性的启发,加州理工学院的研究人员现在开发了一种新型算法,使神经网络能够不断更新新数据,而无需从头开始学习。该算法被称为功能不变路径(FIP)算法,具有广泛的应用,从改进在线商店的推荐到微调自动驾驶汽车。

该算法是由计算生物学助理教授、传统医学研究所(HMRI)研究员马特·汤姆森(Matt Thomson)的实验室开发的。10月3日发表在《自然机器智能》杂志上的一项新研究描述了这项研究。

汤姆森和前研究生古鲁·拉加万(23届博士)的灵感来自加州理工学院的神经科学研究,尤其是生物学研究教授卡洛斯·洛伊斯的实验室。露易丝研究鸟类在脑损伤后如何重新连接大脑,以学习如何再次唱歌。人类也能做到这一点;例如,因中风而遭受脑损伤的人通常可以建立新的神经连接,重新学习日常功能。

汤姆森说:“这是一个长达数年的项目,从大脑如何灵活学习的基础科学开始。”“我们如何赋予人工神经网络这种能力?”

该团队使用一种称为微分几何的数学技术开发了FIP算法。该框架允许在不丢失先前编码信息的情况下修改神经网络。

2022年,在加州理工学院常驻企业家朱莉·舍恩菲尔德(Julie Schoenfeld)的指导下,Raghavan和Thomson创办了一家名为Yurts的公司,进一步开发FIP算法,并大规模部署机器学习系统,以解决许多不同的问题。Raghavan与业内专业人士Ben Van Roo和Jason Schnitzer共同创立了yurt。

这篇论文的标题是“通过遍历功能不变路径来设计灵活的机器学习系统”。Raghavan是这项研究的第一作者。除了Raghavan和Thomson之外,加州理工学院的研究生Surya Narayanan Hari和Shichen Rex Liu以及合作者Dhruvil Satani也参与了这项研究。埃及亚历山大大学的Bahey Tharwat也是作者之一。资金由加州理工学院天桥和陈克里斯神经科学研究所、HMRI、帕卡德基金会和罗森伯格创新倡议提供。汤姆森是加州理工学院天桥和陈Chrissy Chen神经科学研究所的附属教员。

低元资讯声明:未经许可,不得转载。