当前位置:首页> AI教程> AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

释放双眼,带上耳机,听听看~!
新研究MinD-Video成功实现了通过AI展示高清视频形式的人类大脑信息重建,带来了科幻般的突破。该研究利用fMRI技术,深入理解大脑活动,并通过MinD-Video方法高效实现了连续帧的视频重建。
金磊 发自 凹非寺 量子位 | 公众号 QbitAI

现在,AI可以把人类脑中的信息,用高清视频展示出来了!

例如你坐在副驾所欣赏到的沿途美景信息,AI分分钟给重建了出来:

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

看到过的水中的鱼儿、草原上的马儿,也不在话下:

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破
AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

这就是由新加坡国立大学和香港中文大学共同完成的最新研究,团队将项目取名为MinD-Video

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

这波操作,宛如科幻电影《超体》中Lucy读取反派大佬记忆一般:

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

引得网友直呼:

推动人工智能和神经科学的前沿。

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

值得一提的是,大火的Stable Diffusion也在这次研究中立了不小的功劳。

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

怎么做到的?

从大脑活动中重建人类视觉任务,尤其是功能磁共振成像技术(fMRI)这种非侵入式方法,一直是受到学界较多的关注。

因为类似这样的研究,有利于理解我们的认知过程。

但以往的研究都主要聚焦在重建静态图像,而以高清视频形式来展现的工作还是较为有限。

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

之所以会如此,是因为与重建一张静态图片不同,我们视觉所看到的场景、动作和物体的变化是连续、多样化的。

而fMRI这项技术的本质是测量血氧水平依赖(BOLD)信号,并且在每隔几秒钟的时间里捕捉大脑活动的快照。

相比之下,一个典型的视频每秒大约包含30帧画面,如果要用fMRI去重建一个2秒的视频,就需要呈现起码60帧。

因此,这项任务的难点就在于解码fMRI并以远高于fMRI时间分辨率的FPS恢复视频。

为了弥合图像和视频大脑解码之间差距,研究团队便提出了MinD-Video的方法。

整体来看,这个方法主要包含两大模块,它们分别做训练,然后再在一起做微调。

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

这个模型从大脑信号中逐步学习,在第一个模块多个阶段的过程,可以获得对语义空间的更深入理解。

具体而言,便是先利用大规模无监督学习与mask brain modeling(MBM)来学习一般的视觉fMRI特征。

然后,团队使用标注数据集的多模态提取语义相关特征,在对比语言-图像预训练(CLIP)空间中使用对比学习训练fMRI编码器。

在第二个模块中,团队通过与增强版Stable Diffusion模型的共同训练来微调学习到的特征,这个模型是专门为fMRI技术下的视频生成量身定制的。

如此方法之下,团队也与此前的诸多研究做了对比,可以明显地看到MinD-Video方法所生成的图片、视频质量要远优于其它方法。

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

而且在场景连续变化的过程中,也能够呈现高清、有意义的连续帧。

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

研究团队

这项研究的共同一作,其中一位是来自新加坡国立大学的博士生Zijiao Chen,目前在该校的神经精神疾病多模式神经成像实验室(MNNDL_Lab)。

另一位一作则是来自香港中文大学的Jiaxin Qing,就读专业是信息工程系。

除此之外,通讯作者是新加坡国立大学副教授Juan Helen ZHOU。

据了解,这次的新研究是他们团队在此前一项名为MinD-Vis的功能磁共振成像图像重建工作的延伸。

MinD-Vis已经被CVPR 2023所接收。

AI实现高清视频展示人类大脑信息重建,新研究MinD-Video带来科幻般突破

参考链接:
[1]mind-video.com/
[2]twitter.com/ZijiaoC/sta…
[3]arxiv.org/abs/2305.11…

—  —

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

混淆矩阵在机器学习中的重要性与应用

2023-12-8 11:47:00

AI教程

企业级LLM项目:面向企业环境的数据挑战与解决思路

2023-12-8 11:49:00

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索