AI 算法能根据人脑的扫描图像，清晰重现人们看到的场景

据《科学》新闻（Science News）报道，日本大阪大学研究者通过有效训练 Stable Diffusion（一款 AI 算法），使其可以读取人脑的功能磁共振（fMRI）扫描图像，能在很大程度上重建受试者看到的真实图像。研究人员在德国团队开发的“Stable Diffusion”算法的基础上增加了额外的训练，使得其能将数千张附加文本描述的照片与受试者观察这些照片时的大脑活动模式联系起来。这是一种结合文本和视觉信息“破译大脑”的新颖方法，将能促进理解人脑如何呈现观察到的事物。

当人们看照片时，大脑中的颞叶主要记录有关图像内容（人、物体或风景）的信息，而枕叶主要会记录有关布局和透视的信息。而 fMRI 可以检测流向大脑活跃区域的血流变化，记录这些信息。研究人员使用美国明尼苏达大学提供的在线数据集对 Stable Diffusion 进行了额外训练。该数据集包括 4 名参与者观看10 000 张照片时的脑部扫描。此时，Stable Diffusion 算法能将一个人观看照片时的大脑活动模式与其训练数据集中的模式进行比较，有效生成一个描绘所看照片内容、布局和视角的图像。但 Stable Diffusion 难以再现照片中的真实物体，仅能创建了抽象图像。随后，他们通过数据集中图片附带说明的关键词解决了这一问题。通过将图片信息的关键词输入 Stable Diffusion 算法的正常文本图像生成器，它能遵循人脑模式的布局和视角，生成令人信服的高保真图片。该论文已于 2022 年 12 月 1 日发表于预印本平台 bioRxiv。(Science News)

转自：“科研圈”微信公众号

如有侵权，请联系本站删除！