扩散模型「读脑术」，自动化所MindDiffuser清晰重建人脑视觉画面
2023/8/29 15:30:25 阅读：43 发布者：
近年来，借助多模态预训练大模型与生成能力更强的 AI ，不少工作都得到了在语义上与原图十分接近的重建图像，但这些图像在位置、朝向等结构信息上不可控。为了同时解决以上两个问题，中科院自动化所的卢一卓、杜长德等人借助 Stable Diffusion 和 CLIP 新提出了一种基于扩散模型的两阶段图像重建模型 MindDiffuser，相关论文已被国际多媒体大会 ACM MM 2023 接受。结果表明，本文提出的模型的重建结果已超过目前最优的模型。可视化结果也证明了本文的模型设计在神经生物学上的可解释性。（DOI：arXiv:2303.14139）
转自：“鲸锐学术”微信公众号
如有侵权，请联系本站删除！
