Meta 出品!Pippo:输入单张人物图片生高分辨率多视角图片

近日,Meta Reality Labs 的研究团队联合高效发布了一项名为 “Pippo” 的创新性生成模型,能够从一张随意拍摄的照片中,生成一段高达1K 分辨率的密集周转视频。 这一突破性技术,标志着计算机视觉和图像生成领域的又一重要进展。 Pippo 模型的核心在于其多视图扩散转换器的设计。

近日,Meta Reality Labs 的研究团队联合高效发布了一项名为 “Pippo” 的创新性生成模型,能够从一张随意拍摄的照片中,生成一段高达1K 分辨率的密集周转视频。这一突破性技术,标志着计算机视觉和图像生成领域的又一重要进展。

QQ_1739759486317.png

Pippo 模型的核心在于其多视图扩散转换器的设计。与传统的生成模型不同,Pippo 不需要任何额外的输入,例如拟合的参数模型或拍摄该图像的相机参数。用户只需提供一张普通的照片,系统就能自动生成多视角的视频效果,为用户呈现出更加生动和立体的人物形象。

为了便于开发者使用,Pippo 此次发布为代码 - only 版本,没有预训练权重。研究团队提供了必要的模型、配置文件、推理代码以及 Ava-256数据集的样本训练代码。开发者可以通过简单的命令克隆和设置代码库,快速上手进行训练和应用。

Pippo 项目的未来计划包括整理和清理代码,以及推出针对预训练模型的推理脚本。这些改进将进一步提升用户体验,推动该技术在实际应用中的广泛使用。

项目:https://github.com/facebookresearch/pippo

划重点:

🌟 Pippo 模型能够从一张普通照片生成高分辨率的多视图视频,无需额外输入。  

💻 代码仅发布,没有预训练权重,开发者可自行训练模型并进行应用。  

🔍 团队计划未来推出更多功能和改进,以增强用户体验。

相关资讯

有史以来最高互作强度,华盛顿大学David Baker团队用AI工具产生具有非凡结合强度的蛋白质

编辑 | 萝卜皮多肽的研究对于药物开发、疾病检测和环境监测具有重大意义。许多肽激素在结合其受体后形成 α 螺旋,对其敏感的检测方法可能有助于更好的疾病临床管理。从头蛋白质设计现在可以生成对结构化蛋白质具有高亲和力和特异性的结合物。然而,蛋白质和具有螺旋倾向的短肽之间的相互作用的设计是一个尚未解决的挑战。华盛顿大学医学院蛋白质设计研究所的科学家们人工智能驱动的生物技术来应对这些挑战。他们使用人工智能软件创建了蛋白质分子,这些蛋白质分子以极高的亲和力和特异性与各种具有挑战性的生物标志物(包括人类激素)结合。值得注意的是

首个通用双向Adapter多模态目标追踪方法BAT,入选AAAI 2024

能够有效实现多模态交叉提示跟踪。目标跟踪是计算机视觉的一项基础视觉任务,由于计算机视觉的快速发展,单模态 (RGB) 目标跟踪近年来取得了重大进展。考虑到单一成像传感器的局限性,我们需要引入多模态图像 (RGB、红外等) 来弥补这一缺陷,以实现复杂环境下全天候目标跟踪。然而,现有的多模态跟踪任务也面临两个主要问题:由于多模态目标跟踪的数据标注成本高,大多数现有数据集规模有限,不足以支持构建有效的多模态跟踪器;因为不同的成像方式在变化的环境中对物体的敏感度不同,开放世界中主导模态是动态变化的,多模态数据之间的主导相关

ICLR 2024 Spotlight|厦门大学、Intel、大疆联合出品,从网络视频中学习零样本图像匹配大模型

图像匹配是计算机视觉的一项基础任务,其目标在于估计两张图像之间的像素对应关系。图像匹配是众多视觉应用如三维重建、视觉定位和神经渲染 (neural rendering) 等的基础和前置步骤,其精确度和效率对于后续处理十分重要。传统算法(SIFT)在面临长基线或极端天气等复杂场景时,其匹配的准确度和密度往往有限。为了解决这些问题,近年来,基于深度学习的匹配模型逐渐流行。然而,由于缺乏大规模且多样化的具有真值标签的训练数据,目前的匹配模型通常是在 ScanNet 和 MegaDepth 上分别训练室内和室外两个模型。这