一共65篇文章
专题：第期
-
【AI论文与新生技术】Guide-and-Rescale：有效免调整真实图像编辑的自引导机制
尽管大规模文本到图像生成模型最近取得了进展，但用这些模型操纵真实图像仍然是一个具有挑战性的问题。现有编辑方法的主要局限性在于，它们要么无法在大范围的图像编辑上以一致的质量执行，要么需要耗时的超参数调整或扩散模型的微调以保留输入图像的图像特定外观。 我们提出了一种新颖的方法Guide-and-Rescale，该方法通过引导机制基于改进的扩散采样过程。在这项工作中，我们探索自我引导技术来保留输入图像…...- 53
- 0
-
【AI论文与新生技术】字节跳动新AI项目 Loopy：驯服具有长期运动依赖性的音频驱动ai视频生成肖像头像
字节跳动公司推出了一个名为Loopy的新型AI项目，该项目在音频驱动的ai视频生成领域取得了显著的进展。 Loopy项目的核心在于其创新的端到端纯音频条件视频扩散模型，这一模型能够处理长期运动依赖性，即能够理解和模拟音频信号中包含的连续动作和表情变化。这种能力使得Loopy不仅能够处理语言相关的面部动作，如说话时的嘴部运动，还能够生成非语言动作，例如叹息、情感驱动的眉毛和眼睛运动等。 此外，Loo…...- 4.1k
- 3
-
【AI论文与新生技术】Meta Reality Labs推出视频人物人体表面法线预测、动作识别模型“Sapiens”
Meta Reality Labs 推出了Meta Sapiens，这是一个用于四种基本的以人为中心的视觉任务的模型系列：2D 姿势估计、身体部位分割、深度估计和表面法线预测。我们的模型本身支持 1K 高分辨率推理，并且只需对在超过 3 亿张野外人类图像上预训练的模型进行微调，就可以非常轻松地适应各个任务。即使标记数据稀缺或完全合成，所得模型也对野外数据表现出显着的泛化能力。我们简单的模型设计还带…...- 793
- 0
-
【AI论文与新生技术】CSGO ：文生图中的图像风格组合迁移模型
CSGO : Content-Style Composition in Text-to-Image Generation 扩散模型在受控图像生成方面表现出了卓越的能力，这进一步激发了人们对图像风格迁移的兴趣。由于特定数据的稀缺，现有的工作主要集中在训练基于免费的方法（例如图像反演）。在这项研究中，我们提出了一种内容风格风格化图像三元组的数据构建管道，它生成并自动清理风格化数据三元组。基于这个管道，…...- 1k
- 0
-
【AI论文与新生技术】谷歌Google提出扩散模型实时驱动的游戏引擎：GameNGen
谷歌Google推出了 GameNGen，这是第一个完全由神经模型驱动的游戏引擎，可以在长轨迹上以高质量与复杂环境进行实时交互。 GameNGen 可以在单个 TPU 上以每秒超过 20 帧的速度交互式模拟经典游戏《DOOM》。下一帧预测的 PSNR 达到 29.4，与有损 JPEG 压缩相当。在区分游戏短片和模拟片段方面，人类评分者仅比随机机会稍好一些。 GameNGen 的训练分为两个阶段： …...- 805
- 0
-
【AI论文与新生技术】LayerPano3D：用于生成超沉浸式场景的分层3D场景全景图
3D 沉浸式场景生成是计算机视觉和图形学领域中一项极具挑战性且至关重要的任务。理想的虚拟 3D 场景具备以下特点：1) 能够展现出全向视图的一致性；2) 允许用户在复杂的场景层次结构中自由探索。现有的技术方法通常依赖于通过修复实现的连续场景扩展，或者使用全景图像来表示具有广阔视场的场景环境。然而，在场景扩展的过程中，这些方法往往会出现语义漂移的问题，并且难以处理场景层次结构间的遮挡问题。 为了解决…...- 1k
- 0
-
【AI论文与新生技术】3D Gaussian Splatting ：3D 高斯散射的次表面散射
由于表面下复杂的光传输，由散射材料制成的物体的 3D 重建和重新照明提出了重大挑战。 3D Gaussian Splatting 引入了实时速度的高质量新颖视图合成。 虽然 3D 高斯可以有效地近似物体的表面，但它们无法捕获次表面散射的体积特性。研究人员提出了一个框架，用于在给定多视图 OLAT（一次一光）数据的情况下优化物体的形状以及辐射传输场。研究人员的方法将场景分解为表示为 3D 高斯的显式…...- 734
- 0
-
【AI论文与新生技术】Audio Match Cutting：在电影和视频中查找和创建匹配的音频过渡
“相似转场”是一种常见的视频编辑技术，其中具有相似构图的一对镜头从一个镜头流畅地过渡到另一个镜头。尽管比赛剪辑通常是视觉化的，但某些比赛剪辑涉及音频的流畅过渡，其中来自不同来源的声音合并成两个镜头之间无法区分的过渡。在本文中，研究者们探讨了在视频和电影中自动查找和创建“音频匹配剪辑”的能力。简而言之，新的技术Audio Match Cutting，Audio Match Cutting可以帮助视频…...- 622
- 0
-
【AI论文与新生技术】清华开源模型LongWriter：从长上下文中释放 10,000 多个单词生成LLMs
喜好儿小斥候消息，当前的长上下文大语言模型（LLMs ）可以处理多达 100,000 个标记的输入，但很难生成超过 2,000 个单词的适度长度的输出。通过受控实验，研究人员发现LongWriter的有效生成长度本质上受到监督微调（SFT）期间看到的样本的限制。换句话说，输出限制是由于现有 SFT 数据集中缺乏长输出示例。 为了解决这个问题，研究人员引入了 AgentWrite，这是一种基于代理的…...- 1.2k
- 0
-
【AI论文与新生技术】TurboEdit：基于文本的即时图像编辑
研究人员在少步扩散模型的背景下解决了精确图像反演和解缠结图像编辑的挑战。他们引入基于编码器的迭代反转技术。反演网络以输入图像和上一步的重建图像为条件，允许对输入图像进行下一次重建校正。 他们证明，TurboEdit可以通过调节（自动生成的）详细文本提示，可以在几步扩散模型中轻松实现解缠结控制。为了操纵倒置图像，他们冻结噪声图并修改文本提示中的一个属性（手动或通过由一个驱动程序驱动的基于指令的编辑）…...- 1.7k
- 0
-
【AI论文与新生技术】Generative Photomontage图像蒙太奇：将生成图像的各个部分进行合成
文本到图像模型是图像创建的强大工具。 然而，生成过程类似于掷骰子，很难获得单个图像 捕获用户想要的一切。 在本文中，我们提出了一个用于创建所需图像的框架——Generative Photomontage图像蒙太奇，通过将生成图像的各个部分进行合成，本质上形成了生成蒙太奇。 给定 ControlNet 使用相同输入条件和不同种子生成的一堆图像， 研究人员让用户使用画笔描边界面从生成的结果中选择所需的…...- 837
- 0
