梵高名作也能被 AI 逆向破解了？！人前 露出

径直喂一张原图，AI 就能化身梵高 · 本高少许点重绘整张丹青（原图可狂放）。

仔细对照双方，AI 险些已毕了 1:1 复刻，还为咱们这些绘画小白了了展示了整幅图的构建经过。

这项魔法来自华盛顿大学，神志名为Inverse Painting，说合论文已入选 SIGGRAPH Asia 2024，其中两位作家照旧东北大学（Bowei Chen ）和上海科技大学（Yifan Wang）的学友。

神志仍是发布后即在 Reddit 引起热议，最高赞更是为艺术家群体操起了心（doge）。

艺术家可能会对此感到大怒

不外也有东说念主暗示，这关于东说念主们学习若何绘画终点有匡助。

致使不错用来"破解"一些大家遗作，索求荫藏或失传的本领。

基于扩散模子

从原图→绘画经过延时视频，Inverse Painting 遴荐基于扩散的逆绘画举止。

通过学习实在艺术家的绘画视频，勾通文本和区域确认来界说绘画 "指示"，并使用基于扩散的渲染器更新画布，从而生成访佛于东说念主类艺术家绘画经过的视频。

进一步拆解，这仍是过主要包括以下景色：

学习艺术家的绘画经过。网罗了 294 个丙烯酸步地画绘画经过视频（平均时长 9 分钟），并进行视频帧分割、剪辑和筛选等预处分操作，让模子学习绘画经过；

界说绘画指示。基于对画作不同元素（比如太空、树木、东说念主物等）以及元素互说合系果真认，模子会生成一组"绘画指示"，告诉模子应该先画什么，后画什么；

使用扩散模子。用扩散模子生成传神图像，并冉冉在画布上添加细节，就像艺术家绘画时不异；

文本和区域确认。模子还会生成文本指示和区域掩码，前者告诉模子要绘图的内容，后者用来指定内容的实在位置；

冉冉渲染。从一个空缺画布运转人前 露出，冉冉生成完竣绘画经过；

时期收尾。为了模拟实在寰宇中艺术家的绘画速率，模子还会议论每步之间的经常断绝；

这些景色全体可归为两阶段磨练 + 测试，如下所示：

第一阶段：指示生成（Instruction Generation）

这个阶段主要生成两个关键指示集，文本指示生成器（Text Instruction Generator）和区域掩码生成器（Mask Instruction Generator）。

前者通过比较议论画作和现时画布的气象，生成一个梗概的文本指示，比如"画太空"或"加花朵"，以此决定下一步应该添加哪些元素。

后者是一个二进制图像，指明了画布上应该更新哪些部分。

两者一勾通，确保模子只在画布上合适的区域进行绘图。

生成的文本指示第二阶段：画布渲染（Canvas Rendering）

接下来使用第一阶段生成的指示来更新画布。

诓骗文本指示和区域掩码，以及现时画布的图像和议论画作，一个基于扩散的渲染器被用来更新画布。

这个渲染器遴荐了一种叫作念"去噪扩散概率模子"的本领，它冉冉从噪声图像中去除杂音，以生成一语气的图像帧。

总之，渲染器在更新画布时会议论多种条款信号，包括文本指示、区域掩码、经常断绝，以及议论画作和现时画作的特征。

这些条款信号匡助渲染器更准确地模拟东说念主类艺术家的绘画立场和经过。

测试（Test-Time Generation）

在测试阶段，模子使用磨练好的管说念从新运转生成一幅画作。

这里主要有两个关键：

自回来经过。每一步齐依赖于前一步生成的效劳，以此生成一个连贯的绘画经过；

固定经常断绝。在每一步之间遴荐固定时期来更新画布，模拟实在绘画经过中的时期荏苒；

最终，与三个基线举止（Timecraft、Paint Transformer、Stable Video Diffusion）比拟，其生顺利指示路更优。

同期，说合变体也取得了 SOTA 效劳。

其中两位作家为华东说念主

浅近先容下神志作家，一共 5 位，其中两位是华东说念主。

Bowei Chen （陈柏维），本科就读于国内东北大学软件工程专科（2016 年入学），后差别在卡内基梅隆大学机器东说念主征询所和华盛顿大学攻读硕博。

征询兴致为经营机视觉和图形学的交叉点，重心是图像和视频生成。

Yifan Wang，本科就读于上海科技大学经营机专科，本年刚取得华盛顿大学 CS 博士学位。

个东说念主主页走漏了多段职责履历（含字节、谷歌、Adobe 等），现在是 Meta Reality Labs Research 的别称征询科学家。

骨子上，这个团队进行的AI 逆向绘画之前也有，网友们还提到了Paints Undo这个神志。

那时主要应用于动漫界限，短短 3 个月已在 GitHub 揽星 3.3K。

关于这事儿，东说念主们一直评述不一，最大争议在于东说念主们记念有东说念主会诓骗 AI 谎称作家。

毕竟通过讲授艺术念念路是作家讲授作品原创性的技能之一。

致使关于它能教东说念主们学绘画这事儿，也有网友以本人履历出来反驳：

现在不太安妥实在绘画经过

是以，有了解绘画的童鞋来说说看吗？

参考流畅：

[ 1 ] https://inversepainting.github.io/

[ 2 ] https://www.reddit.com/r/singularity/comments/1fybddi/inverse_painting_can_generate_timelapse_videos_of/人前 露出