-->；抽象是素描的核心，因为线条画的简单性和简约性。抽象需要识别对象或场景的基本视觉属性，这需要语义理解和高级概念的先验知识。因此，抽象描绘对艺术家来说是一个挑战，对机器来说更是如此。我们提出了一种对象绘制方法，可以在几何和语义简化的指导下实现不同层次的抽象。虽然草图生成方法通常依赖于显式草图数据集进行训练，但我们利用CLIP（对比语言图像预训练）的卓越能力从草图和图像中提取语义概念。我们将草图定义为一组Bézier曲线，并使用可微光栅化器直接针对基于片段的感知损失优化曲线的参数。通过改变笔画的数量来控制抽象程度。生成的草图展示了多个抽象层次，同时保持了所绘制主题的可识别性、底层结构和基本视觉组件。
我们的方法是基于优化的，因此不需要任何明确的草图数据集。我们使用剪辑图像编码器来指导将照片转换为抽象草图的过程。剪辑编码提供了对所描述概念的语义理解，而照片本身为具体主题提供了草图的几何基础。我们将草图定义为放置在白色背景上的一组N个黑色笔划。我们通过改变笔画的数量N来创建不同层次的抽象。
给定所需对象的目标图像I，我们的目标是合成相应的草图S，同时保持对象的语义和几何属性。我们首先提取输入图像的显著区域来定义笔划的初始位置。接下来，在优化的每一步中，我们将笔划参数提供给可微光栅化器，以生成光栅化草图。生成的草图以及原始图像随后被输入到剪辑中，以定义基于剪辑的感知损失。我们的方法成功的关键是使用预训练片段模型的中间层来约束输出草图的几何图形。如果没有这个术语，输出草图将与输入图像不相似。我们通过可微光栅化器反向传播损失，并更新笔划#39；在每一步直接控制点，直到损失函数收敛。学习的参数和损耗项以红色突出显示，而蓝色分量在整个优化过程中被冻结，实心箭头用于标记反向传播路径。
@misc{vinker2022clipasso，title={CLIPasso:语义感知对象素描}，author={Yael Vinker and Ehsan Pajouheshgar and Jessica Y.Bo and Roman Christian Bachmann and Amit Haim Bermano and Daniel Cohen Or and Amir Zamir and Ariel Shamir}，年份={2022}，eprint={2202.05822}，archivePrefix={arXiv}，primaryClass={cs.GR
基于Nerfies项目页面的网站源代码。如果你想重用他们的源代码，请适当地信任他们。