动手画个二次元老婆，上科大团队这个APP火出圈，网友我学废了

　　机器之心报道
　　编辑：蛋酱、小舟
　　AI虽然能帮你完成大多数工作，但作画也是需要一定技巧的。或者说它可以让你的所有想法暴露在光天化日之下。
　　想给自己画个二次元老婆，但发现自己是个手残，怎么办？
　　问题不大，这里有个神器，你只需要涂抹出轮廓，剩下的交给AI：
　　二次元老婆生成器的名字叫做WAND，现在已经在苹果应用商店上线了，目前提供iPhone和iPad两类设备的限时免费下载，登上了AppStore图形与设计榜下载量Top1。
　　WAND刚发布就火出了圈，在社交网络上看，很多人已经率先试用了，作品是这样的：
　　画出了各种漂亮的小姐姐：
　　嗯，三次元也可以的，还可以这样操作：
　　虽然但是，一部分手残党的失败案例，也会让自己SAN值狂掉：
　　编辑部实测
　　基于不试试怎么知道的想法，编辑部也下载了一个WAND，并翻出了手机相册里珍藏多年的二次元老婆照片。
　　WAND提供的功能很丰富，你可以直接上传一张二次元头像，然后生成其他风格版本的老婆。这里我们上传的是无人不爱的辉夜大小姐：
　　可见AI还贴心地帮你解决了发际线的问题。
　　还可以在画板上对人像进行调整，改造一番。此处手残党要高度警惕，不要搞出一些惊悚创作，破坏老婆的形象。
　　如果是线稿，导入后也会自动上色，切换风格还能得到多个版本：
　　即使你对现在的二次元老婆们都不满意（过分），也可以从零开始，亲手捏一个出来，只不过，二次元老婆的上限将完全取决于你的艺术造诣。
　　多少憨憨心碎于此：
　　而且，这个App还埋了一个功能：真人模式。一旦选择Realistic，再来张自拍，你或许会陷入深深的思（jue）考（xing）之中
　　最终，用户们悟到了这个App的真谛：
　　其实，使用的时候也有一些小技巧。比如作者表示，在上传照片时，尽量只让人脸在整个框内，识别和生成的效果会更好。
　　吸收各方反馈，WAND后续可以做一些改进：
　　还有很多人问，Android版什么时候有呀？
　　机器之心帮忙向开发团队询问了一下，作者表示：已经新建文件夹了。相信用不了太久，Android用户就可以在自己的手机上亲手画二次元老婆了，同时老公版的WAND也正在制作中。
　　据了解，WAND背后的开发团队影眸科技孵化于上海科技大学，团队聚焦于前沿人工智能、计算机视觉技术在影视制作、大众娱乐市场的推广应用，近期也有相关研究入选ICCV2021等顶会。
　　SofGAN
　　看完了APP效果，我们来看下背后的技术。据项目介绍，该软件基于上海科技大学ACMTransactionsonGraphics2021的一篇研究论文实现。
　　论文地址：https：arxiv。orgpdf2007。03780。pdf项目主页：https：apchenstu。github。iosofgan
　　尽管生成对抗网络（GAN）已被广泛用于人像图像生成，但在GAN学习的潜在空间中，不同的属性，如姿态、形状和纹理风格，通常是纠缠在一起的，这使得对特定属性的显式控制变得困难。为了解决这个问题，该研究提出了一个名为SofGAN的图像生成器，将人像的潜在空间解耦为两个子空间：几何空间和纹理空间。从两个子空间采样的潜在代码分别馈送到两个网络分支，一个生成具有规范姿态的人像的3D几何图形，另一个生成纹理。对齐的3D几何图形还带有语义部分分割，编码为语义占用字段（semanticoccupancyfield，SOF）。SOF能够在任意视图渲染一致的2D语义分割图，然后将其与生成的纹理图融合并使用语义instancewise（SIW）模块将其风格化为人像图像。该研究通过大量实验表明该系统可以生成具有独立可控几何和纹理属性的高质量人像图像。此外，该方法还可以很好地推广到各种应用中，例如外观一致的面部动画生成等。
　　在StyleGAN中，基于不同级别的输入潜在向量，图像的风格在每个卷积层上通过特征来控制。这种控制机制虽然有效，但并没有提供对单个属性的独立控制，很大程度上是由于各种属性的纠缠。为了解决这个问题，该研究将生成空间分解为两个子空间：几何空间和纹理空间，如下图3左所示。
　　该研究提出的生成pipeline概览。
　　几何空间中的每个样本都可以被解码为SOF网络的权重，该网络表征了带有伴随语义标签的3D连续占用字段（SOF）。在渲染阶段，给定任意查询视点，该方法将使用光线移动框架将SOF映射为2D分割图。SOF的使用确保了视图的一致性。接下来该研究遵循语义图像合成框架提出了一个基于语义的instancewise的生成模块，来生成逼真的图像。
　　几何建模
　　相比于先前已有的方法，该研究提出了一个更稳定的光线移动器，用于根据当前位置特征和光线方向预测步长，如下图4所示。
　　图5展示了一个SOF样例，其中包含针对体（volume）内每个点的预测语义标签（只显示最高概率的标签）。
　　图5：SOF是一个3维的体，每个空间点都有一个class语义概率。
　　纹理合成
　　该研究使用SIW卷积层将基于区域的特征图放大为高分辨率图像，如下图6所示。
　　图6：该研究的SIW生成模块。
　　更多技术细节详见论文原文。