我的学习笔记

土猛的员外

使用GFPGAN将Midjourney生成的人脸精细化

原文:Taking generated Midjourney (MJ) images to the next level

作者:Lars Nielsen

关于本文

本文将简要介绍使用midjourney生成更逼真的合成人脸的操作流程。

糟糕的面部重建

任何使用Midjourney创建涉及人脸图像的人都非常清楚,当涉及到人脸时,使用Midjourney生成的图像效果很差。

例如-下面的图片是使用Midjourney应用程序(升级版)生成的,几乎每个逼真的人脸图像最终都会变形。

text-to-image generation using midjourney #midjourney

由midjourney生成的图像:不良面部构造示例(1)

Restoring face images for text-to-image generation using midjourney

由midjourney生成的图像:不良面部构造示例 (2)

一条面部修复流水线

为了减少面部重建的畸变并使其更有用,这里提供一个快速的图像生成流水线供您尝试 —

text-to-image generation pipeline using midjourney and GFPGAN

使用GFPGAN进行人脸修复的图像生成流程

步骤1:提供一个图片链接作为您的图像prompt,在您的文本prompt中。通过此处的链接学习如何进行高级文本提示生成。(Midjourney写作提示的高级指南)

步骤2:使用关键词和属性进行细化。

步骤3:将经过细化处理后的图像输入GFPGAN。

步骤4:您可以将这个新恢复的图像反馈到图像提示中,或在GFPGAN中继续几次迭代。

.. 注意:这可能需要从面部重建软件(GFPGAN)进行几次迭代,因此最好为此创建一个小型Python脚本。

GANS

GANs(生成对抗网络)是一种神经网络,通过迭代尝试多轮比上一次更好的输出来从随机噪声中生成图像(物体、人脸和几乎任何东西)。经过几次迭代后,它们会生成合成图像,这些图像与最初在训练集中存在的真实图像几乎相似。

很遗憾,我们不会详细介绍GAN的工作原理。)你可以在这本精彩的书中学习GAN(《GANs in Action: Deep learning with Generative Adversarial Networks》——Jakub Langr和Vladimir Bok著)。

GFPGAN(生成式面部先验GAN)

GFPGAN是一种专门用于恢复人脸的GAN实现。正如他们网站上所提到的,他们

它是开源的,可以在这里获取。 (https://github.com/TencentARC/GFPGAN )

但是对于那些没有支持GPU的机器或不太懂技术(万一你遇到了一些需要修复错误的麻烦),这里有GFPGAN在Hugging Face Spaces上的实现。链接在这里 - https://huggingface.co/spaces/akhaliq/GFPGAN

回到midjourney

这里是我们从midjourney恢复的一些真实输出样本。

Image generated by text prompt through midjourney , facial restoration by GFPGAN

通过midjourney文本提示生成的图像,使用GFPGAN进行面部修复

Image generated by text prompt through midjourney , facial restoration by GFPGAN

通过midjourney文本提示生成的图像,使用GFPGAN进行面部修复

Image generated by text prompt through midjourney , facial restoration by GFPGAN

通过midjourney文本提示生成的图像,使用GFPGAN进行面部修复

有潜力创造出惊人的面部图像

以下是通过midjourney生成的一些人脸图像 - 经过几次迭代。

Sample faces generated and iterated through midjourney + GFPGAN face restoration


关于Midjourney的其他文章:






关注我的微信公众号,可收到实时更新通知

公众号:土猛的员外


TorchV AI支持试用!

如您有大模型应用方面的企业需求,欢迎咨询!