StableDiffusion嵌入现实世界，能在墙上直接长出小猫咪，手机

你看，你面前有一面平平无奇的墙。

现在，你可以根据自己的意愿，让它凭空长出东西来。

喜欢...一只小猫？

没错，稳定扩散又能开新花！

这一次，重点是稳定扩散的触角伸向了现实世界——结合WebAR。

作者是Stijn Spanhove，软件工程师的弟弟，经常在Twitter主页上发布关于WebAR或XR的视频。

目前这个凭空长出一只猫的视频还是挺火的。

随着新世界的开启，部分网友对AR+SD更感兴趣:

还有人说:

这简直就是很酷的新版《反恐精英》！

来看看这个很酷的新东西吧~

玩SD AR

首先拿起手机，然后随机选择一面墙，通过屏幕界面锁定:

选择一个喜欢的区域，圈出并全部涂黑。

输入提示词:

可爱的小猫，涂鸦风格，数字艺术。

然后点击输入框底部的扩散按钮，快进到见证奇迹的时刻。

此时，无论从哪个角度看，墙上都有一张妙娜丽莎微笑着看着你的照片。

这个视频是我小哥哥第一个用无尽火低门槛的稳定扩散，结合WebAR做出来的实验产品。

他在评论区和围观者讨论具体的工作流程。

第一步是定格，用它作为生成图像的表面纹理，让它有一个世界定位和设备跟踪摄像头。

第二步，向服务器发送API请求，并附上冻结帧和稳定扩散。

在整个工作中，将稳定扩散嵌入到现实世界是由AR完成的。

对于绘制纹理，哥哥用的是Raycast。

整个过程简洁利落，引发了网友的新思考。

目前有很多有趣的NPU硬件，手机共享内存超过12GB。

在这个前提下，如果Stable Diffusion和AR可以一起玩这个作业，并在本地运行，它可以在类似的请求时间内完成整个512x512图像生成，并在更快的AI上运行升级，这将是非常有趣的。

小哥自己也说了，这份工作只是第一次尝试，一切都只是稳定扩散和AR结合的开始。

但大部分网友认为这已经是很有趣的工作了，甚至想在上面“涂鸦”几个小时。

AIGC打破了次生壁

稳定扩散之风吹向现实世界，绝不是哥哥一个人的想法。

具体操作过程基本在原有基础上加持了AR。

就在前几天，另一个小哥用稳定扩散做了一个视频透视光学透视眼镜。

具体来说就是小哥哥做了一个扩散稳定的虚拟AR眼镜，然后通过手机屏幕上的眼镜镜片实现AR效果。

生成的虚拟AR眼睛不仅有力量提示，还能展现出westworld、丛林、外星人等多种画面风格。

此外，还有人结合Meta旗下的AR创作工具Spark AR，利用稳定扩散来假装自己拿着一个小方块牌。

你知道，上面有动画的那种。

为了达到逼真的效果，作者还在卡片表面叠加了一层反光层，使卡片看起来像玻璃。

但是这种稳定扩散产生的图像并不是实时生成的，而是提前录制的，因为目前的Spark AR版本还不支持AI和ML。

“非常好，通过稳定的扩散，AI和AR又一次紧密相连。”

反正稳定扩散这么火，不仅仅是因为效果惊人，还因为它触及到文本生成图像以外的领域时非常厉害~

参考链接:

免责声明：该文章系本站转载，旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议，仅供读者参考。