一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

2018-11-21 19:41:13 来源:网络整理 作者:管理员

原标题:一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

作者:Reiichiro Nakano

编辑:肖琴

【新智元导读】一位日本小哥用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo,只使用了一个单一的模型。demo效果相当不错,并且也开源了代码。

用一个模型就能实现所有类型的风格转换!一个名为Arbitrary Image Stylization in the Browser的项目最近火起来。

作者是日本小哥Reiichiro Nakano,他用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo。

不像以前的快速风格转换算法那样需要每种风格都有一个单独的网络,在这个demo中,所有风格图像只使用一个单一的模型。并且,你可以自由混合不同的风格。

使用也非常简单,你只需要选择一张内容图像(content image)和一张风格图像(style image),然后点击“Stylize”,静候片刻,一张风格化的图像就处理好了。

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

如图所示,我们在“内容图像”选择一张芝加哥城市风景图,“风格图像”选择一张港口的版画风格图像,风格化后得到一张版画风格的芝加哥风景图。

其中,内容图像和风格图像都可以自定义,也就是说,你可以上传任意图像。风格化的强度也可以调整。

作者还提供了混合两种风格的效果。

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

总结而言,这个风格网络被训练并用于为任意绘画风格生成一个100-D的风格向量(style vector)。然后,将该向量与内容图像一起馈送到一个的转换网络,进行实际的风格转换。

这个100D的向量基本上是一个“style”的潜在空间。我们可以利用这个“潜在空间”做一些有趣的事情。

我们可以通过对风格图像和内容图像的风格向量进行加权平均,来控制风格化的强度。作者发现,这对于风格特别鲜明的内容图像很有用。

我们还可以通过在它们的风格向量之间插值,来组合不同的风格,并让网络猜测这两幅图像之间的风格是什么样子的。

将模型移植到浏览器上的最大问题是模型大小。风格网络基于Inception-v3,它的权重> 97MB。作者使用distillation,能够用9.6MB的MobileNet-v2替换它,尺寸缩小了10倍。所以作者认为distillation这种技术被低估了,它可以为浏览器带来一些很酷的ML功能,因为很多模型由于太大而无法在资源有限的环境中进行部署。

这个demo建立在谷歌大脑和蒙特利尔大学合作的论文Exploring the structure of a real-time, arbitrary neural artistic stylization network之上,这是图像风格化的经典论文之一。作者开源了代码。

下面我们简要介绍一下论文的主要思想。

模型和方法

这篇论文的核心是通过构建一个风格学习网络来实现快速的风格迁移。

论文提出了一种将艺术风格神经算法的灵活性和快速风格迁移网络的速度相结合的方法,允许使用任何内容/风格图像进行实时的风格化。

这个模型成功地用大约80000幅画作的数据库进行了训练,并能够推广到以前未见过的画作。

论文的主要贡献包括:

1、介绍了一种新的算法,用于快速、任意的艺术风格迁移;在80000幅画作上训练,并能对未观察过的画作实时运行。

2、在紧凑的嵌入空间中呈现左右绘画风格,捕捉绘画的语义特征。

3、证明用大量画作进行训练之后,模型能够预测以前从未观察过的风格。

4、嵌入空间允许对艺术家的艺术范围进行新的探索。

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

图1:网络在大量的绘画和纹理上训练生成的造型

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

图2:模型架构图示

如图2所示,整个网络架构由风格学习网络P和风格转换网络T组成,学习的目的是style loss和content loss。风格学习网络P预测来自输入风格图像的嵌入向量S,为风格转换网络提供一组归一化常数。风格转换网络将照片转换为风格化的表示。Content loss和style loss来源于VGG图像分类网络的表征空间距离。风格学习网络主要遵循Inception-v3架构。

Demo 链接:

https://reiinakano.github.io/arbitrary-image-stylization-tfjs/

源代码:

https://github.com/reiinakano/arbitrary-image-stylization-tfjs

论文:

https://arxiv.org/pdf/1705.06830.pdf

显示全文
为您推荐
三星堆的文字是彝族的文字吗:三星堆和彝族无关(不是)
三星堆的文字是彝族的文字吗:三星堆和彝族无关(不是)

【导读】 三星堆的文字是彝族的文字吗:三星堆和彝族无关(不是),下面是小编为你收集整理的,希望对你有帮助!我们都知道,关于三星堆文明在中原典籍的记载当中并没有太多的记录。反而是在彝族的历史文献当中找到了许多关于三星堆文明的记载。因此有人猜想三星堆的文字使用的是彝族的文字。那么三星堆的文字真的是彝族的文字吗......

发布时间:2023-07-03 07:01:12

馒头蒸多久可以出锅
馒头蒸多久可以出锅

【导读】 馒头蒸多久可以出锅,下面是小编为你收集整理的,希望对你有帮助!10-20分钟不等。馒头是一种非常受欢迎的面食,蒸馒头的时间与馒头的大小有一定的关系,如果馒头的个头比较大的话,受热比较慢,所需的时间也会长一些,一般用蒸锅蒸的话,需要20分钟左右才能蒸熟;而若是馒头......

发布时间:2023-07-03 06:01:17

联通机顶盒维护密码是什么
联通机顶盒维护密码是什么

【导读】 联通机顶盒维护密码是什么,下面是小编为你收集整理的,希望对你有帮助!联通机顶盒维护密码是什么联通网络机顶盒维护密码是用来修改节目锁是否启用,用于恢复出厂设置时使用,一般为4个0或4个9。密码的使用:1、输入密码解锁,密码可以查看说明书的初始密码;2、按机顶盒的遥控器上......

发布时间:2023-07-03 05:01:38

五岳的各个主要特点是什么
五岳的各个主要特点是什么

【导读】 五岳的各个主要特点是什么,下面是小编为你收集整理的,希望对你有帮助!五岳的各个主要特点是什么五岳泰山之雄、华山之险、衡山之秀、恒山之奇、嵩山之绝引人入胜。各山主要特点:五岳之泰山:雄踞辽阔坦荡的黄淮海平原上,拔地而起,昂首云天,有“登泰山而渺天下”之势;五岳之华山:向......

发布时间:2023-07-03 04:01:14

通臂猿猴为什么这么厉害 通臂猿猴为什么如此憎恨孙悟空
通臂猿猴为什么这么厉害 通臂猿猴为什么如此憎恨孙悟空

【导读】 通臂猿猴为什么这么厉害 通臂猿猴为什么如此憎恨孙悟空,下面是小编为你收集整理的,希望对你有帮助!通臂猿猴是四大神猴之一,通臂猿猴之所以这么厉害,是因为通臂猿猴有着过人的天资,并且从小拜西天弥勒佛为师,跟着弥勒佛后面学了无数的本领。通臂猿猴的领悟力很强,几乎吸收弥勒佛的全部法术,并且将所学的知识用......

发布时间:2023-07-03 03:01:23

雾是怎么形成的:水蒸气遇冷就会液化(形成液化现象)
雾是怎么形成的:水蒸气遇冷就会液化(形成液化现象)

【导读】 雾是怎么形成的:水蒸气遇冷就会液化(形成液化现象),下面是小编为你收集整理的,希望对你有帮助!到了秋季时,我们早上起来都会看到大雾弥漫在天地间,就算没有起雾,花花草草上也会结了许多的露珠。那么,起雾到底是因为什么呢?秋季早上起来一般都会有雾,这又是为什么呢?雾是怎么形成的一般情况下起雾是因为空......

发布时间:2023-07-03 02:01:12

鲤鱼怪最后被谁收服了?观音菩萨(被观音用鱼篮收走)
鲤鱼怪最后被谁收服了?观音菩萨(被观音用鱼篮收走)

【导读】 鲤鱼怪最后被谁收服了?观音菩萨(被观音用鱼篮收走),下面是小编为你收集整理的,希望对你有帮助!《西游记》中的灵感大王不知道大家有没有印象,他叫灵感大王,但是一个你遇怪,而且专吃童男童女,那么鲤鱼怪有没有背景呢?最后又被谁收服了呢?今天跟着小编一起看看吧。鲤鱼怪最后被谁收服了有背景的妖怪最后都被......

发布时间:2023-07-03 01:01:19

虾饺子馅配什么蔬菜
虾饺子馅配什么蔬菜

【导读】 虾饺子馅配什么蔬菜,下面是小编为你收集整理的,希望对你有帮助!虾饺子馅配韭菜。韭菜鸡蛋虾仁饺子馅用料:韭菜半斤、虾仁1斤、鸡蛋5个、盐适量、香油适量。做法步骤:1、韭菜洗净,虾去壳洗净。2、先锅里倒油加热。3、把蛋液倒入锅中。4、鸡蛋炒好弄散,放置凉透。5、韭菜......

发布时间:2023-07-03 00:01:23

神鹰盗龙图片(长5米/距今1.62亿年前)
神鹰盗龙图片(长5米/距今1.62亿年前)

【导读】 神鹰盗龙图片(长5米/距今1.62亿年前),下面是小编为你收集整理的,希望对你有帮助!神鹰盗龙:阿根廷大型食肉恐龙(长5米/距今1.62亿年前)对于恐龙,相信大家都有所了解,但知道的肯定不多,最多知道世界十大恐龙之最中的恐龙。为了丰富大家的恐龙知识,今天小编为大家介绍一下神鹰盗龙,它体......

发布时间:2023-07-02 23:01:35

母亲节送什么礼物给丈母娘
母亲节送什么礼物给丈母娘

【导读】 母亲节送什么礼物给丈母娘,下面是小编为你收集整理的,希望对你有帮助!1、按摩椅:去见丈母娘的时候,送上按摩椅是个不错的选择,可以在店里面看好货,然后直接送到家。父母们年纪都大了,经常会个腰酸背痛,孩子又不在身边。有了按摩椅,对父母的身体还是很有好处的,平时坐上去按一按......

发布时间:2023-07-02 22:01:32

天池龙:新疆小型食草恐龙(长3米/距今1.64亿年前)
天池龙:新疆小型食草恐龙(长3米/距今1.64亿年前)

【导读】 天池龙:新疆小型食草恐龙(长3米/距今1.64亿年前),下面是小编为你收集整理的,希望对你有帮助!在中国,目前发现了174种恐龙,其中有很多都是以发现地直接命名的,比如天池龙,它就在天山天池附近出土,接下来就随小编一起去了解看看。天池龙基本资料体型:天池龙是一种中国的小型食草恐龙,它体长3米,与德......

发布时间:2023-07-02 21:01:21

创维网络机顶盒怎么连wifi
创维网络机顶盒怎么连wifi

【导读】 创维网络机顶盒怎么连wifi,下面是小编为你收集整理的,希望对你有帮助!1、开启创维盒子,进入设置”界面,选择网络”选项。2、进入网络设置”界面,可以看到所有无线网用户名,选择自己的无线网络,点击开启设置流程。3、将密码输入密码”选项中,点击连接”就开启自动连网操作。4、......

发布时间:2023-07-02 20:01:16