谷歌艺术与文化应用程序于2016年推出。用户可以拍摄或从相册上传宠物的照片，而得到与之相匹配的艺术作品，谷歌称之为“艺术化身”。宠物肖像与艺术化身的匹配度就像过山车，忽高忽低，但究其原因不知道是受宠物形象、位置的影响还是AI算法的识别问题。该研究小组的论文表示，卷积神经网络中的内容和风格表示是可分离的。为了证明这一发现，研究人员从两个不同的源图像生成混合内容和样式表示的图像。
智东西（公众号：zhidxcom）
编译 | 程茜
编辑 | 李水青
智东西11月10日消息，本周二，谷歌为其艺术与文化（Arts and Culture）应用程序推出了“宠物肖像（Pet Portraits）”的AI新功能：用户拍摄的宠物照片可以匹配艺术作品，例如古埃及雕像、墨西哥街头艺术、中国水彩画等。
谷歌艺术与文化应用程序于2016年推出。它最初提供了大量的艺术作品，用户可以在上面浏览艺术家和艺术史的信息。此前，谷歌就已经推出用于人脸匹配艺术作品的Art Transfer和Art Selfie功能。
你的宠物像哪个艺术作品的形象呢？谷歌艺术与文化应用程序的新功能将告诉你答案。
一、为爱宠匹配到名画，主人惊了
在体验“肖像功能”时，用户可以为自己的宠物拍照，无论是狗、猫或马、鸟等动物，都可以在数万件艺术作品中找出与照片相匹配的艺术作品。
用户可以拍摄或从相册上传宠物的照片，而得到与之相匹配的艺术作品，谷歌称之为“艺术化身”。“艺术化身”的艺术成分占多少呢？谷歌说了不算，还要看用户的体验。
谷歌官网展示了好多动物的案例，看下面这只小猫，虽然表情、颜色都十分相像，但总觉得哪里不对，明显左边更可爱一点。
终于有一只小猫、小狗以外的动物了，连脸上白色的部分都一模一样。
新动物又来了！这只可爱的玄凤鹦鹉的腮红去哪里了？怪不得匹配度只有76%。
看到下面这张图片，主人只能惊呼：“这是哪位？”
一张照片也可以匹配多张艺术作品，我也感受了一下，上传图片之后，得到了三个可爱的艺术化身，看起来相似度还挺高。
但The Verge上展示的案例，就让主人喜忧参半了。下面这只小狗的花色、表情都近乎完美匹配，连眼白都“模仿”地恰如其分！
但还是有一些被吐槽的地方，看这只小猫，它匹配到的艺术化身，表情相似但花色完全不同，令人好奇这89%的相似度是怎么来的。
下面这只花色完全一致的小猫，虽然高达90%的匹配度，但这惊恐的表情是怎么回事？
宠物肖像与艺术化身的匹配度就像过山车，忽高忽低，但究其原因不知道是受宠物形象、位置的影响还是AI算法的识别问题。
二、AI锁定宠物，比对数万件艺术品
谷歌最新推出的“宠物肖像”功能，依靠算法识别照片，并对照片内容作出分析，从其数据库中寻找相似的艺术作品。
当用户使用“宠物肖像”功能为自己的宠物拍照时，该应用程序会用计算机视觉算法识别宠物所在的位置，裁剪图像并将它们放在相应的位置，使得宠物的正面形象位于照片中央。
照片内容的位置调整完成后，机器学习算法会将宠物的照片与数万件艺术作品进行匹配，以找到看起来最相似的艺术品。
最后，用户可以将宠物的照片和艺术作品分享为单个静止图像，或选择多张图像生成GIF进行发布。
此外，“宠物肖像”功能还会提供每件艺术品背后的故事以及艺术家的信息，供用户阅读。
三、从人“画”到宠物，背后AI技术起底
谷歌艺术与文化应用程序早期的自拍匹配功能Art Transfer可让用户将自己的脸与著名艺术作品进行比较。
该功能中包含的艺术作品是基于英国国家美术馆、日本MOA艺术博物馆和其他文化机构的艺术作品，包括文森特·梵高、弗里达·卡罗、爱德华·蒙克和列奥纳多·达芬奇等艺术家的作品。
2018年1月，谷歌的艺术与文化应用程序推出了人像自拍匹配艺术作品的功能Art Selfie，进入这一功能上传照片后，用户就可以看到匹配后的艺术作品以及系统估计每个匹配项和用户脸部的视觉相似度的百分比。
相比于宠物照片，人脸照片相似度就很高了，看起来也十分舒服。但为何下面这位匹配度只有53%，不知道是不是因为找不到戴眼镜的艺术化身。
但下面这个，为什么把微笑的小姐姐变成如此严肃的表情？
Art Transfer功能的实现是基于麻省理工学院沃森人工智能实验室的研究人员构建的小部件，让用户可以对他们的照片应用进行相似度艺术转换。
该研究小组的论文表示，卷积神经网络中的内容和风格表示是可分离的。也就是说，我们可以独立地操纵它们，以产生新的、具有感知意义的图像。为了证明这一发现，研究人员从两个不同的源图像生成混合内容和样式表示的图像。
研究小组匹配艺术作品和照片的过程（图片来源为研究小组论文）
通过找到同时匹配照片内容表示和相应艺术作品风格表示的图像来合成图像。虽然保留了原始照片的整体布局，但构成全部风景的颜色和局部结构由艺术品提供。实际上是以艺术品的风格渲染照片，使得合成图像的外观类似于艺术品，但它显示的内容与照片相同。
谷歌艺术与文化应用程序最初的功能只是展示艺术作品的信息，直到其匹配艺术作品的功能上线，其iOS和Android上下载次数迅速增长。
结语：趣用AI，让艺术与普通人产生交集
谷歌艺术与文化应用程序最初的功能只是展示艺术作品的信息，后来陆续上线人脸和宠物照片匹配艺术化身的功能，冲淡了艺术的乏味，为你的照片添加了一层逼真的艺术滤镜。
从人脸识别到宠物肖像识别，谷歌利用AI技术将照片和艺术作品联系到一起，但用户的使用体验却参差不齐，有十分逼真的艺术化身，也有让主人忍不住翻白眼的匹配对象，为了留住用户，谷歌的AI算法可能要更加“精准定位”了。
来源：The Verge、Google、康奈尔大学官网
