Science:500年前拉斐尔怎么作画 AI看一眼就知道(图)

AI的跨界，只有想不到，没有办不到。艺术学家们用深度学习模型分析拉斐尔的画作，不仅能分析出用了什么颜料、怎么画的，还能知道500年前拿着画笔的是不是拉斐尔本人。 DALL-E、MidJourney等工具的诞生，让我们看到了GenAI高超的「创作技能」。但如果反过来，让AI去分析艺术大师的画作，它们又会有怎样的表现？ 最近，Science Advances封面刊登了一篇来自意大利文化遗产科学研究所的论文。他们将两幅著名的拉斐尔画作进行了MA-XRF扫描，并使用深度学习模型进行分析。 结果发现，AI不仅处理速度快，给出的结果也相当准确，还能为我们提供全新的见解和视角。 给油画做CT，让AI看片子


论文地址：https://www.science.org/doi/10.1126/sciadv.adp6234 过去十年中，利用成像技术对绘画进行非侵入性研究方面取得了飞快的进展。 艺术学家们不再只凭借自己的肉眼或实验对画作进行分析，而是采用类似于MA-XRF（宏观X射线荧光）的技术，进行颜料识别、颜料分解、虚拟修复等应用。 然而，无论进行哪种用途，每次成像都会产生大量数据集，并且分析数据也需要特定的专业知识。因此，为了高效地利用这些复杂数据，计算机辅助的程序分析和计算方法也随之发展。 比如，MA-XRF扫描绘画表面后可以得到含大量数据的XRF光谱。扫描区域通常包含上百万个像素，这就意味着输出是三维立方体形式的数百万个XRF光谱。 在这个过程中，研究人员们发现，人工智能大有用武之地，而且不仅仅止于数据的处理分析，还可以找出人类学者和经典分析方法容易忽视的新见解。 而这篇论文所使用的模型正是基于CNN架构，同时借鉴了XRF分析中常用的标准反卷积（deconvolution）方法，以MA-XRF光谱作为输入，预测画面上的元素分布，以及每种元素的绝对计数，就能够对所用颜料进行分析。 训练数据集既包括实际MA-XRF扫描得到的数据，也使用了合成数据进行训练，共包含50万个蒙特卡罗模拟生成的光谱。 MC模拟进行光谱合成的过程如图1A所示，图1B则描述了所用深度神经网络的总体架构，可以分为卷积块和稠密块两部分。 原有的CNN假定图像各部分具有平移不变性，但显然MA-XRF光谱不是如此，每种元素所在的位置就代表了能量大小，这是用于预测的关键信息。 为了移除原有CNN中的平移不变性，训练卷积块时会先保持密集块参数固定，卷积块训练完成后才会启用。


图1 方法示意图（A）MC模拟中使用的图像模型示意图，生成用于训练网络的合成XRF光谱（B)神经网络的示意图，分为两部分：卷积块和密集块 为了进行试点实验，研究人员对两幅拉斐尔的画作进行了扫描，分别是《God the Father》（ 圣父上帝）和《Virgin Mary》（圣母玛利亚）。 1500年，「文艺复兴三杰」之一的拉斐尔为教堂创作了一幅宏伟的祭坛画，但目前仅存有四幅残片，这两幅就是其中之二，现藏于意大利那不勒斯的卡波迪蒙特博物馆。


左下：《圣母玛利亚》右：《圣父上帝》 对《圣母玛利亚》的人物面部分析如图3所示。从元素分布图像中可以推断出，打底层和高光中使用铅白（PB-L），人物肤色和明暗对比中使用了朱红色（Hg-L）。 窗帘上的绿色是铜绿（Cu-K），而且人物的蓝色斗篷上也存在铜元素，表明使用的颜料矿石是蓝铜矿，并与天青石、铅白进行了混合，这一点可以从钾和铅的分布图推断出来。


图3 从B至F依次是PB-L、Hg-L、Au-L、Cu-K、Fe-K等元素的映射图，左侧显示模型预测结果，右侧显示参考结果 除了推断颜料成分，这项技术还能帮我们分析拉斐尔的绘画技巧，帮我们看到这位大师在面部造型中采取了怎样的微妙技法。 和上图一样，依旧有大量的铅白色打底，使用土黄色的赭石（含大量铁）赋予面部的三维度和阴影，眼周的红朱砂（汞）和铜基颜料共同打造出了一种微妙的肤色。


图4 D为从元素分布图合成的RGB图像，其余依次为扫描区域原图以及PB-L、Hg-L、Pb-M、S-K等元素的分布图 图5B则能让我们更精细地看到拉斐尔如何用铅勾勒出建筑的细节，此外，铁元素和锌元素含量的显著线性关系（图5E）则能告诉我们，他使用的赭石中包含大量锌元素。


图5 画中建筑细节的高分辨率MA-XRF元素分布图 从图3-5的元素分布图，以及图7的量化结果中可以看出，模型的预测结果与参考值匹配程度很高，元素净计数也遵循相同的分布。 此外，经过艺术学家的判断，神经网络推断出的颜料调色板符合15世纪画家的实践方法，并与其他方法所调查出的拉斐尔早期作品调色板相匹配。


图7 元素分布图对比 这些发现代表了人工智能集成的关键进步，AI可以帮助更准确、更高效地分析XRF光谱，从而进一步促进艺术领域各个学科的专家之间的合作。 这项方法的成功建立在两个关键支柱之上。首先，我们已知的关于X射线如何与物质相互作用，包括能量色散探测器的光谱响应；其次，先进的模拟软件能够生成与XRF仪器所获得的非常相似的合成光谱。 AI+画作，发展「计算机辅助鉴赏」 事实上，Science刊登的这篇研究并不是艺术学家们首次和AI进行跨界合作。 去年11月，《福布斯》杂志就报道过一位英国学者的研究，而且同样是针对拉斐尔的画作。


他们使用深度学习算法分析了这幅《Madonna of the Rose》（玫瑰圣母），发现其中男性人物的脸（Joseph）并不是拉斐尔本人绘制的。 更加巧合的是，这个结果与艺术学家们长期以来的怀疑不谋而合。 长期以来，学者们就推测这幅画有拉斐尔以外的其他人参与，并且还注意到，Joseph面部的构图和描绘水平比不上画面中的其他人物。


《玫瑰圣母》 研究人员仅用了49幅经过认证的拉斐尔画作，就训练出了一个深度学习系统，通过笔触、调色板和阴影等4000多个视觉特征识别艺术家的作品，准确率高达98%。 论文作者Hassan Ugail表示，相比任何人在不借助任何工具的情况下进行分类或鉴别，AI的准确率要好得多。


算法分析了拉斐尔画作的各个部分，以确认哪些由艺术家本人绘制 然而，论文合著者、斯坦福大学的David G. Strok提醒我们，目前仅靠计算机结果扔不足以完成大多数艺术史领域的任务。 如果与传统的鉴赏方法和艺术史研究相结合，计算机工具与AI技术将大有可为。一个正确的算法、一个经过恰当训练的AI模型，将节省宝贵的时间和资源，帮助我们更好地发掘艺术宝库。