博文

专题好文 | 创新视听内容的联合创作: 计算机艺术面临的新挑战

已有 166 次阅读 2024-3-26 09:19 |个人分类:好文推荐|系统分类:论文交流

近年来，人工智能生成内容(AIGC)与艺术作品主要特征的交叉研究不断深入，计算机艺术由此迅速发展。视听内容生成逐渐应用于各种实践任务，包括视频或游戏配乐、协助艺术家创作、艺术教育等方面，可见其应用前景之广。本文从利用人工智能(AI)技术进行视觉艺术生成和听觉艺术生成的视角，介绍了视听内容生成方面的创新成果。文章概述了图像和音乐数据集的发展趋势，视觉和听觉内容建模以及相关的自动生成系统。对生成样本的主客观评价在衡量算法性能方面至关重要。本文提供了从图像到音乐的多模态任务中视听内容的联合创作机制，并展示了特定程式化数据集的构建。且视听通感生成领域仍存在许多新的机遇和挑战，文章亦对此进行了全面讨论。相关成果发表于《机器智能研究(英文)》2024年第一期AI for Art专题中。

题目.png

图片来自Springer

全文下载：

Cogeneration of Innovative Audio-visual Content: A New Challenge for Computing Art

Mengting Liu, Ying Zhou, Yuwei Wu, Feng Gao

https://link.springer.com/article/10.1007/s11633-023-1453-5

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1453-5

全文导读

1936年，瓦尔特·本雅明在《机械复制时代的艺术作品》中提出了“光晕”和“真实性”的概念，以描述由艺术家创作而非机械复制品创作的原作品的价值。本雅明想要捍卫艺术作品的人工性并支持传统美术。米切尔在其2005年的作品《图片想要什么？图像的生活与爱》中也关注了在”生控复制”时代艺术作品的价值。他专门提到了第一只克隆羊多莉，并将其视为一种活体图像。米切尔是艺术与人文科学领域最具代表性和影响力的理论家之一。他提出了一系列概念来解释生控复制艺术品的价值。然而，生物都是碳基的，该领域的艺术家难免受制于生物技术的发展，因此其艺术创作有时无法得到释放反而会受到压抑。一些生物学家与艺术家之间的合作也令人失望，他们似乎想通过提高视觉文化的娱乐性来普及科学知识，而缺乏一种批判性思维。因此我们需要反思的是，艺术家该如何利用先进技术进行创作。

图1.png

图2.png

在元宇宙时代，人类面临着新的挑战。人类不仅能造出艺术品的机械复制品，生控复制品，还能造出人类自己的化身。本文提出了人工智能(AI)艺术的概念，总结了由人工智能技术产生的艺术品的主要特征，如扩展现实(XR，VR/AR/MR的组合)、网络物理系统(CPS)、云计算和区块链。AI技术人员与艺术家之间的合作比生物学家与艺术家之间的合作更为密切。人工智能技术让艺术家摆脱了繁重的工作，并让艺术家们充分发挥其艺术潜能。因此，AI就像是创作团队中的一位能力出色的伙伴，它总能及时领会艺术家的意图，开展繁重的工作，将艺术家天马行空的构思变为现实。

AI技术具有光明发展前景，在艺术设计、创作和展览中发挥着关键作用。人们容易将AI艺术的概念与计算机艺术相混淆。要注意，AI艺术比计算机艺术更为先进，并能够满足更多感官上的要求，包括视觉和听觉要求。AI艺术通常能呈现出一种人类五感的融合。艺术欣赏者可以同时感受到视觉、听觉和触觉。换句话说，人工智能技术为现代艺术展览提供了丰富的视听盛宴。

AI艺术的发展计划目前仍处于萌芽阶段。社会对AI技术的普适性存在一些担忧。有个人们耳熟能详的问题非常有趣：AI会梦见电子羊？1968年，菲利普·狄克在他的科幻小说《仿生人会梦见电子羊吗？》(《银翼杀手》和《银翼杀手2049》的灵感来源)中首次提出了这个问题。在历经关于AI伦理问题的大讨论后，该标题已经成为了代表AI可能取代人类之恐惧的核心问题。这种恐惧很快蔓延到人文学科。一些学者认为，人类应该对AI技术有所设限。然而，如果对AI技术有足够的了解，便会发现这种恐惧实在可笑。人们的这种恐惧不过是一种对未知的拒绝。顶尖的AI技术仍然需要达到人类的情感水平。发展和应用AI技术的迫切需要仍然十分强烈。

目前，AI技术在艺术领域被用于技术分类、风格迁移、交互设计、制造和文化产业等方面。AI艺术已经创造出AI生成的诗歌、VR绘画、数字媒体艺术、AI配音和智能家电。这些例子皆可作证AI艺术不容置疑的创造力。然而，一些艺术家对此颇有微词。1972年，德国艺术家约瑟夫·博伊斯在卡塞尔文献展上发表了演讲，提出了“人人都是艺术家”的观点。他的观点引起了不小的轰动。在那个时代，这只是一种想象。毕竟，并不是每个人都擅长艺术创作。但随着AI艺术的发展，这一说法似乎正在变成现实。AI无所不能，可以让任何人成为艺术家。但值得注意的是，AI的创造能力并非无穷无尽。是具有艺术创造才华的人类发明了AI。因此，AI艺术的发展与艺术家的培养并不矛盾，相反，AI艺术的传播使艺术家能够专注于他们最擅长的领域。如此一来，AI艺术的发展和传统艺术的创新便可实现双赢。

为此，本文聚焦于研究AI生成的视频与音频。视听能力通常被视为一种人类的综合感知能力。视听技术的结合极大地提高了电影、短视频和游戏等行业的创作效率。对AI视觉和听觉技术的总结以及现有成果的展示有助于从业者们前瞻艺术产业的未来发展趋势。

作者.png

全文下载：

Cogeneration of Innovative Audio-visual Content: A New Challenge for Computing Art

Mengting Liu, Ying Zhou, Yuwei Wu, Feng Gao

https://link.springer.com/article/10.1007/s11633-023-1453-5

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1453-5

BibTex:

@Article {MIR-2022-12-376,

author={ Mengting Liu, Ying Zhou, Yuwei Wu, Feng Gao },

journal={Machine Intelligence Research},

title={Cogeneration of Innovative Audio-visual Content: A New Challenge for Computing Art},

year={2024},

volume={21},

issue={1},

pages={4-28},

doi={10.1007/s11633-023-1453-5}}

纸刊免费寄送

Machine Intelligence Research

MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接填写收件地址，编辑部将尽快为您免费寄送纸版全文！

说明：如遇特殊原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737

收件信息登记：

https://www.wjx.cn‍/vm/eIyIAAI.aspx#

关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。

往期目录

2024年第1期 | 特约专题: AI for Art

2023年第6期 | 影像组学、机器学习、图像盲去噪、深度估计...

2023年第5期 | 生成式人工智能系统、智能网联汽车、毫秒级人脸检测器、个性化联邦学习框架... (机器智能研究MIR)

2023年第4期 | 大规模多模态预训练模型、机器翻译、联邦学习......

2023年第3期 | 人机对抗智能、边缘智能、掩码图像重建、强化学习...

2023年第2期 · 特约专题 | 大规模预训练: 数据、模型和微调

2023年第1期 | 类脑智能机器人、联邦学习、视觉-语言预训练、伪装目标检测...

2022年第6期 | 因果推理、视觉表征学习、视频息肉分割...

2022年第5期 | 重磅专题：类脑机器学习

2022年第4期 | 来自苏黎世联邦理工学院Luc Van Gool教授团队、清华大学戴琼海院士团队等

2022年第3期 | 聚焦自然语言处理、机器学习等领域；来自复旦大学、中国科学院自动化所等团队