讲座时间:2024年10月16日11:00
讲座地点:工科楼B315
讲座对象:bwin必赢唯一官方网站师生
主讲人简介:
于漪,日本广岛大学先进理工科学研究科副教授,曾任日本国立信息学研究所助理教授,新加坡国立大学计算机学院高级研究员。主要从事多媒体内容理解与人工智能的跨学科研究,尤其是多模态表示学习,生成建模以及多模态信息融合在多媒体和音乐中的应用。曾担任2023年IEEE国际数据挖掘会议(ICDM)的教程联合主席,2022年ACM国际多媒体检索会议(ICMR)的博士生研讨会联合主席,2021年IEEE国际多媒体与博览会议(ICME)的特别会议联合主席,以及2020年IEEE多媒体大数据会议的技术程序联合主席,兼任《IEEE Transactions on Multimedia》副编辑。
讲座摘要:
音乐生成方法涵盖了统计模型、神经网络模型、预训练模型以及大型语言模型(LLMs)。多模态人工智能使我们能够探索歌词、旋律和舞蹈之间的潜在关系,从而丰富音乐生成的多样性和表现力。本报告将简要介绍多模态音乐生成的研究背景与挑战,并讨论多模态音乐内容生成任务及其重要性:在歌词条件下生成旋律、在旋律条件下生成歌词、在音乐条件下进行舞蹈风格迁移,以及在音乐和歌词条件下生成舞蹈。报告还将展示一些实验结果,说明在歌词提示、旋律片段或歌词与音乐组合的输入模态下,生成连贯且语义相关的音乐内容的有效性。通过结合人工智能技术,深入挖掘音乐、歌词和舞蹈的语义相关性,不仅增强了创作过程,还为音乐的艺术表达开辟了新的途径。