京东云语音语义领域8篇论文被国际顶会发表(3)
论文标题:Incremental Learning for End-to-End Automatic Speech Recognition
论文链接: 2021
Motivation: 语音识别增量学习旨在保留模型原有识别能力的同时,提高其在新场景下的语音识别能力,具有广泛的应用价值。然而,在模型原始训练数据因隐私、存储等问题而不再可用的情况下,语音识别模型在增量学习过程中往往面临“灾难性遗忘”。
Solution: 本论文提出了一种新的基于模型可解释性的知识蒸馏方法,并将其与基于模型输出响应的知识蒸馏方法相结合,以使得在仅采用新场景数据进行语音识别增量学习的过程中,保留原模型的输出结果和得到该输出结果的“原因”,从而有效抑制模型对原有知识的遗忘。
Experimental Result:在开源数据集和实际应用场景数据集上的增量学习实验结果表明,在抑制模型对原有知识的遗忘方面,本论文方法显著优于现有方法。本论文提出的方法在无需访问模型原始训练数据的条件下,仅利用原模型和新场景的语音数据进行增量训练,能够在让模型快速适应新任务场景(如新口音、新术语、新声学环境等)的同时,保留模型原有的识别性能。
论文标题:Learning to Compose Stylistic Calligraphy Artwork with Emotions
发表刊物:ACM Multimedia 2021 (Oral)
Motivation:情绪在书法创作中发挥了非常重要的作用,它让书法作品更加有艺术性和感染力。之前的工作忽略了情感在书法创作中的重要性,并且局限于单字书法的图像生成,没有考虑篇章布局。在这篇文章中,我们提出了一种情绪驱动的、篇章级的书法生成框架。
Solution:我们的模型可以从输入文本中检测用户情感,基于生成对抗网络生成字级别书法图片,最后基于循环神经网络预测书法篇章布局,合成具有艺术性的风格化书法作品。该研究是业界第一篇基于情绪的、篇章级的风格化书法生成工作。
Experimental Result:实验显示,我们提出的模型相比之前书法生成模型和图像风格转换模型,在真实书法数据集上可以获得更好的内容正确性和风格一致性。人工评估的结果也显示我们提出的模型生成的书法作品更具有艺术性。此外,本文提出的图像风格迁移算法还可以广泛应用到计算机视觉的图像生成任务中,包括个性化广告图片生成、图片特效滤镜等应用场景。
技术的创新发展与应用,有效推动了产业数字化、智能化的发展进程,而要实现更高层次的创新发展,离不开人工智能的坚实助力。本次8篇论文在国际学术会议中发表,是京东云在人工智能领域集中爆发的重要体现。未来,京东云将继续沿着以AI推动产业数字化的方向,加快推进产学研用一体化应用,构筑“技术+场景”的创新应用新生态,在世界舞台上彰显中国企业的技术实力。
雷锋网
文章来源:《国际研究参考》 网址: http://www.gjyjck.cn/zonghexinwen/2021/1017/1186.html