首页 科技内容详情
新2网址最新登录:《多模态基础大模型技术白皮书》发布,多模态人工智能产业发展前景无限风光

新2网址最新登录:《多模态基础大模型技术白皮书》发布,多模态人工智能产业发展前景无限风光

分类:科技

网址:

SEO查询: 爱站网 站长工具

点击直达

Web cờ bạc online(www.84vng.com):Web cờ bạc online(www.84vng.com) cổng Chơi tài xỉu uy tín nhất việt nam。Web cờ bạc online(www.84vng.com)game tài Xỉu đánh bạc online công bằng nhất,Web cờ bạc online(www.84vng.com)cổng game không thể dự đoán can thiệp,mở thưởng bằng blockchain ,đảm bảo kết quả công bằng.


近日,以“共创产业智能新高度”为主题的多模态人工智能产业联合体第二次会议在武汉召开,会上发布了由中国科学院自动化研究所、武汉人工智能研究院、华为技术有限公司牵头的《多模态基础大模型技术白皮书》。


“当前,人工智能正从单模态、有监督学习,迈向多模态、自监督学习的时代。”中国科学院自动化研究所研究员、武汉人工智能研究院院长王金桥表示,“多模态人工智能的未来必将风光无限。”

对数据标注的依赖性降低了一个数量级以上


要了解多模态人工智能,首先需要明白何为模态,“一般来说,每一种信息的来源或者形式,都可以称为一种模态。”王金桥说。


人类在信息获取、环境感知、知识学习与表达等方面都是采用多模态的输入、输出方式。比如,如果一个人要在一片草坪上找到一朵盛开的花朵,既可以通过视觉这一模态来寻找,也就是直接用眼睛看;也可以通过嗅觉这一模态来搜索,也就是用鼻子闻;还可以通过触觉这一模态来探寻,也就是用手触摸。面对寻找花朵这个问题,一般来说,人们会采取视觉、嗅觉等多模态的方式来进行。“某种程度上说,多模态的输入、输出方式正是人类智慧的重要体现之一。”王金桥表示。


目前的网络数据包括图像、视频、文字、音频等不同模态。对于人工智能来说,要想更好地掌握、分析、利用网络上的数据,就需要能够对这些多模态的数据进行系统的统筹和分析。


王金桥表示:“技术创新是推动多模态人工智能产业发展的重要动力之一。自20世纪70年代多模态学习起步以来,伴随着近年来生成式预训练、基于Transformer的双向编码器表达等大规模预训练模型的快速涌现,人工智能研究领域正在经历一场有监督学习向无监督学习条件下‘大数据+大模型’的大规模预训练范式转变,多模态人工智能发展迎来了新的巅峰。”


近年来,多模态人工智能在场景泛化性、对数据的依赖性等方面都取得了巨大的技术突破。


“多模态人工智能通过自监督的学习方式对海量无标注数据进行学习,同时面向特定任务场景进行小数据的标注学习和微调。相对于单模态人工智能,其对数据标注的依赖性降低了一个数量级以上。”王金桥说。


“多模态大模型+小模型”模式或成主流


2017年,国务院制发《新一代人工智能发展规划》,由人工智能技术引发的产业变革正在加速演进。目前,各行各业利用人工智能技术打造的产业新应用、新业态、新模式不断涌现,我国的人工智能产业化势头迅猛,多模态人工智能产业也取得了许多突破。


如今,多模态人工智能产业正大步走向场景化、实用化。“目前,模型参数与数据规模不再是各研发机构的比拼重点,多模态人工智能产业正在走向场景应用的新阶段。”王金桥表示。


“例如,‘全媒体多模态大模型’就是基于中国科学院自动化研究所‘闻海’多模态媒体大数据和‘紫东太初’三模态大模型的技术积累,结合新华社全媒体的海量数据积累和媒体融合业务场景而建立的。‘全媒体多模态大模型’将加速推动人工智能在视频配音、语音播报、标题摘要、海报创作等多元媒体业务场景的应用。”王金桥说。


此外,在智慧城市、金融科技、民生服务等许多领域,多模态人工智能也有着广阔的应用场景。


王金桥表示,未来“多模态大模型+小模型”的模式或将成为多模态人工智能的主流,该模式可以有效解决需求碎片化、多样化等问题。


王金桥表示,我国应该打造工业化范式的多模态大模型生态,持续完善国产基础软硬件支撑体系,加大人工智能与医学、材料、气候等科学研究领域的结合力度,健全人工智能产业应用政策标准,大力培养人工智能复合型人才。


,

game bài đổi thưởng caovietnet(www.84vng.com):game bài đổi thưởng caovietnet(www.84vng.com) cổng Chơi tài xỉu uy tín nhất việt nam。game bài đổi thưởng caovietnet(www.84vng.com)game tài Xỉu game bài đổi thưởng caovietnet online công bằng nhất,game bài đổi thưởng caovietnet(www.84vng.com)cổng game không thể dự đoán can thiệp,mở thưởng bằng blockchain ,đảm bảo kết quả công bằng.

,

多模态AI近期的突破


多模态在AI领域研究很久了,但是在过去几十年都是相互分离的,每个方向有自己的模型,也不太沟通。但是最近几年,我们越来越多看到大家在构建统一的、跨场景、多任务的多模态基础模型。


比如Omvivore和Data2vec是Facebook近期的工作。前者采用统一的预训练模型处理视觉(图片、视频、3D图像)三种模态的输入,并将其映射到统一的特征空间;后者采用统一的模型和训练框架,分别训练文本、图像、语音的预训练模型(不同模态分别训练预训练模型)。

Bridge-Tower(MSRA)提出了多模态预训练模型新的特征融合方式,即在单模态表示学习的中间层也能进行跨模态的交互。其结构既能有效应对模态缺失的挑战(相比单流预训练模型),又能更好的学习模态的交互(相比双流预训练模型)。该多模态预训练模型在多个单模态任务上取得了不错的结果。


这三个模型反映了多模态预训练的趋势:设计统一的、跨任务、跨模态的多模态预训练模型,包括统一的结构、统一的参数、统一的训练方式,应对多个多模态任务或单模态任务。

多模态进展的第二个方向就是在下游任务中的自监督学习。通过构建自监督的任务,提高多模态模型的表征能力,缓解缺少大规模监督数据的挑战。


多模态进展的第三个方向就是表征跟知识的融合开始再进一步拓展。大模型中有非常多隐性的知识,如何优化、迭代它们,都是非常重要的研究热点,也是我们关注的方向。这里有几个工作特别值得跟大家分享。


第一个是基于视觉的知识回答,融合GPT3导出的隐式知识和显式外部知识,通过Transformer融合文本、图像和知识的表示,执行基于知识推理的VQA任务。第二个是对于隐性知识的描述,根据图片内容生成图片描述,并推测图片中发生的事件的原因,以文本的方式输出可能的解释。第三个是在电商领域做的工作,将商品属性相关的结构化知识融入到电商多模态预训练任务中。通过构建链接预测损失,建模结构化知识与多模态实体概念间的关联。显式/隐式地融入知识,强化模型的知识和推表征理能力,提高模型的可解释性。

多模态人工智能另外一个方面的进展就是交互式AI将可能成为一种趋势,传统研究大多是AI模型与数据之间的交互,包括各种预训练模型,本质上是学习互联网上海量文本、图片等不同模态数据的内在规律。


因算力、数据资源的限制,仅依赖互联网上数据学习很大可能会达到瓶颈,而反观人类往往能在交流中习得新的知识和技能,因此通过交互将有可能进一步提升AI的能力,包括模型之间的交互(通过梯度、模型参数甚至自然语言交流)、模型与人类的协同交互、模型与世界环境的交互等等。不管是孔子与七十二门徒还是西方的雅典学派,知识的传播、形成、迭代都是通过老师和学生的互动来完成的,如何让人工智能能够自主学习并不断迭代新的知识是我们在清华的重要研究方向。


此外,交互式AI也会面临一些问题,包括数据和模型等方面的问题,比如Meta Blenderbot数据导致的伦理问题,以及Google PaLM-SayCan在真实世界中交互使用可能面临模型可控性问题等。


Blenderbot3.0对扎克伯格和Yann LeCun截然不同的评价,与Facebook中用户的真实发帖对话有关。为了解决这种问题,Meta采取用户反馈进行在线的持续学习来调整模型。


基于大规模语言模型“大脑”(Pathways LM,PaLM),可以实现机器人在真实环境的指令执行操作,能够达到非常好的效果。但也会衍生新的可控性问题,就如同“bull in china shop”(闯进瓷器店的公牛)。解决的办法就是不断给机器人反馈,让其不断学习、迭代,就跟小孩子一样,小时候可能会打碎瓷器,但是慢慢地就能避免这个行为。


多模态的理解+交互式的学习和以人为中心的设计模式,未来的应用空间会越来越大。但在这个过程中也有很大的挑战,就是如何让AI的理解和执行更加可控,如何让AI变得更可信赖。



来源:科技日报实习记者 李诏宇、 机器 之心演讲:周伯文

注:文章内的所有配图皆为网络转载图片,侵权即删!

,

新2网址最新登录www.ad0808.com)实时更新发布最新最快最有效的新2最新登录网址,包括新2手机网址,新2备用网址,皇冠最新网址,新2足球网址,新2网址大全。

 当前暂无评论,快来抢沙发吧~

发布评论