共查询到20条相似文献，搜索用时 31 毫秒
1.
2022年底,OpenAI发布的ChatGPT聊天机器人将人工智能对通用自然语言任务的理解与生成能力提升到新的高度,引发各界广泛关注。当前ChatGPT仅支持文本模态的交互,而真实世界的感知则依赖于图像、文本、视频、音频等多个模态的协同处理。如何借鉴人脑的跨模态处理特性,跨越视觉、语言、听觉等不同感官信息实现对真实世界的感知和认知,是提升模型通用感知和交互能力、实现通用人工智能的关键。本文从ChatGPT的核心技术出发,分析ChatGPT在文本单模态限制下所面临的问题,并介绍ChatGPT与多模态分析技术结合的部分代表性工作,最后从多模态预训练、数据—知识双轮驱动等角度对ChatGPT多模态化的未来研究方向进行展望。 相似文献
2.
对话式聊天机器人ChatGPT以近乎摧枯拉朽的气势席卷社会,拨开了通用人工智能的曙光。ChatGPT的升级版GPT-4是个多模态大模型,它从单调的文本交互,升级为可以接受文本与图像组合的多模态输入,相比传统的单模态大模型,多模态大模型更加符合人类的多渠道感认知方式,能够应对更加复杂丰富的环境、场景和任务。GPT-4表明在多模态大模型中引入基于人类知识的自然语言理解与生成能力能够带来模型在多模态理解、生成、交互能力上的巨大提升。本文将介绍多模态大模型的概念、关键技术、近期进展和应用场景、GPT-4的技术特性,并重点探讨以GPT-4为代表的大语言模型对构建多模态大模型的几点启发。具体而言,将讨论如何充分利用大语言模型的语言能力,在多模态大模型的构建中,借助语言的帮助更好地感知理解世界、创作生成内容、与人和环境交互。 相似文献
3.
[目的/意义]随着数字智能技术的应用拓展,面向用户的智能交互、多模态信息融合和数字空间活动的延伸,对数字信息资源组织、面向交互认知的描述和深层次服务的开展提出了新的要求。如何有效解决数字智能背景下信息交互与服务的深层次发展问题成为亟待探讨的议题。[方法/过程]文章在分析数字智能环境形成及其对信息交互与服务影响的基础上,研究面向用户的智能交互与体验设计,以及基于智能交互的生成式人工智能的发展与安全保障。[结果/结论]在面向用户的信息服务组织中,应立足于数字智能环境的形成及其影响,寻求与智能环境相适应的服务组织模式和数字智能驱动下的服务组织方式。数字服务中以用户为中心的智能交互,在于充分理解用户的意图,融合用户视觉、听觉等交互通道,为智能化服务开展提供支持。同时针对快速发展的生成式人工智能,既要应对其带来的安全威胁,也要正确合理地确保生成式人工智能安全落地,保障生成式人工智能系统的安全。 相似文献
4.
5.
【目的/意义】为提升主流融媒体意识形态建设和舆论引导能力,解决大数据时代背景下主流融媒体多模态
信息资源管理的困境,构建高效的热点发现机制。【方法/过程】笔者着眼于主流融媒体热点发现需求构建需求体
系,然后利用Scrapy-Redis框架、HBase数据库和MapReduce实现了数据的精准采集、有序存储和高效处理,再基于
多模态信息融合的理念,借助 NLP技术对信息资源的特征进行提取,最后利用 LDA2vec模型和 Single-Pass算法实
现了信息归集和热点的发现与更新。【结果/结论】仿真实验结果表明,本研究所使用的方法,能够较好地实现多模
态信息的归集和热点的提取,效果较同类模型有明显提升。【创新/局限】但是在运用NLP技术处理多模态信息时各
处理环节的衔接尚不够流畅,后续仍需进行改进提升。 相似文献
6.
《内蒙古科技与经济》2015,(18)
通过建立产学研不完全信息动态博弈模型得出:企业的未来收益取决于学研方的研发创新能力。在合作对象选择的博弈过程中,企业可通过以往科研信息甄别学研方的能力,而学研方可以向企业发出风险承担的信号证明自己的能力。 相似文献
7.
日常生活中,人与人之间的交互是通过眼、耳、鼻、舌等多种感官的共同作用实现的。自然语言当然是人们最常用的通信工具,然而,研究发现:人体语言——包括面部表情、手势、体势、唇动、语调、身体动作等是自然语言的重要补充,甚至在某些场合(如强噪声环境)能够完全代替自然语言;比如爱人之间一个眼神所传达的信息可能超过任何言语的表白。总之,人类无论是表达自己还是理解别人的方式都是多样化的——即所谓的多模态,也正因为这种多模态性,我们才能够在保持生动活泼的前 相似文献
8.
本文主要研究了X3D技术最具动态交互功能的Teuehsensor传感器，论述了在X3D虚拟三维扬景中，利用TouchSensor传感器实现动态交互的方法；以及结合实例，介绍了如何运用TouchSensor和EcmaScript语言建立动态交互场景，实现更强交互能力的方法。 相似文献
9.
通过客户知识共享过程中的完全信息动态博弈分析，求得子博弈完美纳什均衡解。从而获得促使客户知识共享的条件。就解决知识拥有者与需求者之间共享动力匮乏的问题提出了合理建议，揭示了企业与客户问通过知识共享，实现各自利益最大化的实质。 相似文献
10.
网络参考咨询是传统咨询服务架构在网络这一新媒介上的新事物。在网络咨询中,存在着一种不完全信息动态博弈的模式,本文基于不完全信息动态博弈的理念,对网络咨询工作进行了分析,认为信息隐匿是造成博弈失败的主要原因,并提出了相应的解决对策。 相似文献
11.
【目的】探讨元宇宙技术背景下科技出版面临的挑战与机遇,探索以人工智能(AI)技术为核心元宇宙多模态、跨模态内容大爆发带来的科技期刊行业的范式创新和高质量发展路径。【方法】对元宇宙AI多模态、跨模态内容的相关概念、理念、特点、工具、应用场景等进行理论探讨,以《实用临床医药杂志》多模态数智内容融合出版实践范例为模板,剖析科技期刊元宇宙出版与传播的可能路径。【结果】借助多语种即时交互技术,科学共同体可实现“母语化创作,母语化阅读”,即科技期刊从以语种为焦点逐渐向以元宇宙多模态、跨模态学术内容的生产、组织、审核、评价、确权、传播、存储和应用为核心转移。AI赋能的“多模态数智内容编辑器”可解决元宇宙多模态内容的碎片化与孤岛化问题,是编辑与传播多模态内容的利器。【结论】元宇宙为科学共同体引入全新变量,多模态、跨模态传播生态让全球科技出版面临全新的发展格局,科学研究进入第五范式“元宇宙科学范式”,科技期刊发展进入元宇宙多模态、跨模态内容时期。《实用临床医药杂志》实践案例表明“多模态数智内容编辑器”可以解决元宇宙多模态、跨模态碎片化与孤岛化问题。 相似文献
12.
13.
[目的/意义]多模态资源虽类型丰富但分散无序,挖掘多模态资源间隐含的知识关联进而实现跨模态、多角度的知识重组,对于多模态资源的智能管理与深层服务都具有重要的价值。[方法/过程]文章立足知识服务的特点与需求,结合多模态资源的特征,探讨多模态资源的知识挖掘方案,并基于此方案探讨可通用的多维度知识重组方案。在此基础上,以多模态红色资源为代表,通过对红色人物陈毅相关多模态资源的获取与处理,实现相关文本、图像、视频资源的知识重组,开发了可视化知识服务平台“陈年毅事”,并从时间、地点、人物、主题等不同维度探讨了可视化知识服务的实现路径。[结果/结论]通过实证研究,验证所提出知识重组方案的适用性与可行性,可以为多模态资源的深度挖掘、多维组织与服务应用提供一定的借鉴与参考。[局限]图像及视频资源有待更深层的挖掘;知识关联方式还有待补充。 相似文献
14.
在网络安全预测监护模型设计中,需要对网络安全监护信息进行数据融合和特征优选,以提高对变异特征的识别能力。传统方法中,采用蚁群算法进行监护信息特征优化融合进化和链路模型设计,算法无法实现相邻簇头之间的信息素融合,特征优化效果不好。针对这一问题,提出蚁群链运动多层博弈的网络监护信息融合特征优选算法,构建多层博弈网络监护数据样本驱动空间权矩阵模型,引入粗糙集理论,对蚁群引导的粗糙集前馈补偿网络进行动态博弈,实现网络安全监护数据的预测控制目标函数最佳寻优。构建多层博弈网络监护系统模型,得到蚁群链运动的监护信息数据状态跟踪模型,实现网络安全监护信息的融合特征优选改进。仿真实验表明,该算法能有效提高对异常信息的监护和检测能力,有较高的特征优选品质,展示了本文算法在对网络安全监护中的优越性能。 相似文献
15.
基于虚拟人体的虚拟手术是虚拟现实、人工智能、生物医学、现代医学等多学科交叉的国际前沿技术。高质量的个性化虚拟手术需构建人体组织器官可交互的几何、物理和生理模型,仿真复杂手术过程,评价手术仿真操作对实际手术技能提升的作用。虚拟手术技术涉及多模态医学影像智能分析处理、个性化人体器官混合建模、复杂手术现象交互仿真、手术仿真评价等一系列前沿科学技术问题,可服务于手术机器人研发、远程协作手术、医疗器械研发等前沿领域技术的发展。未来,继续深入研究突破人体器官多维度多粒度虚实映射理论、个性化人体器官多尺度生理建模方法、人体器官生理信息模型库构建、智能三维虚拟人体交互仿真算法框架等关键技术问题,对提高我国虚拟人体领域的源头创新能力具有积极意义,对推动手术研究与转化的模式创新具有重要价值。 相似文献
16.
该文探讨了多模态在史学通识课程中的赋能原理和实施模式,分析了基于多模态信息的供给、推理、构建和合并过程。与传统依托文本的课程思政教育不同,多模态资源本身具有开放性、互动性和多样性等特点。因此,课程思政的引导重点在于利用多模态信息资源加深学生对史实价值的认识,提供深度互动和自主推理、构建和整合的学习环境,强调问题意识和实践导向。 相似文献
17.
通过客户知识共享过程中的完全信息动态博弈分析,求得子博弈完美纳什均衡解,从而获得促使客户知识共享的条件.就解决知识拥有者与需求者之间共享动力匮乏的问题提出了合理建议,揭示了企业与客户间通过知识共享,实现各自利益最大化的实质. 相似文献
18.
19.
随着算法、大数据、深度学习等技术的发展,人工智能自主发明创造将成为现实.人工智能具有远超人类的信息处理和披露能力,未来将有海量的技术信息进入公有领域,对于如何将人工智能自主生成物纳入现有技术的范围存在诸多困难.本文认为,人工智能背景下的现有技术应当是自然人从符合法律规定的公开中能够解读出的技术信息和有助于理解技术信息的... 相似文献
20.
【目的/意义】本文融合文本和图像的多模态信息进行情感识别,引入图片模态信息进行情感语义增强,旨在
解决单一文本模态信息无法准确判定情感极性的问题。【方法/过程】本文以网民在新浪微博发表的微博数据为实
验对象,提出了一种基于DR-Transformer模型的多模态情感识别算法,使用预训练的DenseNet和RoBERTa模型,
分别提取图片模态和文本模态的情感特征;通过引入Modal Embedding机制,达到标识不同模态特征来源的目的;
采用浅层Transformer Encoder对不同模态的情感特征进行融合,利用Self-Attention机制动态调整各模态信息特征
的权重。【结果/结论】在微博数据集上的实验表明：模型情感识别准确率为 79.84%;相较于基于单一文本、图片模
态的情感分类算法,本模型准确率分别提升了 4.74%、19.05%;相较于对不同模态特征向量进行直接拼接的特征融
合方法,本模型准确率提升了 1.12%。充分说明了本模型在情感识别的问题上具有科学性、合理性、有效性。【创
新/局限】利用 Modal Embedding 和 Self-Attention 机制能够有效的融合多模态信息。微博网络舆情数据集还需进
一步扩充。 相似文献