昆仑万维:“天工3.0”基座大模型与“天工SkyMusic”音乐大模型正式开启公测

发布时间:2024-12-08 03:37:41 来源: sp20241208

  4月17日,在“天工”大模型一周年之际,昆仑万维重磅宣布,“天工3.0”基座大模型与“天工SkyMusic”音乐大模型正式开启公测!一年前的今天,第一版天工大模型正式对外发布上线,一年来昆仑万维不断迭代模型,迭代应用产品,模型和应用都越做越好,以此回报广大用户的支持。

  “天工3.0”拥有4000亿参数,超越了3140亿参数的Grok-1。“天工3.0”在语义理解、逻辑推理、通用性、泛化性、不确定性知识、学习能力等领域拥有突破性的性能提升,数学/推理/代码/文创能力提升超过30%。

天工3.0模型参数超越Grok-1

  强大的模型技术实力赋予“天工3.0”超强的性能表现。在MMBench等多项权威多模态测评结果中,“天工3.0”超越GPT-4V。

天工3.0多模态性能超越GPT-4V

  同时,“天工3.0”旗下的“天工SkyMusic”音乐大模型也在今日面向全社会开放公测。

天工SkyMusic综合性能超越Suno V3,取得音乐大模型SOTA。

  天工SkyMusic:成为全球AI音乐SOTA模型

  此前,大模型已经在文本、图像等多个技术领域取得突破,带来产业全面变革。然而,在AI音乐生成领域,全球迟迟等不到一款产品,开启“音乐ChatGPT时刻”。

  这是因为一直以来,AI音乐行业大量研究都集中在符号音乐生成技术路线上,并且大多只能实现无人声背景音乐(Background Music,BGM)的生成,音乐的质量、效果、审美都远远达不到可用水平,产业迟迟未能爆发。

“天工SkyMusic”自研AI音乐大模型技术架构

  与行业主流路径不同,“天工SkyMusic”采用自研大模型音乐音频生成技术路线。这一路线直接通过大模型技术实现乐器、人声、旋律、音量、音符的一体化端到端音乐生成,技术难度极大,全球只有包括昆仑万维在内的极少数顶尖玩家参与。

  在与海外顶尖的AI音乐大模型Suno V3的横向测评中,“天工SkyMusic”在人声&BGM音质、人声自然度、发音可懂度等领域显著领先对手,并以6.65分的综合得分超越Suno V3,成为全球AI音乐SOTA模型。

  此外,“天工SkyMusic”还拥有独创的参考音乐生成与方言歌曲生成能力。

  参考音乐生成:用户可上传自有参考音乐,或选择“天工SkyMusic”资料库中现有的参考音乐,从而生成风格、唱腔类似的歌曲,进一步降低音乐大模型的使用门槛,让不熟悉乐理知识的用户也能轻松玩转。

  方言歌曲生成:“天工SkyMusic”生成的音乐不仅在人声自然度、发声可懂度等领域表现优秀,更能够支持粤语、成都话、北京话等众多方言,让用户能够更自由地实现音乐表达,传播方言文化。

  同时,“天工SkyMusic”是首个公开可用的AI音乐生成模型。

  当前,在文本大模型领域,OpenAI吸引了全球的注意力;但是在AI搜索、AI音乐生成等细分领域,中国玩家们正在奋勇前行,不断通过自研技术取得细分领域顶尖的SOTA表现,共同建设中国大模型产业,打造自主可控的大模型产业生态。

  天工3.0:采用4000亿级参数MoE混合专家模型架构

  在上一代“天工2.0”MoE大模型的领先基础上,“天工3.0”实现了全面的性能升级,采用了4000亿级参数MoE混合专家模型架构。

  “天工3.0”的逻辑推理能力、语义理解能力、应对复杂需求能力、内容创作能力全面升级,并新增了多轮搜索与综合工具调用、图表绘制、研究模式、增强模式、改图扩图等多项AI能力,为用户带来全新AI体验。

  多轮搜索与综合工具调用:“天工3.0”针对模型独立规划、调用、组合外部工具及整合信息的能力进行了专项训练,使其能够独立生成并调用代码,完成包括产业研究、产品横评、信息分析、图片生成、图表绘制等多种复杂用户需求。

  同时,“天工3.0”能够通过强大的语义理解能力将用户任务拆解成细分环节,实时判断是否需要联网或调用工具,进行单轮或多轮的联网搜索、工具调用,完成包括多轮搜索、热点信息分析、图片生成等复杂用户需求。

Query:查询最新中国历史电影票房排行,图表展示。

  图表绘制:“天工3.0”全面提高了逻辑推理能力与用户自然语言Query的理解能力,使其能够更精准地判断用户需求,独立生成并调用代码,结合文本需求实时进行内容分析及图表构建,为用户带来更直观、高效的对比结果。

Query:北京、上海、重庆哪个好玩?

  多轮搜索、综合工具调用、图表绘制等都是“天工3.0”所独有的大模型综合能力,其从底层打通了“天工3.0”的AI搜索、AI对话、AI代码生成、AI图片识别、AI图像生成等底层能力,通过语义识别能力直接触发,为用户带来更加便捷、高效的AI体验,成为真正的AI生产力工具。

  此外,“天工3.0”中还增加了研究模式、增强模式、改图扩图等多项AI能力。

  研究模式:在研究模式中,“天工3.0”能够围绕用户的某个简单指令进行相关问题的延伸,自动生成研究大纲、图谱、实践总结、思维导图,帮助用户快速清晰地把握核心内容,完成用户复杂的研究需求。

  增强模式:在增强模式中,“天工3.0”能够针对用户的复杂Query进行拆解、细化、并进行追问、信息理解与补全,使其在自然语义理解方面性能更强,面对不确定性知识时表现更好,能够更精准、高效地满足用户需求。

Query:2024年春节档电影;“天工3.0”理解并追问用户需求。

  改图扩图:“天工3.0”多模态性能取得全面突破,超越GPT-4V。在强大的技术底座支持下,“天工3.0”的AI绘图能力新增了图片尺寸扩展、图片定向调整、垫图生图、垫图进化、垫图扩图等全新功能。

“天工3.0”的AI改图、修图、扩图等功能 【编辑:刘阳禾】
选择用户
全部人员 全选 撤消
谢志刚
李岩
李海涛
谢志强
李亚琴
潘潇潇
杨亚男
高荣新
郑文静
金琳
张银波
张欣
陈曦
刘涛
王长青
高广柱
孙圆
行政专员
付雪枫
张雪莲
张璐
刘相群
张明璇
李静
孙静
王晨
赵夏
马洪亮
张兰
黄莉
李潍伊
常恩宁
侯昭宇
韩岩峰
冯亚红
林洋
陈静
刘婧
魏保国
唐彦秀
张楠
刘瑞萍
付严明
荣伶
马建国
邓爱青
系统管理员