大语言模型微调数据竞赛,冠军!

天翼云开发者社区
• 阅读 284

大语言模型微调数据竞赛,冠军!

近日,天池FT-Data Ranker竞赛落下帷幕,天翼云智能边缘事业部AI团队(后称天翼云AI团队)凭借在大语言模型(LLM)训练数据增强方面的卓越研究,荣获****大语言模型微调数据竞赛——7B模型赛道冠军****。

大语言模型微调数据竞赛,冠军!

FT-Data Ranker竞赛是一场面向大语言模型研究、以数据为中心的竞赛,吸引了包括来自北京大学、Hantec等知名高校、研究机构、企业的近400支优秀队伍参赛。天翼云在激烈的角逐中脱颖而出,展现出强大的技术创新能力。

数据在大语言模型(LLM)的能力打造中发挥着至关重要的作用,更好地构建和处理数据集成为大语言模型领域研究的重点。本次竞赛的核心在于独立、精确地评估和提升数据集质量,加速形成基准驱动的数据开发流程,增强大语言模型数据处理能力,提高该领域对数据质量和数据优化的理解能力。本次竞赛特别关注微调(Fine-tuning)阶段的数据,要求参赛者对原始数据集进行清洗、过滤和增强,利用新数据集对特定模型进行微调,并在测试集上进行性能排名。

面向竞赛通用选择任务,天翼云AI团队自主构建了数据处理流程,使用多个文档去重、字符串过滤算子对低质的大规模原始语料进行处理,从而获得高质量的模型训练数据;同时,面向文本摘要任务,天翼云AI团队创新地采用范式迁移(Paradigm Transfer)和模型能力蒸馏(Distillation)的方法,在设定模型随机性为0的前提下,利用生成式模型将原始语料中的问答进行数据处理和迁移,作为摘要数据,间接扩充训练数据。基于以上方法和策略,团队在原始语料基础上构建了一个内容丰富、多样化的任务训练集,帮助模型更好地学习和理解竞赛任务。该方案的创新性实用性得到了评委的高度认可。

本次竞赛团队采用的大语言模型训练数据增强技术,已在天翼云团队模型研发和生产业务中广泛应用。例如,在天翼云政务大模型“慧泽”的研发中,通过广泛采用训练数据增强策略和算法来提升模型的各项能力,使得“慧泽“具备了政务知识全面、意图理解能力强、应用广泛以及安全可靠等优势,可高效赋能政策咨询、政务导办、12345坐席辅助、智能办公等场景,助力提升城市治理水平。

未来,天翼云将继续推进人工智能相关技术创新以及实践应用,以更加全面、智能的产品与服务,赋能千行百业数字化转型。

点赞
收藏
评论区
推荐文章
冠军!天翼云在国际AI顶会大模型挑战赛中拔得头筹!
6月7日,国际人工智能顶会CVPR2023举办的第一届大模型挑战赛(CVPR2023WorkshoponFoundationModel:1stfoundationmodelchallenge)落下帷幕,本次比赛吸引了来自全球著名高校和知名企业的1024名参赛者。经过为期2个月的激烈角逐,天翼云AI团队(队名CTRL)在多任务大模型赛道中表现出色,荣获本届大赛冠军。
揭秘ChatGPT,如何打造自己的自定义指令 | 京东云技术团队
在大语言模型的训练中,经常会看到InstructTuning(指令微调)这个单词,GPT家族中也有一个InstructGPT的模型(指令微调后的GPT),通过指令微调的LLM会更按照我们期望的方式输出
数字先锋 | “言”之有“力”,大模型背后的算力“推手”!
在算力调度方面,天翼云通过自研的调度系统,协助思必驰DFM2大模型调度GPU、NPU、CPU等异构算力资源,大规模训练上云1个月,可以完成数十亿规模大模型所有阶段训练和效果评估。在训练能力打造方面,天翼云支持多种模型训练方式,不仅可以提升大模型训练平台的数据量,还大幅缩短了训练周期和交付进度。
第一!天翼云荣获国际人工智能顶会AAAI 2024大模型数学理解&推理竞赛冠军!
近日,AAAI2024GlobalCompetitiononMathProblemSolvingandReasoning大赛落下帷幕,天翼云智能边缘事业部AI团队凭借在大模型基础能力研究领域的数据处理与模型训练策略的领先优势,在众多参赛队伍中脱颖而出,荣获本次竞赛冠军。
一键部署,玩转AI!天翼云Llama 3大模型学习机来了!
为了方便广大AI技术爱好者与从业者快速上手学习与使用大语言模型技术,天翼云基于开源的MetaLlama38BInstruct模型以及textgenerationwebui框架,搭建了一键部署、开箱即用的云主机镜像。同时,天翼云CPU/GPU云主机近期即将上线Llama3大模型学习机,期望能够成为帮助用户打开大模型领域之门的第一把钥匙,让更多用户从此了解大模型、学习使用大模型,并利用大模型创造更多可能。
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
660
粉丝
14
获赞
40