代码革命的先锋:aiXcoder-7B模型介绍

京东云开发者
• 阅读 265

代码革命的先锋:aiXcoder-7B模型介绍





国内开源代码大模型

4月9日aiXcoder宣布正式开源其7B模型Base版,仅仅过去一个礼拜,aiXcoder-7B在软件源代码托管服务平台GitHub上的Star数已超过2k。同时跻身HuggingFace趋势榜单TOP30,令全球开发者瞩目。





代码革命的先锋:aiXcoder-7B模型介绍





背后团队

aiXcoder 团队来自北京大学软件工程研究所,2013就开始搞代码生成,他们不但是国际上最早将深度学习技术用于程序代码处理的团队,也是最早推出基于深度学习的编程产品的团队,从一开始他们就抓住并专注于代码大模型这个前沿赛道。

团队长期聚焦软件工程、系统软件、程序理解、程序生成、深度学习、可信人工智能等前沿领域,在多个国内外顶级会议与期刊发表相关论文100余篇,多篇被国际同行视为“首创成果”。

从学界最前沿的理论研究,到广泛应用部署的商业实践,aiXcoder致力于将前沿人工智能技术应用于软件工程,聚焦代码大模型的企业个性化落地技术,助力企业实现智能化开发,为未来商业落地打下坚实基础。



发展历史

2017年,aiXcoder最开始的雏形——aiXcoder1.0发布,提供代码自动补全与搜索功能。

2021年4月,团队推出完全自主知识产权的十亿级参数代码大模型aiXcoder L版,支持代码补全和自然语言推荐。这也是国内⾸个基于“⼤模型”的智能编程商⽤产品。

2022年6月再次推出了国内首个支持方法级代码生成的百亿级参数量模型aiXcoder XL版,同样具有完全自主知识产权。

2023年7月,aiXcoder团队推出聚焦企业适配的aiXcoder Europa,具有代码自动补全、代码自动生成、代码缺陷检测与修复、单元测试自动生成等功能。aiXcoder Europa可根据企业数据安全和算力要求,为企业提供私有化部署和个性化训练服务,有效降低代码大模型的应用成本,提升研发效率。

2024年4月9日,aiXcoder-7B Base版诞生。



有何能耐

尽管aiXcoder只是一个7B大小的模型,但在HumanEval、MBPP和MultiPL-E等主流代码生成评测集上,它平均得分居然超过340亿参数的Codellama。要知道,后者来自Meta、基于Llama2,可是开源界最先进的AI编程大模型之作。





代码革命的先锋:aiXcoder-7B模型介绍







核心能力

代码生成与补全的卓越性能

aiXcoder-7B模型在HumanEval、MBPP和MultiPL-E等主流评测集上的表现超越了参数规模更大的模型,这得益于其深度学习架构和大规模的训练数据。它能够生成和补全包括方法块、条件判断、循环处理、异常捕捉等多种代码结构,大大提升了代码编写的效率。

测试显示,在贴近真实开发场景的评测集CrossCodeEval上,aiXcoder-7B一举拿下了同级别模型的最好效果:



代码革命的先锋:aiXcoder-7B模型介绍





企业级场景的深度定制与私有化部署

aiXcoder-7B模型支持企业根据自身的软件开发框架和API库进行个性化训练,确保模型能够理解并适应企业特定的代码规范和业务逻辑。同时,模型的私有化部署能力,让企业能够在本地安全地使用模型,保护了企业的核心知识产权。



跨文件的智能分析与补全

aiXcoder-7B模型不仅理解单个文件的上下文,还能跨多个文件进行智能分析,这对于大型软件项目尤为重要。模型能够识别项目中不同文件的关联,生成和补全代码时考虑到整个项目的结构,提高了代码的一致性和可维护性。

测试显示,aiXcoder-7B Base版结合单文件上下文的代码补全能力超越StarCoder2、CodeLlama等一众模型,在Python、JS和Java语言上综合得分最高。



代码革命的先锋:aiXcoder-7B模型介绍





持续的技术创新与优化

aiXcoder团队在模型训练中采用了创新的方法,如将代码的抽象语法树结构融入预训练过程,显著提升了模型对代码语义和逻辑的理解能力。此外,团队还构建了大规模的优质代码语料库,通过精心的数据预处理,确保了模型训练的质量和效果。



应用案例

金融行业代码生成应用

以正在进行数智化转型的某行业头部券商为例,该企业采用了aiXcoder的大模型解决方案,在本地环境私有化部署代码大模型,并结合企业自身领域知识进行个性化训练。结果显示,在业务逻辑代码上,代码生成占比提升了2倍,显著提高了开发效率。



跨文件动态规划状态类补全

在另一个案例中,aiXcoder-7B模型展现了其跨文件分析的能力。面对需要在树结构上应用动态规划的复杂任务,模型准确识别了不同文件间的逻辑关系,并给出了正确的预测结果,展现了其在处理复杂编程问题上的实力。



技术细节

训练数据的构建与优化

aiXcoder-7B模型的训练数据量达到了1.2T Unique Tokens,这一庞大的数据集经过了严格的语法分析和静态分析,排除了常见的Bug和代码缺陷,确保了模型训练的高质量。



预训练方法的创新

aiXcoder团队在预训练方法上进行了创新,将代码的抽象语法树结构融入到预训练过程中,这一方法有效地提升了模型对代码结构特征的捕捉能力,从而生成更高质量的代码。



模型的个性化训练技术

aiXcoder-7B模型的个性化训练技术是其另一大亮点。通过构建企业专属的数据集和测评集,结合企业代码特征和员工编程习惯,模型能够更好地适应企业的开发环境,实现更高效的个性化应用。



总结

在科技的璀璨星河中,每一次技术的突破都如同新星的诞生,照亮了未来的无限可能。随着代码大模型的能力日益增强,它们在解决复杂编程问题上的卓越表现,不仅在提高软件开发的效率和质量上发挥着重要作用,在推动编程自动化的浪潮中扮演着关键角色,更激发了程序员们的创新潜能,让他们能够将更多的精力投入到探索和创造中。

aiXcoder-7B模型的出现,预示着软件开发领域将迎来一场新的革命。随着技术的不断进步,aiXcoder-7B将成为软件开发领域中的“新质生产力”,帮助企业实现智能化开发,推动技术行业的生态发展。

随着代码大模型不断发展,不仅加速了软件开发自动化的进程,更在重塑技术行业的生态,引领着未来发展的趋势:加快实现软件开发自动化。这既是行业大势所趋,更是发展的必然选择。荣幸的是,我们正站在这个转折点面前,见证着这一趋势的兴起和实现。

作为一名IT技术人员,我对代码大模型的未来发展充满期待。它不仅解决了当前软件开发中的多个痛点,更为大家展示了一个全新的编程未来。模型的不断开源和企业级特性,将推动整个行业向更高效、更智能的方向发展。对于热爱编程的人来说,不仅仅是一个工具,更是一个能够激发创新、提升生产力的伙伴。让我们一起期待并拥抱这场由AI引领的编程革命吧!



开源地址

https://github.com/aixcoder-plugin/aiXcoder-7B

https://gitee.com/aixcoder-model/aixcoder-7b

https://www.gitlink.org.cn/aixcoder/aixcoder-7b-model

感兴趣的小伙伴可自行体验,也可以等我后续的测试分享,让我们一起支持国产开源大模型吧!

作者:京东零售 刘邓忠

来源:京东云开发者社区

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
Github热榜:中英文识别OCR模型,百度开源媲美收费软件!
近日,百度飞桨(https://www.oschina.net/action/visit/ad?id1185)正式开源了业界最小的超轻量8.6M中英文识别OCR模型套件Paddle(https://www.oschina.net/action/visit/ad?id1185)OCR,在模型大小、精度和预测速度上,甚至超过了之前一度登上GitHub
Stella981 Stella981
3年前
2015年开源前端框架盘点TOP20
2015年已经过去了,作为一个前端开发者,我觉得有必要把过去一年帮助过我或朋友们的优秀开源前端框架做个盘点,希望这些项目能够越来越好,帮助到更多的前端开发者们。此榜单根据github上star数作为排名依据,一个人力量有限,如果收集有遗漏欢迎补充。1、名称:Bootstrap类别/语言:HT
可莉 可莉
3年前
2015年开源前端框架盘点TOP20
2015年已经过去了,作为一个前端开发者,我觉得有必要把过去一年帮助过我或朋友们的优秀开源前端框架做个盘点,希望这些项目能够越来越好,帮助到更多的前端开发者们。此榜单根据github上star数作为排名依据,一个人力量有限,如果收集有遗漏欢迎补充。1、名称:Bootstrap类别/语言:HT
Stella981 Stella981
3年前
Github出暗黑模式了,加班写代码不再刺眼啦!
开源代码托管平台GitHub在本周宣布了一系列更新,不过最让熬夜写代码的开发者们感到欣喜的,莫过于期待已久的黑暗模式。其它方面,GitHub现允许企业直接向开发者提供援助和投资开源项目,自动合并查询请求,以及有关公共存储库的讨论和依赖性审查(Beta测试阶段)。!(https://oscimg.oschina.net/oscnet/u
黄忠 黄忠
8个月前
LLM大语言模型算法特训,带你转型AI大语言模型算法工程师(吾爱)
LLM大语言模型算法特训,带你转型AI大语言模型算法工程师download》https://www.sisuoit.com/4725.htmlFlutter是由Google开发的一款开源移动UI工具包,可以帮助开发者使用单一代码库构建漂亮的、为世界各地的用
京东云开发者 京东云开发者
3个月前
2024 「全球软件研发技术大会】-刘兴东分享京东的AIGC革新之旅
大模型和开源的发展将带来全球软件研发技术的新变革,AI使代码自动化应用达到新水平,开源工具的云化和应用的AI化将促中国软件迎来新一轮的爆发。开发者正在迎接新一轮的技术浪潮变革。由CSDN和高端IT咨询和教育平台Boolan联合主办的2024年度「全球软件研
魔乐开发者社区正式上线,AI开发者快来撩!
近日,由天翼云与华为联合打造的魔乐(Modelers)开发者社区,在天翼云中国行·贵州站活动现场上线发布。依托全场景开源模型资源、易用的模型开发套件,以及强大的共建共享生态系统等优势,社区将使能开发者高效进行AI应用创新,促进国产AI生态繁荣!目前,社区已面向广大开发者正式开放注册。
高耸入云 高耸入云
10个月前
AI大模型如何实现虚拟试衣与视频场景剪辑的未来购物体验应用
在科技行业的热门趋势中,你必定无法忽视日益增长的人工智能大模型的影响力。无论是你热衷浏览的短视频还是见不得的“AI绘画”,或者是你的朋友圈中充斥的“虚拟试衣”和智能聊天软件ChatGPT,这些都在告诉你,AI大模型正在为日常生活带来革命性的改变。今天,我们
四儿 四儿
10个月前
大模型数据集:探索新维度,引领AI变革
一、引言在人工智能(AI)的快速发展中,大型预训练模型如GPT、BERT等已经取得了令人瞩目的成果。这些大模型的背后,离不开规模庞大、质量优良的数据集的支撑。本文将从不同的角度来探讨大模型数据集的新维度,以及它们如何引领AI的变革。二、大模型数据集的新维度
大语言模型微调数据竞赛,冠军!
近日,天池FTDataRanker竞赛落下帷幕,天翼云智能边缘事业部AI团队(后称天翼云AI团队)凭借在大语言模型(LLM)训练数据增强方面的卓越研究,荣获大语言模型微调数据竞赛——7B模型赛道冠军。