[OJAC近屿智能]2024增量市场——AIGC,普通人如何入局?

高耸入云
• 阅读 307

AI是否真的会取代你的工作,或者是掌握AI技能的人将会取代你?随着2023年AI技术的爆炸式增长,许多人开始质疑,如果不掌握如ChatGPT、Midjourney或Stable Diffusion等AI工具,是否就意味着被时代淘汰?进一步地,如何自主训练AI大模型、开发自己的AI产品?这些疑惑在许多人心中盘旋。今天,我们将一起探索这些问题的答案。 想要成为一名AIGC(人工智能生成内容)大模型工程师,究竟需要哪些系统性的知识和技能呢?毕竟,这是一个跨学科的领域,既包含了机器学习和自然语言处理,也涉及到软件工程等多个重要方面。接下来,让我们一步步揭开由浅入深的知识体系框架,是否准备好开始这段探索之旅了呢?

第一阶段A1 你可以构建提示词来解决具体应用问题,大模型应用阶段,使用闭源商业大模型例如:文心一言、星火大模型、ChatGPT

投入:各种AIGCSaaS软件的订阅,例如:GPT 4 20美元/月

知识储备: 大模型提示(prompt)工程、Stable Diffusion 应用场景举例:用ChatGPT做网文作者、用MJ或者SD来做图片生成和视频产出 但实际上这并不具有太大的知识壁垒,我们可以使用AI工具、提示词优化的方式解决某些问题,而这离成为一个大模型工程师还有一段距离。

第二阶段A2 你可以通过程序调用闭源大模型API,将针对应用撰写的提示词封装到已有的系统中,借助闭源大模型的能力,在现有软系统上实现功能扩展或构建新的应用 投入:API费用,例如gpt-3.5-turbo-1106 输入费用:$0.0010 / 1K tokens

知识储备: Python基础、大模型prompt应用及API、Plugins调用、大模型编程、大语言模型发展历程

应用场景举例:聊天机器人,利用闭源大模型API,如ChatGPT、文心一言等,来实现自然语言理解和生成的功能。基于用户输入的Prompt,机器人能够生成合适的回应。

实践项目:聊天机器人:利用闭源大模型API,如ChatGPT、文心一言等,来实现自然语言理解和生成的功能。 基于用户输入的Prompt,机器人能够生成合适的回应。 岗位:提示词工程师 第三阶段A3 你能够针对大模型在已有提示词上的性能表现不足的问题,构建面向任务的指令训练语料,对大模型进行有监督的指令微调,提升大模型在应用上的性能。 算力要求:开源: 1-100块A100,例如 微软云Azure A100 80GB 单卡 30元/小时 显卡价格 A100 74000元/张 API费用,例如:gpt-3.5-turbo 训练费用:$0.0080 / 1K tokens

知识储备:大模型训练流程及主流模型对比、大模型开发工具、大模型Finetune技术、Finetune实践、思维链COT

应用场景举例:R语言数据处理辅助工具Rtutor,在2023年11月9号前RTutor的底层模型都是针对R语言编程能力微调过得Davinci model,RTutor利用经过微调的模型来辅助进行数据分析,能够解释数据分析结果,并提供数据可视化的建议。 岗位:AI应用工程师 实践项目:医疗记录助手:本项目致力于通过对大模型进行微调,开发一个医疗记录助手,专门辅助处理和管理医疗文档。这一医疗记录助手的主要功能包括对医疗文件的分类、回应咨询、提取关键信息,以及自动生成和编辑医疗文档等。其最终目标是创建一个高效、准确且可信赖的医疗文档处理助手,能够处理各种医疗文书相关任务,显著提升医疗文档处理的效率和质量。该助手的核心价值在于帮助医疗专业人员和相关用户更有效地管理医疗记录,提高工作效率和沟通效果,减少人力资源投入,并提升医疗文档处理的专业性和准确性。

第四阶段A4 你能够根据应用需求,借助langchian等大模型应用框架,通过集成领域或场景专业知识、调用智能体等,扩展大模型能力,构建专业的智能问答系统、知识检索系统或多智能体集成系统。 算力要求:1-100块A100(微调需求),显卡服务器租用例如微软云Azure A100 150000元/月、OpenAI Assistants API Retrival费用:$0.20 每GB

知识储备:大模型RAG LangChain、SK拆解、AutoGen原理以及实战

应用举例:以近屿智能的L5级别AI面试官,AI得贤招聘官的多轮对话能力为例: 以前,AI面试官是单向的,只能是AI面试官询问候选人问题,而候选人无法向AI面试官提问。而现在,L5级别的AI面试官已经具备多轮对话的能力。候选人可以随心所欲地向AI面试官提问,Al面试官也能够给予准确的回答,帮助候选人更好地了解雇主品牌和职位信息。这一改进增加了AI面试过程中的互动性和沟通效率。 岗位:AI大模型工程师

第五阶段 A5 针对开源大模型原有基座专业能力不足等问题,在已有的预训练框架下,组织领域相关预训练语料、原有或扩展的指令训练语料等,完成对模型底座的增量预训练、指令训练等任务实现对模型底座的能力扩展。 算力要求:开源:100块到1000块A100起,例如:显卡服务器租用,腾讯云 A100 40GB 单卡 16000元/月 项目:

第六阶段 A6 能够训练高级大模型基座,设置大模型的全量微调或增量微调、Lora微调等大模型预训练策略,搭配Deep Speed加速框架,选择和修改预训练模型,增加特定领域的Token做预训练或增量预训练(比如,在Llama2的基础上做增量预训练,得到Chinese-Llama2) 完全从基座开始独立训练,可以保证每一条投入基座训练的数据都是符合中国法律要求的,不会有违反中国法律要求的数据污染基座,这样从源头保证模型的输出不会出现任何不当的言论。国央企客户通常需要这样的基座作为基础训练行业或者企业级大模型。 算力要求:开源:1000块A100起,通常要7000块A100起,例如:显卡服务器租用,腾讯云 A100 40GB 单卡 16000元/月

第七阶段 A7 能够针对不同的领域或应用问题,研究优化Transformer结构、预训练大模型架构,开发新的大语言模型或多模态大模型,能够提出或改进大模型预训练、指令训练、强化学习阶段的模型架构,提出新的模型解决方案。 算力要求:开源:1000块A100起,通常要7000块A100起,显卡服务器租用:腾讯云 A100 40GB 单卡 16000元/月

更多详情请戳下方OJAC近屿智能的AIGC大模型工程师和产品经理学习路径图 [OJAC近屿智能]2024增量市场——AIGC,普通人如何入局?

点赞
收藏
评论区
推荐文章
高耸入云 高耸入云
11个月前
近屿智能OJAC:大模型工程师与产品专家深度训练营火热招生中
近屿智能OJAC的第五期“AIGC星辰大海:大模型工程师与产品专家深度训练营”火热招生中!近屿智能OJAC始终坚守着"别人教您使用AIGC工具,例如ChatGP7和MJ,我们教您预训练和微调大模型以及开发软/硬件AI产品"的服务宗旨。已经培育了上千位在AI
高耸入云 高耸入云
10个月前
AIGC大模型工程师和产品专家深度训练营:第六期招募中,快来开创您的AI未来!
AIGC的未来已来,您是否准备好成为这一技术的领航者?近屿智能第六期OJAC大模型工程师和产品专家深度训练营正等待着您的加入!别人教您简单使用AIGC产品,例如ChatGPT和MJ,我们教您增量预训练、精调大模型、创造您的AI产品!无论您目前的技术水平如何
高耸入云 高耸入云
9个月前
【OJAC近屿智能】想要成为AIGC大模型工程师, 如何搭建你的知识体系框架?
📖更多AI资讯请👉🏾AI不会取代你的工作,会取代你的是会AI的人,如何提升自己与他人的知识壁垒,如何学习AIGC?相信在过去2023这个AI爆发的元年,我相信也是很多人的疑问,好像不懂使用点AI工具,例如ChatGpt、Midjourney或者SD,
高耸入云 高耸入云
6个月前
近屿智能独家发布:AIGC大模型工程师和产品经理详细学习路径图(附完整版学习路径图)
AI不会取代你的工作,会取代你的是懂AI的人,如何提升自己与他人的知识壁垒,如何学习AIGC?相信在刚刚过去2023这个AI爆发的元年,我相信也是很多人的疑问,好像不懂使用点AI工具,例如ChatGpt、Midjourney或者SD,就好像被淘汰了一样,更
高耸入云 高耸入云
8个月前
近屿智能独家发布:AIGC大模型工程师和产品经理学习路径图,AI技术不再难懂!
随着人工智能技术的飞速发展,AI取代人工的现象在各个行业和领域变得日益普遍,不少人因此忧心忡忡,担心自己的前途受到AI的冲击。实际上,AI不会取代你的工作,会取代你的是懂AI的人,如何提升自己与他人的知识壁垒,如何学习AIGC?相信在刚刚过去2023这个A
高耸入云 高耸入云
8个月前
想要成为AIGC工程师, 却不知从哪里开始学习?近屿全新推出一图看懂!
在这个AI技术飞速发展的时代,在人们常常警惕AI将取代自己的工作的时候,一个另类的说法却悄然流行:“AI不会取代你的工作,会取代你的是掌握了AI技能的人。”这不仅仅是一个警示,更是一个机遇。随着AI工具如ChatGPT、Midjourney、StableD
高耸入云 高耸入云
7个月前
近屿智能独家发布行业领先的AIGC学习路径图
近日来“人工智能即将取代大量人类工作”的话题愈演愈烈,在CCTV13的《两会你我他》访谈节目中,众多专家也围绕这一议题展开了深入的讨论,AI不会取代你的工作,会取代你的是懂AI技术的人。李强总理在访谈中也强调了推动"人工智能"行动的重要性。"人工智能"
高耸入云 高耸入云
7个月前
2024年市场增量,零基础人士如何加入AIGC领域?
AI是否真的会取代你的工作,或者是掌握AI技能的人将会取代你?随着2023年AI技术的爆炸式增长,许多人开始质疑,如果不掌握如ChatGPT、Midjourney或StableDiffusion等AI工具,是否就意味着被时代淘汰?李强总理在访谈中也强调了推