清华大学 THUNLP 实验室与面壁智能联合推出全球首个针对中文 APP 优化的开源 GUI Agent——AgentCPM-GUI,为安卓生态智能化带来全新突破。
技术层面,AgentCPM-GUI 基于 80 亿参数量的 MiniCPM-V 模型搭建,以手机屏幕图像为输入,精准识别界面元素并执行用户指令。与通用 Agent 不同,它深度适配高德地图、大众点评、哔哩哔哩等 30 余个主流中文应用,在实际演示中,能快速完成如检查 B 站 UP 主更新等复杂操作,精准流畅。
在效率上,通过先进的模型压缩技术,AgentCPM-GUI 将平均动作长度降至 9.7 个 Token,在普通安卓设备也能快速响应,运行体验接近原生应用,极大降低了硬件使用门槛。
该项目秉持普惠理念完全开源,开发者可自由获取代码与文档进行二次开发,不仅填补了中文 GUI Agent 领域的空白,还大幅降低中文 APP 智能化交互的开发成本,吸引中小企业共同构建智能生态。
从导航规划路线、社交平台提取信息,到生活服务一键预订,AgentCPM-GUI 在多场景实现语音指令智能操作。其发布不仅是国产 AI 技术研发的里程碑,更凭借对中文应用的深度适配,展现了中国 AI 企业在本地化场景中的核心竞争力。
AgentCPM-GUI 既冲击传统 AI 岗位,也创造新机遇,促使 AI 就业市场向更专业化、多元化、复合化方向发展,现在正是学习AI的最佳时机。近屿智能精心策划并推出了《AIGC大模型应用工程师》、《AIGC多模态大模型应用工程师》及《AIGC多模态大模型产品经理》三大AIGC大模型课程,结合实战项目演练,帮助学员快速掌握前沿AI技术和大模型应用,课程还提供求职辅导、面试机会和就业推荐,三大AI培训课程助力学员在AI时代脱颖而出。
A系列:AIGC大模型应用工程师课程:本课程专为零基础到进阶的 AI 工程师学员打造,会依据个人情况定制学习路径。A2 阶段起,学员可在 100 个横跨多行业的真实选题中,开展 AI 智能体项目,全面提升技术与实战力,精准培育 AI 高薪人才。
➢ 本课程适合零基础入门到进阶AI人工智能工程师意向学员 我们提供个性化的课程设计,以适应不同学员的起点和需求。课程每个阶段都设定了相应的学习标准,在A2阶段开始学习后,每位学员将同步开启一项核心任务:亲手开发一个属于自己的 AI 智能体项目。 为支持项目落地,我们精心准备了100个真实可执行的选题方向,你可从中任选其一作开发起点。本次实战将贯穿A2至A4 阶段,项目覆盖多个行业场景,贴合真实应用场景,帮助你将所学知识转化为实际开发能力,全面提升技术实力与实践经验。 ➢ 学习目标 0基础和有基础均可学习,不同阶段课程自由选择,定向培养人工智能方向的AI人才,培训结束合格即可上岗,从事Prompt(提示词)工程师、AI应用开发工程师等高薪技术岗位。
B系列:AIGC多模态大模型应用工程师课程:课程深度聚焦MLLM工具,全方位解析使用技巧、API调用方法,深入开展工具开发与增强实践。覆盖AI创作、视觉艺术等多领域,致力于培育精于AI技术应用与创新的多模态大模型工程师。
B1阶段
熟练掌握各种多模态大模型工具(Qwen2-VL,GPT4o,可灵大模型等),完成短视频文案、剧本创作,视频剪辑、图像创作、游戏设计、短视频生成等工作,实现工作模式的升级和效率的提升。
B2阶段
学习多模态大模型的通用理论基础,获得多模态大模型的高级认知,在MLLM工具使用的基础上,通过API调用完成批量化创作。
B3阶段
能够根据应用需求,借助大模型应用框架,集成语言模型以及多模态模型构建应用,扩展大模型能力。
B4阶段
针对多模态大模型能力的局限性,对多模态大模型的能力进行可控调优
适合人群:
➢ 设计与创意行业从业者
○ 原画师:需要利用AI来增强创作过程,提高效率和创意表现。
○ AI设计师:专注于使用AI工具进行设计工作,创造视觉内容。
○ AI美术师:结合美术功底与AI技术,进行艺术创作和视觉设计。
○ AI视觉设计:利用AI进行视觉设计,包括界面、插画等。
➢ 媒体与娱乐行业从业者
○ 剪辑师:通过学习AI技术,提高剪辑效率,实现自动化编辑流程。
○ 娱乐媒体行业从业者:需要掌握AI工具来创作或优化娱乐内容,如视频、音乐等。
○ AI内容运营:负责管理和运用AI生成的内容,进行有效的内容策略规划和执行。
➢ 技术开发人员
○ 多模态应用开发工程师:开发结合多种模态(如视觉、语音、文本)的AI应用。
○ 多模态开发工程师:专注于创造能够处理和学习多种类型数据的AI系统。
➢ 市场营销与商业运营
○ 市场营销:利用AI进行市场分析、消费者行为预测和个性化营销内容创作。
○ AIGC内容运营:专注于运营由人工智能生成的内容,包括社交媒体、广告等。
➢ 教育工作者
○ 教育工作者:利用AI工具辅助教学,开发个性化学习内容,提高教学效率。
➢ 新人与转行者
○ 想进入设计行业的应届生:对于刚刚毕业、希望进入设计行业的学生,学习AI技能可以增加就业竞争力。
○ 创意设计相关岗位的AI设计师:对于希望结合创意与技术,从事设计行业的人员。
C系列:AIGC多模态大模型产品经理课程:聚焦新兴职业 AI 产品经理培养,从基础起步,深入实战。全面涵盖产品管理、竞品分析、AI 工具运用、大模型原理,深耕多模态创新应用,塑造 AI 时代产品管理专家。
涵盖从基础入门到实战项目,包括产品管理、竞品分析、AI工具应用、大模型技术原理及其在多模态领域的创新应用,旨在培养具备AI时代产品管理能力的专家。
➢12节专业课程,为AI产品经理转行打造入门到精通的一站式学习体验
➢深入学习50+顶尖AIGC应用,并通过50+案例分析,提升AI产品开发效率和实战能力
➢ 从产品基础必学课程到多模态及大模型技术通识,全方位打造职业竞争力
实战项目
以AI赋能的销售代理(SAIes Agent)为例。
我们将从传统销售系统出发,探讨其主要功能及存在的痛点。引入大模型后,我们可以针对上述痛点提出新的功能需求,如下所示:
✧ 精准的用户画像构建:通过大模型,能够更准确地分析用户需求,形成详细的用户画像。
✧ 动态定价策略:利用实时数据分析,动态调整产品定价,以提高竞争力。
✧ 个性化营销建议:大模型可以根据用户行为和偏好,提供量身定制的营销策略。
我们将从中选择具体的功能点进行深入拓展。
➢ 更多实战项目
除了销售代理,我们还将推出以下实战项目,涵盖多个领域:
✧ AI在市场营销领域的应用:探索如何利用AI技术提升市场营销效果。
✧ 游戏行业的智能NPC开发:开发更具智能和互动性的游戏角色。
✧ 法律咨询的智能辅助工具:为法律服务提供智能化支持,提升咨询效率。
✧ 医疗健康的数据分析平台:分析医疗数据,助力健康管理和决策。
这些领域的实战项目正在逐步完善并持续开放,为学员提供丰富的实践机会。