8月底,魔乐开发者社区上线,引起开发者的关注。据了解,在魔乐社区的平台上,每一位开发者都能找到所需的资源和工具,无论是数据集、模型库还是开发工具,魔乐社区都将提供一站式服务。那该怎么玩呢?来来来,跟随我的脚步,教你10分玩转魔乐开发者社区(modelers.cn)。
魔乐社区的基础信息: 概念:魔乐社区作为一体化开源平台,集成了openMind Library和openMind Hub Clinet等工具套件,模型库、数据集和体验空间等核心组件,覆盖了自然语言处理、视觉、音频等领域。致力于打造开放共享的人工智能生态社区,提供首发原生模型、易用开发工具、丰富生态资源,帮助每一位开发者获取领先的人工智能技术,打造出更有竞争力和差异化的模型及应用。
魔乐社区提供哪些服务? 魔乐社区托管基于Git的仓库,包含以下内容: 仓库:存储模型、代码和文件,支持用户和组织协作开发。 模型:托管用于自然语言学习、视觉和音频任务的模型。 数据集:托管用于翻译、语音识别和图像分类等任务的数据集,包含生成训练、评估和测试所需的数据。 体验空间:开发者可以使用体验空间一键部署在线推理服务;用户无需下载即可体验各大模型的推理服务。
名词解释: 名词 定义 克隆 从魔乐社区下载仓库内的完整数据,包括仓库内的每一个文件夹和文件。 Task 任务(Task)指一个特定领域的应用,用于完成特定场景的便捷式任务。 比如图像分类、文本生成,根据任务的输入输出找到合适的任务类型,并筛选出所需的模型。 模型 模型(Model)是指一个具体的模型实例,包括模型网络结构和参数。 数据集 数据集(Dataset)是存储在魔乐社区中用于训练、评估和测试的数据。
如何快速上手? 获取模型 您可以访问魔乐社区模型库,获取平台上所有公开的模型,并根据模型标签或任务筛选所需的模型。 接下来以“PyTorch-NPU/qwen1.5_7b_chat模型”为例,带您深度体验魔乐社区模型库。 进入魔乐社区模型库后,可以通过筛选“文本分类”任务或者在搜索框输入模型名称的关键词,定位到所需的模型上。模型卡片中将展示模型的基础信息、任务类型、模型使用的AI框架等信息,帮助您快速了解模型关键信息,判断其是否为目标模型。
单击模型卡片,进入模型详情页内,查看模型介绍。 在这里,您可以了解模型所有者提供的详细信息和操作指导。
根据右侧关联的体验空间,可以跳转至体验空间,在线体验模型在具体应用程序中的效果。 除了在线体验关联的体验空间之外,用户可以下载模型文件,当前支持Git和openMind Hub Client等方式下载,具体操作请参考下载模型。 如果您想进一步验证模型效果,请单击模型右上角的“Use in openMind”,在已准备好本地环境(参考“环境准备”)的前提下,下载并加载模型,Web界面命令示例如下:
环境准备 本地运行模型时,本地开发环境需要满足如下要求: 安装Python环境:支持Python 3.8。 安装深度学习框架:支持MindSpore 2.3、PyTorch 2.1两大深度学习框架进行模型训练和推理,当前快速上手样例请安装PyTorch 2.1。 安装openMind Hub Client:使用pip安装openMind Hub Client。 安装openMind Library:使用pip安装openMind Library。 更详细的安装信息请参考环境安装。
实践:文本的情感分析任务 使用openMind Library等工具套件仅需简单的几行代码即可完成模型推理,本节以文本的情感分析任务为例,请参考如下步骤进行模型推理。
*操作步骤 * 1.使用“用户名/仓库名”的格式指定魔乐社区模型库内的情感分析微调的多语言BERT模型distilbert_base_uncased_finetuned_sst_2_english模型代码仓,并使用 AutoModelForSequenceClassification和AutoTokenizer加载该代码仓中的预训练模型和关联的分词器。 2.通过pipeline()指定模型和分词器。 3.通过classifier对输入的文本内容进行情感分析。 4.查看分析结果。
结语 根据这个流程,整体体验蛮流畅的。在访问魔乐社区的过程中,发现其不仅提供了丰富的模型资源,还支持用户在线体验模型的训练和推理,同时提供一些免费可用的算力资源,缩短了AI开发周期。希望有更多的朋友体验魔乐,一起分享交流下经验。 魔乐社区:https://modelers.cn