ModelScope 社区成立于 2022 年 6 月,是一个模型开源社区及创新平台,由阿里巴巴通义实验室(Institute for Intelligent Computing),联合 CCF开源发展委员会,共同作为项目发起方。
魔塔社区是一个免费的AI集成网站,里面有内容丰富的模型库,包括文本生成、翻译、识别、视频描述、图片描述等功能。用户可以在这个平台上方便地使用各种AI模型,并且可以通过开源的方式获取和使用这些模型。魔塔社区提供了许多现成的模型供用户使用,用户也可以根据需要自定义模型。此外,魔塔社区还提供了许多其他功能,如AI问答、AI绘图等,使用户能够更加方便地进行AI开发和集成。
魔塔社区属于国内平台,所以不需要什么镜像之类的国内下载速度就很快。
这里简单介绍下使用方法。
以 Qwen1.5-0.5B-Chat为例。
https://modelscope.cn/models/qwen/Qwen1.5-0.5B-Chat/files
提供了两种下载方式,SDK和Git。
依赖安装 pip install -U modelscope
SDK 的下载方式就是 python 脚本snapshot_download。
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen1.5-0.5B-Chat')
默认模型会下载到~/.cache/modelscope/hub中,如果需要修改下载目录,可以手动指定环境变量:MODELSCOPE_CACHE,modelscope 会将模型和数据集下载到该环境变量指定的目录中。
也可以指定cache_dir,或者下载单个文件。
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('damo/nlp_xlmr_named-entity-recognition_viet-ecommerce-title', cache_dir='path/to/local/dir', revision='v1.0.1')
from modelscope.hub.file_download import model_file_download
model_dir = model_file_download(model_id='AI-ModelScope/rwkv-4-world',file_path='RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096.pth',revision='v1.0.0')
这里有详细的下载模型文档。
https://modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%8B%E8%BD%BD
也可以采用 git clone 的方式,但是都不怎么推荐。