UfaceConvertServer 模型量化服务开源项目

我要开发同款
匿名用户2022年04月02日
40阅读
开发技术Python
所属分类程序开发、常用工具包
授权协议MIT

作品详情

目前的嵌入式算法开发中,针对不同芯片平台进行模型量化是模型工程化必不可少的一部分。一般的方式是算法开发人员自己搭建量化环境进行量化,这种方式需要每个算法开发都搭建一套自己的环境,需要熟悉不同的量化工具,而且需要手动量化。本项目试图通过模型量化服务,可免去算法工程师自己搭建各种芯片的量化环境,而只需要在服务所在的机器上配置好相关的量化工具链即可。算法工程师只要按规则通过Web将模型上传至指定位置,服务将根据配置自动为其量化,并将量化后模型上传至指定位置。当前支持RKNN芯片,可扩展至其他平台。

配置安装minio,可参考官网:https://docs.min.io/,或直接通过以下命令进行docker安装:sudodockerrun-p9003:9000--nameminio\-d--restart=always\-e"MINIO_ACCESS_KEY=admin"\-e"MINIO_SECRET_KEY=123@abc.com"\-v/nfs_79/model_zoo:/data\#模型位置-v/nfs_79/model_zoo/config:/root/.minio\#minio配置存储路径minio/minio:RELEASE.2021-04-06T23-11-00Z.hotfix.e46577116server/dataminio是一个对象存储服务,可以帮助我们管理模型文件,并且提供了Web和S3API便于操作。上述命令将在本机开启一个服务,用户上传的数据在本地的/nfs_79/model_zoo中,访问方式为 https://ip:9003 2.安装rknn量化工具包

项目文件说明sync_server.py定时将minio上的文件同步至本地目录

model_repo_monitor.py监控模型目录,如果发现有模型需要转换,添加到任务队列

rknn_quant.py进行rknn量化,并上传日志和转换后的模型到minio

logger.py日志相关

config.py读取配置信息

repo_uploader.py上传文件到minio仓库

common_utils.py其他

如何使用首先开启sync_server.py进行minio仓库和本地目录的同步设置config.py的信息,主要是minio仓库的账号信息pythonmain.py--repo-dirlocal_path开启服务访问 https://ip:9003 上传模型至minio,目录结构应为:ModelName/ModelVersion/rknn,在此目录下放置原始模型,convert_config.json(量化配置文件)以及quant_imgs(量化图片目录)
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论