Hugging Face Transformers 用于 Pytorch/TensorFlow/JA开源项目

我要开发同款
匿名用户2021年10月19日
27阅读
开发技术Python
所属分类人工智能、机器学习/深度学习
授权协议Apache-2.0

作品详情

Transformers是为Jax、PyTorch和TensorFlow打造的先进的自然语言处理。Transformers提供了数以千计的预训练模型,支持100多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨让最先进的NLP技术人人易用。

Transformers提供了便于快速下载和使用的API,让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 modelhub 与社区共享。同时,每个定义的Python模块均完全独立,方便修改和快速研究实验。

Transformers支持三个最热门的深度学习库: Jax, PyTorch and TensorFlow —并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。

你可以直接在模型页面上测试大多数 modelhub 上的模型。官方也提供了 私有模型托管、模型版本管理以及推理API。

一些例子:

用BERT做掩码填词用Electra做命名实体识别用GPT-2做文本生成用RoBERTa做自然语言推理用BART做文本摘要用DistilBERT做问答用T5做翻译
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论