PyText是一个基于PyTorch构建的深度学习 NLP建模框架。PyText通过为模型组件提供简单且可扩展的接口和抽象,以及使用PyTorch的Caffe2执行引擎导出模型进行推理的功能,模糊了实验与大规模部署之间的界限。其预训练模型包括文本分类、序列标注等。
PyTorch是一个统一的框架,缩短了从研究到生产的路径,而基于PyTorch的PyText则着眼于满足NLP建模的特定需求。
核心特性:
-适用于各种NLP/NLU任务的生产就绪模型
文本分类
YoonKim(2014):ConvolutionalNeuralNetworksforSentenceClassification
Linetal.(2017):AStructuredSelf-attentiveSentenceEmbedding
序列标注
Lampleetal.(2016):NeuralArchitecturesforNamedEntityRecognition
联合意图时隙模型(Jointintent-slotmodel)
Zhangetal.(2016):AJointModelofIntentDeterminationandSlotFillingforSpokenLanguageUnderstanding
上下文意图-时隙模型(Contextualintent-slotmodels)
-支持在PyTorch1.0中基于新C10d后端构建的分布式训练
-可扩展组件,可轻松创建新模型和任务
-参考实现和预训练模型论文:Guptaetal.(2018):SemanticParsingforTaskOrientedDialogusingHierarchicalRepresentations
-支持联合训练
评论