KeystoneML 机器学习框架开源项目

我要开发同款
匿名用户2015年05月31日
41阅读
开发技术Scala
所属分类人工智能、机器学习/深度学习
授权协议Apache

作品详情

KeystoneML是一个用Scala编写的软件框架,来自伯克利大学AMPLab实验室。该项目主要目的是简化构造大规模、端到端的机器学习管道,基于ApacheSpark构建。

示例代码:

val trainData = NewsGroupsDataLoader(sc, trainingDir)val predictor = Trim.then(LowerCase())  .then(Tokenizer())  .then(new NGramsFeaturizer(1 to conf.nGrams))  .then(TermFrequency(x => 1))  .thenEstimator(CommonSparseFeatures(conf.commonFeatures))  .fit(trainData.data)  .thenLabelEstimator(NaiveBayesEstimator(numClasses))  .fit(trainData.data, trainData.labels)  .then(MaxClassifier)

测试:

val test = NewsGroupsDataLoader(sc, testingDir)val predictions = predictor(test.data)val eval = MulticlassClassifierEvaluator(predictions, test.labels, numClasses)println(eval.summary(newsgroupsData.classes))

输出:

Avg Accuracy:    0.980Macro Precision:0.816Macro Recall:    0.797Macro F1:    0.797Total Accuracy:    0.804Micro Precision:0.804Micro Recall:    0.804Micro F1:    0.804
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论