税务管理系统 由于税务工作流程复杂,目前整体税务工作销项发票的购入领用、申请开具、开出、退票、作废遗失管理和进项发票的收取、认证、抵扣、转出以及进项发票到期未抵扣等管理均以手工处理为主。由于全网进项发票和销项发票的数据量庞大,迫切需要建立全网税务工作系统化、自动化处理的系统,以加强税务工作的信息质量,提高工作效率,降低税务风险。 技术描述: 使用dubbo实现rpc提供微服务、缓存及配置采用redis、数据存储使用mysql、使用基于springmvc开发的自助框架novatar+mybatis等框架进行开发。

大规模互联网舆情监测系统(hornbillmonitor) hornbill monitor互联网舆情监测系统,是基于互联网公开数据的大数据处理分析平台,能够对主流社交媒体、新闻网站、视频网站、博客论坛等互联网主要平台进行数据采集、处理、分析,进而分析整体舆情、社交账号、网络事件、网络活动等,为用户提供第一手的互联网舆情动态趋势信息。 系统主要模块介绍: 数据源:由爬虫端爬取facebook、twitter的用户帖子信息以及新闻网站的信息,将爬到的数据封装成json写入kafka相应的topic中。 etl:通过spark-streaming从kafka中读取数据,进行数据清洗和数据转换,将转换后的数据持久化到hbase中用做数据的备份和rolling-computer,并把hbase的rowkey重新写入到kafka的独立topic中。 数据标注:通过spark-steaming从kafka中读取hbase的rowkey,并从hbase中加载对应的数据到sparkrdd,通过dubbo作为数据传输到算法平台(情感,语言等)和geo(开源nominatim地图服务)平台进行数据标注。 数据存储:将标注好的数据持久化到es集群,工业务查询;