系统架构：springboot+antlr4+zmq+disruptor+arrow+gossip+jep+elasticsearch+tsdb 开发环境：idea+jdk+maven+git 项目描述： 为解决上层应用对数据存储系统的依赖，降低应用开发成本，故开发该搜索处理语言，用于快速实现应用功能开发，前端可直接对接搜索处理语言引擎，免去了后端的开发工作。后续的大数据应用的基本框架为：数据存储 + 数据计算。 责任描述： 独立完成需求分析、技术预研、架构选型、代码编写。 开发步骤： 1.使用anltr4对语法进行解析编译优化生成语法节点树，然后对树进行分组最终形成可执行的任务图。 2.将任务图解析为运行时的作业Job，任务图中的分组将被解析为TaskGroup任务分组；TaskGroup中包含一组可以执行任务Task；Task是最小的执行单位；Job中的TaskGroup可以分布式执行。 3.将TaskGroup构造成disruptor生产者消费者模型，语法中对接数据源部分为生产者，其余对数据处理的语法命令为消费者，消费者之间为串联关系；一个生产者或者消费者对应一个线程进行处理。 4.集成jep，实现搜索处理语言可执行python代码，来完成数据复杂的计算处理逻辑；可由python扩展语法命令逻辑，由搜索处理语言触发调用。 5.实现java注解方式扩展语法命令框架，通过@spl方式扩展，由引擎扫描注解并加载扩展命令。 6.使用gossip协议发现集群节点，改造apache gossip源码使其支持leader选举功能。 分布式任务实现，基于zmq的pull - push模式完成对任务图的分发，使用req - rep模式完成与TaskGroup之间的心跳通讯；也是用该模式完成数据传输。

项目名称：质链通 软件架构：springcloud+mybatis+mysql 开发环境：idea+maven+git+jdk 项目描述： 质链通是一个水泥行业样品质检报告管理系统，通过已创建的质检标准关联已做质检检测样品数据，然后根据标准中检测项标准限量判定表达式进行判断该样品检测项是否合格，只要标准中一项不合格那么此次样品质量检测自动判定为不合格，判定之后会生成pdf质检报告，质检报告可以通过小程序端进行分享、收藏、下载。 责任描述： 1.负责需求梳理，独立完成后端业务代码。 2.负责样品数据采集。

软件架构：springcloud+mybatis+redis+hadoop+kettle+mysql+elasticsearch+hugegraph 开发环境：idea+maven+git+jdk 项目描述： 该项目是与朋友一起在空闲时间做的一个产业类新闻推荐项目，项目主要聚焦于水泥及水泥的各种原材料相关产业的新闻网站，产业类新闻网站目前比较少，主要是想弥补这方面的不足；新闻文章分数据来源有两类：平台用户发表、爬虫采集产业新闻；新闻的推荐主要是收集用户行为，然后划分权重比例计算之后进行推送。 责任描述： 1.负责文章检索服务。 2.负责机房数据同步。 3.负责大数据平台建设、维护、数据处理。 4.负责上线后系统维护、功能扩展。 开发步骤： 1.sringboot集成elasticsearch，并提供文章检索接口。 2.大数据系统建设；使用hdp搭建hadoop大数据系统，集成hue组件；基于hive创建数据模型，使用kettle设计数据抽取任务，完成对文章、用户行为数据定时抽取到hive的数据流程。 3.机房数据同步分为往线上推、从线上拉；线上机房在北京、线下机房成都；线下机房承载爬虫采集数据、大数据系统、新闻推荐算法在线下机房运行；线上机房运行业务系统，产生的数据有用户、行为、用户发表的文章数据。往线上推的数据主要有：爬虫采集的新闻文章、推荐算法生成的待推荐结果数据，这部分数据通过kettle定时任务定时增量推送到线上。从线上拉的数据主要采用mysql主从备份的机制实现，在线下机房建立备库用于实时备份线上数据。 4.数据汇入hive，线下的文章数据使用kettle定时导入，线上的文章、行为、用户数据备份到下线之后，再通过kettle定时任务导入到hive。 使用HugeGraph图数据库构建强关联的图数据，用于用户与用户之间推荐，即朋友的朋友也是朋友；编写python脚本用于将数据定时导入到HugeGraph。