java开发、项目经理 2021年06月 - 2021年10月北京本系统是基于军事、疫苗、航空等一些和政务相关的业务,通过网上的论文,以及中译的一些论文,进行知识图谱本体的构建,并且基于产品的基础上,对知识图谱进行深度定制,构建出三大引擎系统,并一同构建出了一套灵活配置的科技搜索系统,满足了客户基本的需求;此外,由于客户需求较多,在负责开发和前端页面展示的基础上,进行需求的确定,对于不合理的需求,对客户进行引导, 拒绝了不合理的需求; 项目经理负责的工作如下: 1. 需求调整; 2. 需求变更 3. 对不合理的需求进行引导,进行拒绝; 4. 指定工期完成业务系统的交付; 5. 文档编写; java开发负责的工作如下: 1. 接口定制; 2. 基于spring boot进行登录接口开发; 3. 基于elastisearch进行搜索服务开发,满足千亿级别数据导入; 4. 进行kakfa对接客户数据,满足千亿数据导入知识图谱; 5. 大批量数据导入mongo;满足千亿数据量; 6. 从docker迁移至k8s; 7. k8s部署构建; 8. 知识融合接口定制,满足用户提及的知识溯源功能;

本系统是客户抓取国外的数据保存至mysql后,基于现有数据提取出知识图谱的本体;其次,进行文本解析,提取导入至知识图谱平台,且在知识图谱作为底座的基础上,一并构建出一套搜索引擎,满足客户对美国议员提交或者通过法案进行溯源分析; java开发工作如下: 1. 数据抓取脚本编写,通过增浪同步的方式进行导入elasticsearch中; 2. 定制es的同义词查看,对接入mysql上,满足数据中同一名字不同叫法的bug问题; 3. 编写es的script的painless脚本,完成数据的聚合等功能; 4. 搜索系统架构设计、接口设计、功能设计; 5. 功能开发; 6. 前后端连调; 7. docker容器构建;k8s编排;

datax-web是基于阿里的datax的基础上提供一套开源解决方法,提供了简易的操作方法,降低datax的学习成本,减少代码编写,增加开发效率. 由于目前参与不久,所以从最基本的开始,参与建设了以下功能: dockerfile单机版本编写发布至docker hub中 docker-compose编写,提供其分布式解决方案 dockerfile单机版本编写发布至docker hub中; docker-compose编写,提供其分布式解决方案借鉴elasticsearch的github中tools模块,通过编写相关代码,自我构建一套利于linux服务器的自启动的systemd配置方案. 目前代码还在熟悉阶段,之后更加紧密参与进去. github访问地址,也积极欢迎有兴趣的公司能够使用登记,提出问题和建议,我们会积极作出对应的改善,完善项目; 项目地址:https://github.com/shizeying/datax-web