背景：数据中台产品群产品结构复杂，数据中台的部署需要依托于大数据平台的底座，这决定了市场上存在很多公司对于数据中台的需求度不高，因此需考虑一种无需依托大数据平台的轻量化的数据开发工具。 轻量化 ETL 平台：通过拖拉拽的方式配置工作流的方式，实现了对数据进行抽取、加工、回流等工作。 根据开源的 kestra 的0.5.3版本进行二次开发的，支持可插拔的插件方式部署。相关技术栈：micronaut、gradle、mysql、jdbc等。 主要功能如下： 任务流管理，任务执行记录，任务调度，执行日志，任务编排，数据源管理，数据服务 api ，文件导入等。 任务流管理：是通过拖拉拽的方式实现的，每个工作流节点都可以进行任务编排填写相关配置，编排好的工作流节点 通过连线的方式指向下一个工作流节点，依次类推设计好工作流。同时可以通过 cron 表达式配置该任务流执行的时间，或者配置为 webhook 方式请求的 api 接口等。 任务执行记录：编排好的工作流可以根据 cron 表达式的时间执行，也可以根据外部接口调用方式执行， 每次执行都会有相关执行记录，进度条，状态，执行日志以及 每个工作流节点的输出内容。 数据源管理：可以在这里管理数据源，目前仅支持 mysql，oracle 数据源配置，并同步相关数据源中的 schema ，数据库，数据表和表字段等元信息。方便用于工作流的数据源节点进行选择。 数据服务 api ：目前仅实现了 get 请求的功能，通过配置请求和相应参数，写查询 sql ，通过 jdbc 方式进行查询远程数据。 业绩： 1、通过拖拉拽的方式配置工作流的方式，实现了对数据进行抽取、加工、回流等工作。 2、目前可根据轻量化 ETL 平台接入第三方数据，经多方验证和压测，目前最大支持500万级别的数据。 3、也可以对外提供简单的数据服务 api ，目前已提对外提供了50多个可公用接口。 4、目前已应用到天能项目，产融云，普惠等项目中。 5、给 kestra 开源社区提供了拖拉拽的思路和技术方案。

一个数据大屏的编辑工具。主要包括用户管理，权限管理，数据源管理，数据集管理，报表管理，大屏报表，表格报表，报表分 享，系统管理等功能。 用户管理，权限管理：做到了功能菜单按钮级别。 数据源管理：支持配置 mysql，SQL server，oracle，presto，http，jdbc，elasticsearch_sql 等多种数据源，并支持联通性测 试。 数据集管理：支持两种方式。 1、sql 方式：选择系统内配置的可用数据源，写 sql 进行查询相关数据，并有数据转换功能； 2、http 接口请求方式：配置好相关的 http 请求路径和请求头以及相关入参，获取接口返回的数据，并支持数据转换功能。上述 的数据转换功能可以写 java 脚本，js 脚本和字点翻译。 报表管理：支持两种类型的报表。 1、大屏报表，即可以分享出一个不用登录且存在有效期的 http 连接，客户可以打开这个连接后全屏展示到已经设计好的屏幕上。 2、表格报表：即 excel 报表，可以用于数据报表的生成，支持导出功能。 报表分享：展示的是已经分享出来的大屏报表，可以在这里进行查看 url 连接、分享码、以及控制有效期。 技术栈：spring boot、maven、mysql、redis、minio、mybatis、mybatis plus等。

业余时间独立完成的excel数据录入系统，经过优化后在任职公司落地使用，解决了公司线下台账excel数据维护的难题，并保存到mysql数据库中。 以模板的方式，一次性解决了重复解析 excel 的工作，不懂代码的业务侧同事也可自己操作维护台账数据到系统中，大大提高了工作效率。目前已导入100多万条线下台账，台账数据已用于数据和风控团队的数据加工、指标衍生、数据服务api设计、数据清洗等。 主要模块包括：密钥登录，文件录入，模板管理。 线下为不同部门或子公司同事分配不同的加密密钥，在登录时输入密钥即可进入系统首页。 核心操作步骤如下： 1、根据业务需要，在系统中的模板管理中添加模板，并维护该模板中数据列的字段名称、字段类型、长度等信息。， 2、然后点击建表sql即可查看mysql的完整建表语句，交到 sql 审核平台审核，审核通过后数据表创建完成。（目的是为了安全留痕） 3、点击模板导出按钮，导出该模板对应的excel模板文件。 4、业务侧人员只需要按照步骤1得到的excel模板进行数据整理，然后在系统中选择匹配的模板进行导入即可。一次性解决了研发重复解析 excel 的工作。 节省开发时间，提升效率。 技术栈：springboot，minio，mysql，jdbc ，百度amis，nginx反向代理，nodeJs等技术。