工作经历
2021-07-08 -2022-07-01钛镕智能科技(苏州)有限公司数据开发
参与对公知识图谱系统的设计、搭建、环境部署; 对需求进行整理,初步预估需求所需开发时间,计划周工作、月度工作、季度工作; 进行需求分析,编写需求分析文档,规划需求开发周期; 对接各系统,抽取数据,对数据加工处理,制作报表; 负责系统运维及临时数据提取。
教育经历
2016-09-10 - 2020-07-10安徽科技学院信息与计算科学本科
技能
1、熟悉数据ETL流程,熟悉Hive等工具的数据处理、清洗、变换手段。 2、熟练掌握shell脚本语言,可熟练操作Linux系统,了解Perl脚本。 3、了解Hadoop生态圈大部分主流框架技术(HDFS、MapReduce、Spark、Hive、Flume、Kafka、 Oozie、YARN)。 4、了解Flume、Kafka、Spark Streaming三者的集成使用,可实现实时流式数据采集与存储。 5、熟练掌握SQL语言,熟练运用hql、Spark sql,熟练操作MySQL关系型数据库,了解Oracle, Teradate。 6、了解Beyond Compare文件比对文件的操作流程。 7、了解Java、Scala语言。
1、熟悉数据ETL流程,熟悉Hive等工具的数据处理、清洗、变换手段。 2、熟练掌握shell脚本语言,可熟练操作Linux系统,了解Perl脚本。 3、了解Hadoop生态圈大部分主流框架技术(HDFS、MapReduce、Spark、Hive、Flume、Kafka、 Oozie、YARN)。 4、了解Flume、Kafka、Spark Streaming三者的集成使用,可实现实时流式数据采集与存储。 5、熟练掌握SQL语言,熟练运用hql、Spark sql,熟练操作MySQL关系型数据库,了解Oracle, Teradate。 6、了解Beyond Compare文件比对文件的操作流程。 7、了解Java、Scala语言。
1、熟悉数据ETL流程,熟悉Hive等工具的数据处理、清洗、变换手段。 2、熟练掌握shell脚本语言,可熟练操作Linux系统,了解Perl脚本。 3、了解Hadoop生态圈大部分主流框架技术(HDFS、MapReduce、Spark、Hive、Flume、Kafka、 Oozie、YARN)。 4、了解Flume、Kafka、Spark Streaming三者的集成使用,可实现实时流式数据采集与存储。 5、熟练掌握SQL语言,熟练运用hql、Spark sql,熟练操作MySQL关系型数据库,了解Oracle, Teradate。 6、了解Beyond Compare文件比对文件的操作流程。 7、了解Java、Scala语言。