大数据

构建本系统的初衷是为实现大汉各大小区的数字化管理，经历4年时间迭代，逐渐成熟并已推向市场。 本系统主要模块： 基础信息管理：实现合作商户、合伙人、物业信息设置、资产设置及对应水电仪表管理 客户管理：主要实现客户房产、车位的产权管理，催缴信息，客户拜访信息、档案信息管理 收费管理：主要包括小区各费项设置、收费标准、优惠信息、临时费用、账单、充值、对账、退款、仪表抄送等 财务管理：科目信息、凭证、结算、财务报表等 品质管理：报事报修、秩序、保洁、绿化、设备维保与巡检等 订单监控：各费项收缴分析、报事报修报表、品质任务报表 系统设置：组织架构、职能、权限以及一些通用设置、租赁配置等 个人职责： 1. 参与收费管理部分功能开发，主要是支付宝、微信的支付开发 2. 品质管理模块的报事报修开发 3. 独立负责订单监控模块开发，通过大数据手段，搭建离线数仓，生成T+1数据，并采用永洪报表系统构建报表、图表等 4. 物业交易大屏开发，开发过程同上 难点： 独立构建大数据环境，通过sqoop抽取源数据，构建数

1.首页：提供数据分析。 项目管理：各类项目状态及列表。 产业分析：各产业的分析数据。 2.负责前端页面的开发及对后端数据的对接，及数据处理，用到vue，h5，css，JavaScript，等技术，以及elementUI，echarts，datav，等第三方组件库

通过自动化脚本，实现亚马逊网站的商品智能全自动采集 不过这是当初客户的要求，做协议也可以，上代理池，可实现高并发爬取

1.该项目使用数仓分层模型，实现数据整合，报表汇总，管驾指标等功能 2.我负责使用ORACLE进行公共层数据整合、报表开发、需求分析、文档编写等内容。

1.本系统采用底层数据库clickhouse，通过多维度的筛选，生成符合要求的人群 2.运营人员会根据用户行为标签生成相应的人群包，然后在信息流平台上选择相应的广告平台和活动，并投放对应的人群包。 该系统通过用户行为圈选生成MD5人群包，用生成的MD5人群包投放到信息流平台系统，再通过预警系统，发送预警信息推送给广告主，广告主可通过推送信息，更加精准地把控成本，同时及时了解广告投放效果，根据实际情况调整广告投放策略。 这项技术的操作非常便捷和高效。通过该系统，运营人员可以轻松地进行自主操作，无需手动上传到各个广告平台，有效减少了数据泄露的风险。运营人员可以通过广告信息流平台方便地推送广告到各个平台，并利用预警管理系统设置预警信息，及时推送广告效果信息和成本信息。这一切的实现，使得传统繁琐的手动操作变得简单化，大大提升了运营效率，让运营人员能够更加专注于广告效果的提升和优化。

该项目主要用于监测浙江省就业环境进行大数据分析以及预警，进行指数分析，帮助决策整体上能够清晰得知那个地区失业严重，和每个地区评价指数分。

该项目为某信息服务公司呼叫中心的大屏可视化项目，主要使用FineReport+SQL制作可视化报表和大屏看板，实现数据的实时监控。

项目通过spark计算框架对已有电商数据集进行分析处理，通过springboot+vue可视化大屏项目进行展示并通过nginx部署在Linux系统中

1、项目使用SpringBoot+vue+jdk1.8进行开发，部署架构为Keepalive+nginx+Redis模式形成集群式处理模式。 2、此平台为数据传输平台，在海关总署、多地海关分中心上线使用。主要功能为将各企业或地方分中心数据传输至海关内网。承载全国跨境以及大贸数据。双11峰值单日传输数据量20亿。 3、系统采用组件化设计模式、责任链式处理方式、池化连接处理，让系统达到更高的资源利用率。系统兼容度非常高，可实现与Rabbitmq、IbmMQ、Amq、FTP、AS3、RocketMQ、mysql、oracle等等中间件或三方软件进行数据对接。 4、此项目我以高级工程师身份参与，从设计到开发，到上线全程参与。主要负责Rabbitmq、IBMMQ等连接协议开发。

1、展示型前台网站（例：案例赛事的添加报名）。后台管理系统（例：身份权限限制，个人资料编辑，案例素材等增删改查）。小程序（例：在线绘制结业证书） 2、vue2,webpack,jquery,flex,element,colorui,uview,uniapp 3、问题：富文本要求比较全面复杂，现有的富文本插件不满足要求。解决：选择了一个可以二次加工添加组件的插件来手动添加

华龙智腾消防云平台-消安通主要解决传统消防中的痛点，流传繁琐，员工培训周期长，维保不透明，事故鉴定困难。 通过小程序和后端管理，让维保人员可以轻松上手，通过智能硬件的辅助让维保消防检测流程透明，提高了办事效率和消防隐患。

1、通过flume接入压缩文件，每天接入300T数据，数据量约6000亿； 2、数据进行清洗后入库，存储HDFS，再通过Spark做离线计算和分析；

主要包含数据抓取、数据计算分析、生成对应图表给高层决策提供数据依据 技术栈 kittle、fineReport、kittle pack、java、python

按照需求使用Python实现Exce、CSVl数据清洗、数据标记、文件拆分、文件合并等操作，实现复杂工作自动化、去人工化。

1、系统采用springBoot+Bootstrap+jdk1.8开发。部署架构为nginx+Redis模式形成集群式处理模式，通过WebService、API接口形式与其他硬件、系统对接。 2、系统为旅客检查平台，用户实时展示、反馈当前旅客同行状况，并及时分析做出预警；系统与人脸识别系统、CT光机、摄像头、卡口等硬件设备对接，实时采集或收集数据进行展示、预警；系统内嵌3D模型，用于标识各硬件设备、卡位置，通过点击实现位置切换与展示； 3、本项目任命我为项目经理，带领10人项目团队，驻场开发，从前期需求沟通，到中期系统开发，到后期系统上线、交付、验收全权负责。

1、该平台基于大数据，是一款知识图谱应用，支持图谱可视化，涵盖了图谱构建、生成、应用 等相关功能; 2、 选择 angular 作为前端开发框架，项目架构基于 ng-alain，使用 typescript、less 等语言进 行开发; 3、选择 webvowl 库进行可视化图谱渲染，将其封装成通用的 angular 组件;将 d3.js V3 升级至 d3.js V5，提升了性能。

因为项目保密性质，所以内容上做了替换，设计首页，其他开发根据整个风格色系进行开发，不用全部设计，节省成本，赠送一些切图。

毕业以来一直从事数据仓库项目相关工作，先后担任过ETL工程师、前端展现工程师、BI架构师、数据分析师、项目经理、项目主管各类岗位角色。积累丰富制药行业、烟草行业、互联网行业、金融行业、电信行业的数据分析经验。项目开发管理经验丰富，熟悉常用BI工具，精通BI平台系统架构，熟悉各类大数据及数据可视觉化技术实现路线。有丰富带领BI团队实施项目经验，能效好控制项目需求、安排项目资源任务、把控项目进度。性格积极乐观向上、做事稳重、有责任心、能吃苦耐劳、善于沟通交际，具有良好的人际关系,坚信“工作的人生最美丽”。

毕业以来一直从事数据仓库项目相关工作，先后担任过ETL工程师、前端展现工程师、BI架构师、数据分析师、项目经理、项目主管各类岗位角色。积累丰富制药行业、烟草行业、互联网行业、金融行业、电信行业的数据分析经验。项目开发管理经验丰富，熟悉常用BI工具，精通BI平台系统架构，熟悉各类大数据及数据可视觉化技术实现路线。有丰富带领BI团队实施项目经验，能效好控制项目需求、安排项目资源任务、把控项目进度。性格积极乐观向上、做事稳重、有责任心、能吃苦耐劳、善于沟通交际，具有良好的人际关系,坚信“工作的人生最美丽”。

使用Python爬取某知名网站的产品信息、详细信息导出Excel，图片信息打包下载。可以自定义页面上的各种筛选条件，可以执行下载产品信息总数和每页下载数量等。