项目介绍 需求分析：与利益相关者沟通，明确报表的需求，包括数据来源、格式、更新频率等。 数据收集与处理：从不同的数据源（如数据库、文件系统、外部API等）获取数据，并进行清洗、转换和加载（ETL）。 报表设计：根据需求设计报表的布局、样式、颜色方案等，使其既美观又实用。 报表实现：使用报表开发工具（如Microsoft SQL Server Reporting Services, Crystal Reports, Tableau等）编写代码或配置报表。 测试与优化：对报表进行功能性和性能测试，确保其准确无误并能够高效运行。 部署与维护：将报表部署到生产环境，并根据用户反馈持续改进。 职责 理解业务需求：与业务部门合作，深入了解他们的需要，并转化为具体的报表规格。 数据建模：基于需求创建或调整数据模型，以支持报表的数据需求。 编写查询语句：根据数据模型编写SQL或其他查询语言的查询语句，提取所需数据。 报表设计与开发：使用报表开发工具设计并开发报表，确保数据可视化符合用户体验要求。 性能调优：优化查询和报表性能，确保在大数据量下仍能快速响应。 文档撰写：为所开发的报表编写详细的文档，包括使用说明和技术文档。 培训与支持：向最终用户提供必要的培训和支持，帮助他们理解和使用报表。 持续改进：根据用户反馈和业务变化不断改进报表，保持其相关性和实用性。

项目描述:项目数据来源有爬虫数据，系统业务数据和购买的数据三方面，一种是通过canal配 置推送binlog到kafka集群，flink etl处理后，写入实时数仓的polardb，另一种直接使用flinkcdc 同步数据源数据到实时数仓作为依赖表使用，供下游实时特征和实时标签开发，支持金融风险评估、市场分析和客户服务优化等关键实时业务决策。 职责与贡献: 1.设计并实现了高效的实时数据摄取机制，确保数据能够被快速捕获并传输至数据处理层 2.参与实时数仓架构设计、开发与维护，实施etl 流程及脚本开发工作 3.优化了数据处理性能，减少了延迟，并提高了系统的可扩展性和稳定性 成果： 1.实现了数据的秒级延迟处理，极大地提高了业务决策的速度和准确性 2.提高了客户服务响应速度，客户满意度大幅提升 3.开发的多个维表，模型表和明细表，支撑了多个业务部门的需求，增强了数据驱动决策的能力

项目描述：项目数据来源有爬虫数据，系统业务数据和购买的数据三方面，通过公司自研的landsat平台，配置mysql，polardb，mongodb，kafka，hive等数据源，通过airflow调度 每日同步增量数据到hive，构建和维护大规模离线数据仓库，包括开发模型表，维表，特征表标签表等，支持金融风险评估、市场分析和客户服务优化等关键离线业务决策。 职责与贡献: 1.设计并实现了高效的数据集成方式，参与了数据集成，ETL、数据建模及报表生成等环节 2.优化数据处理流程，减少了ETL作业运行时间，提高了数据更新频率 3.开发了一系列UDF函数，以满足特定的业务需求 4.参与数据治理，数据链路梳理，数据任务性能优化等工作，确保数据质量 5.创建了多种数据报表和仪表板，帮助业务团队快速获取洞察 成果： 1.通过数据质量平台，将数仓底层集成的snap全量快照表的准确性提升至98%以上 2.通过配合数据平台部门优化工具及流程，原有的数据开发任务周期由2周缩短至3天 3.开发的多个维表，模型表和明细表，支撑了多个业务部门的需求，增强了数据驱动决策的能力