项目描述： 为各地网安推出定制化的路由器,在网安指定的公共地点安装我司的路由器,通过路由器或者嗅探设备的mac地址以及经纬度的追踪,可以定位每个人员的上网大致方位,对上网人员的身份进行追踪,通过公共路由器来获取指定人员的行动轨迹,实时对犯罪分子的抓捕,对犯罪分子地理信息定位,经纬度,黑白名单匹配,为各地网安解决各种定制化的任务。 责任描述： 1.数据清理,从kafka过来的不符合要求的数据,用Sparkstreaming进行匹配,把数据处理为结构化数据.同时通过上报数据判断设备状态通知运营人员,以便迅速定位故障设备,对故障设备进行有效维护. 2.嫌疑人黑白名单匹配,Sparkstreaming处理后的数据与redis里的黑白名单规则匹配,如果匹配到,实时将匹配到详细信息,上报当地网安部门.已达到实时追踪嫌疑人的目的. 3.用Sparkstreaming处理后的数据写入hdfs,以便数据分析部门进行数据分析.

项目描述： 基于先知EE3.4版本，场景包括模型调研、自学习、批量预估、时序特征拼接、在线预估等。该系统主要为了进一步提升信用卡竞争力，降低风险，节省人力成本。理论上除数据对接和服务封装之外的工作都在先知EE上完成。是EE首个落地场景，在上海交行、华夏总行、广发之前。 新增交易欺诈线下交易评分模型，提升交易精准率预测，对于模型输出的评分进行准实时输出，传输至PRM系统。PRM系统将引用该评分进行规则筛检及优化，进一步缩减审查工作点击量。 通过数据支撑系统simon，实现各数据源（离线（sas）、在线（prm））数据的整合和入库（pdms/rtidb），对于在线预估反欺诈模型的评分进行实时输出，传输至PRM系统（前置服务），批量预估服务由任务调度器根据任务配置进行触发，定时将批量数据导入pdms，支持触发批量预估服务，将预估结果输出至行方指定系统。 责任描述： 1.数据清理,Simon是基于airflow调度引擎开发的辅助先知系统进行数据etl,通过对接客户系统，将SAS原数据通过客户系统(FTP)中下载到宿主机进行分析处理后，然后再引入pdms. 2.Psp连接行方新前置，接收交易报文，并对交易报文进行验证和去重,Psp作为socket服务端，接收新前置的tcp请求，并转换为在线预估的http请求,调用先知http请求并发送交易数据，并返回在线预估分对交易的评分. 3.将开发完成的psp包,在本地maven环境构建jar包,编写dockerfile,将构建的jar打包镜像上传到docker Repository,并部署到k8s.

责任描述: 1、数据现状调研带着从哪采集？采集什么？采集哪些？如何采集？四个疑问出发结合方法论现有数据涉及的系统、数据字典、数据实体对象、存储机制等进行调研，为后续数据采集实施和数据资产的形成莫定了基础 2、数据采集离线采集：利用dataphin离线采集功能,将各个业务系统数据接入中台数据湖： 3、数据建模搭建hive数仓，采用维度建模的方法，将各个业务系统数据划分5层，ODS(按业务系统划)\DWD(按主题域划分）\DWS(按数据域划分)\DIM(公共维表） 4、数据应用（1)利用中台数据湖全面的数据，集中做数据应用产品。包括7大体系100多个财务业务指标展示以及填报按照业需求对报表进行定时更新和填报调整。(2)数据服务基于中台数据湖全面的数据，提供服务API给各事业部使用。(3)数据安全以工作空间、租户、角色、密级等概念对数据访问、数据开发、数据资产进行权限管控 5、为该企业数字化转型打下坚实的基础、真正意义上实现了数据的统一采、统一存、统一管理、统一算、统一服务的一体化大数据平台