字节跳动全系产品（tiktok、抖音、西瓜、头条、飞书等）需要做网络调优工作，但是由于网络调优配置复杂，配置参数理解成本高，业务需求当前只能网络BP同学人工配置，所以希望通过一个平台能够沉淀网络调优能力提供给用户自主操作，减少网络BP团队重复性工作，NPM致力于提供一站式端到端高性能网络解决方案 技术栈: go1.18,DDD,ebpf,kitex,hertz,mysql,redis,bmq,hive,spark,clickhouse,flink 工作职责: 1.网络洞察服务：负责核心功能的开发包括网络监控，网络分析，网络周报等，从0到1提供网络优化一整套ETL数据解决方案，包括数据采集，主题域划分，数仓分层，存储加工，模型设计，模型迭代，数据治理等 2.流量分析服务: 流量分析服务是一个基于pcap网络数据包分析的传输特征服务，主要功能是协议解析，自动归因，流量统计，生成报表等功能 3.网络模拟服务: 网络模拟服务是一个cs架构，基于Linux TC，控制字节工区wifi，实现设备上下行带宽、延迟、 丢包等弱网模拟等功能 4.ies网络优化：负责与抖音相关负责人跟进DNS缓存竞速，异步解析并行解析等实验并取得Qos收益

英诺威讯 AIOT 统一视频平台，为智慧城市、智慧能源、智慧应急等的治理提供便捷、精准、可视、高效的技术手段 技术栈: go1.18,DDD,gin,python3,k8s, mysql,redis,minio,gb28181,sip,rtsp,rtmp,flv,hls,pytorch 1.技术调研和方案制定和功能开发，包括制定了AI服务接口设计规范，AI网关与AI后端交互技术方案， 包括多机发现方案，服务重启状态恢复方案，k8s集群方案 2.AI调度服务：视频直播，摄像头地图，AI告警， 视频安全规则配置， 摄像头管理，区域选择，日志中心，用户管理，系统参数，亮点：区域选择像素坐标查询优化，数据同步，AI服务调度算法 3.AI告警推送服务：AI告警推送服务主要功能是对各类AI消息进行推送，主要功能包括：ws推送，api推送，图片推送等功能，亮点：分布式推送，用户自定义配置推送规则 4.AI服务：AI服务通过调用AI，对AI算法进行管理，主要功能包括AI服务的服务管理，规则交互，告警，摄像头管理，烛照边缘智能盒管理, 虚拟设备分析，时间任务调度，人脸注册，多进程改造, AI任务监控告警等，亮点：多进程分析架构设计，服务架构设计，AI分析线程动态扩缩容，摄像头读流缓存设计，AI分析任务动态数量设计，AI任务监控告警，输出一篇专利《一种基于平滑加权轮询算法的动态AI分析的方法和装置》 5.AI中台：AI中台主要功能是对算法流程进行标准化，实现英诺算法sop，主要功能包括数据管理(数据标注，数据增强,数据转换)，模型管理（模型训练，模型评估），模型部署（模型部署，模型维护） 6.iot数据中台：iot数据主要是对物联网设备数据进行数据采集，加工存储，数据展示等功能，主要数据链路为mqtt->lvs->aiot-data-service->kafaka->flink->clickhouse 7.视频服务：视频服务主要功能是对各类视频设备进行管理，包括华为，海康，gb28181，nvr，cvr等设备管理，主要功能包括：设备注册管理，实时预览，远程回放，录像历史文件获取，流管理，服务重启不会丢失流或者出现失控流，异步通知，亮点：树状结构国标级联，自定义DSL查询 8.视频融合：视频融合主要功能是利用算法实现多路视频的融合，前端使用cesiem展示BIM模型

小米公司当前存在数十个运维相关的系统，这些系统生产的数据缺乏统一的管理，没有一个全局数据中心，对数据进行资产化，用户经常面临“找数难”、“取数难”、“用数难”的问题, 因此运维数据中台孕育而出, 做到对数据资产统一管理，做到数据资产的安全、可见、可靠、可用和可运营，这也是对AIops的一个探索，作为AIops的数据底座，为AIops模型训练提供运维数据来源，实现AIops的异常检测、根因分析、故障自愈等 技术栈: java1.8, go1.17, 维度建模, mysql5.7, redis, grafana, 分布式系统, python3.8, Django1.12.11,飞书小程序，flink1.12, spark, talos(小米自研消息队列), doris, iceberg, presto, whale(小米自研BI报表平台), k8s, docker, fds(小米自研对象存储), loki，elk，elasticsearch 工作职责: 1.负责对各部门的需求跟踪, 沟通和对接, 确保新需求顺利接入 2.负责项目核心服务的开发, 提供技术解决方案, 跟踪用户场景, 评估数据价值 3.运维数仓建设：负责在数据联接层构建关联关系, 对各主题下的数据维度打通,形成图模型, 多维模型, 标签模型, 指标模型, 算法模型等各种数据模型, 并用One-Service提供提稳定, 可靠的对外api 数据域建设： （1）服务域建设: 打通从data-switch->talos topic1->flink->talos topic2 -> flink sql的数据清洗链路,实现garm系统的清洗,设计基础变更系统表结构,为基础变更大屏的基础设施变更层的变更数据做支撑,实现实时数仓 （2）成本域建设: 用spark把资源与成本中心的成本数仓合并到运维数仓, 实现离线数仓 （3）容器域建设: 对接容器平台, 将容器数据同步到数仓, 并用whale对容器资源制作报表展示进行olap分析 4.Data-Switch服务：运维数据中台自研ETL框架。负责项目的总体架构设计, 以及任务调度, 任务状态系统, 任务编排, 定时同步, 状态监控, 数据清洗, 任务面板等核心功能的开发, 使该框架拥有了秀的海量数据处理能力, Data-Switch是运维数据中台统一数仓层的分布式系统项目, 将源系统数据通过etl同步到ods层, dim层和dwd层,并对源数据做一些标准化处理，输出一篇专利《一种基于分布式技术的API动态流式ETL方法与装置》 5.One-Service服务：运维数据中台对外统一出口。1.负责SQL解析引擎的开发, 将DSL通过词法分析与语法分析解析成go结构体，并将结构体调度到elasticsearch和druid以及falcon，2.负责服务全链路建设，打通One-Service->midun->mife-alb->httpd ->grafana的全链路, 通过类SQL查询对接入层网络拓扑实时查询和分析，为grafana官方提交一个issue，修复graphX前端问题，目前已经合并到官方分支 6.日志系统：MIFE海量日志系统。 负责项目架构调研与设计, 每日全机房数据量600TB/day, 时延Latentcy 40s, QPS 1000w/s，前期架构使用es+druid on grafana + fds方式进行工作, 后期等loki支持etl之后改成 loki on grafana + fds， topic日志分流功能开发 7.SRERobot： 运维数据中台智能机器人。SRERobot是运维数据中台对外的服务组件之一, 在小米办公中通过用户输入指令的方式来实时查询数仓的数据以及封装一些工作中一些日常操作,例如查询域名,主机,lvs,oncall,job,norns信息, 群组操作,域名续费操作,通知管理,主机权限授权,故障录入等