一、项目背景 面向市大数据局、公安、市监局等政务部门开展项目，各部门已完成数据治理工作，但数据加工需开发人员手写代码实现，存在需求响应慢、业务人员无法自主操作、数据处理效率低等痛点，亟需搭建低门槛数据处理平台。 二、项目目标 1. 采集政务数据元数据信息，实现库表、字段及业务含义统一管理 2. 搭建拖拽式可视化建模平台，通过算子实现数据自助加工，降低使用门槛 3. 新增定时任务调度功能，实现建模任务自动化执行 4. 对接BI报表模块，实现加工数据可视化展示 5. 提升数据处理与需求交付效率，支撑政务业务自助数据分析 三、项目概述 搭建政务低代码可视化数据建模平台，自动采集治理后数据的元数据信息，提供过滤、排重、聚合、拆分等拖拽式算子，实现业务人员自主数据加工。支持建模任务定时调度、结果数据异构系统同步与级联分析，同时打通BI报表模块，可自主生成柱状图、折线图、甘特图等图表，完成数据加工到可视化全流程自助化。 项目职责： 1. 负责平台多数据源扩展开发，在原有仅支持Hive的基础上，新增支持高斯DB、PostgreSQL、Doris 等多种数据源接入； 2. 拓展计算引擎能力，新增Spark、Flink 实时处理框架，实现离线与实时一体化数据处理； 3. 参与BI 报表模块开发，支持基于处理结果自主生成可视化图表； 4. 优化原有算子执行逻辑，修复多线程并发问题，提升数据处理效率与稳定性； 5. 实现多SQL语法兼容，支持Hive、Doris、Flink 等多种语法自动适配，页面统一无感知切换，满足不同数据源计算需求。 项目业绩： 1. 参与平台产品化迭代，将项目打磨为标准化政务大数据产品，支持全国快速复制推广。 2. 产品已在浙江多个地市及东北、华南等地区政务单位落地应用，交付效率与复用性显著提升。 3. 通过多引擎兼容与性能优化，大幅降低现场实施成本，为公司政务大数据业务规模化拓展提供核心支撑。 技术栈：Hive+MaxCompute+GaussDB+Doris+Trnio+Spark+Flink (使用CDH 、华为云或阿里云)

一、项目背景 工厂内机床、设备通过PLC采集温湿度、压力、电量、加工计数等实时物联网数据，经Modbus 等协议接入Kafka。原始数据存在大量重复、异常、乱序、跳变问题，无法直接用于MES系统与生产大屏；设备运行状态（绿/黄/红/灰）无统一规则，加工计数易重复统计，亟需一套从0到1的实时数据清洗与治理体系。 二、项目目标 1. 建立设备状态标准化规则，自动识别正常、告警、故障、停机状态并统计各状态持续时长； 2. 构建生产加工计数清洗规则，过滤重复上报数据，处理人工重置等异常场景，保证计数准确； 3. 输出标准结构化数据，支撑MES系统、生产可视化大屏分钟/小时/日报表展示。 三、项目概述 该项目为工业物联网数据治理从0到1建设，采用Flink +Doris 技术架构。从Kafka消费设备实时采集数据，通过自定义清洗规工重置场景处理。清洗后数据写入聚合表，为下游MES系统、可视化大屏提供分钟级至日报级的标准化数据，支撑生产监控、趋势分析与产能统计。 项目职责： 1. 独立负责工业物联网数据治理项目从0到1设计与落地，参与整体架构方案讨论，最终确定并实现Flink +Doris 实时数仓架构； 2. 全程负责从Kafka消费设备实时数据，完成数据清洗、去重、异常过滤、乱序处理、状态计算、指标聚合等全流程开发； 3. 设计并实现设备运行状态（正常/告警/故障/停机）规则引擎，自动统计各状态持续时长并结构化落表； 4. 开发生产加工计数精准清洗逻辑，处理重复上报、人工重置等复杂业务场景，确保计数准确； 5. 构建标准聚合层数据模型，对外提供数据接口，支撑下游MES系统、生产可视化大屏实时展示与报表统计； 6. 负责需求变更、接口迭代及历史数据重刷、补算等运维工作，保障数据一致性。 技术栈：Kafka+Flink+Doris+SpringBoot+Redis+Minio+Python

项目背景： 1、旅游平台PC和无线端的内容后台分两套，维护效率低下 2、活动组件功能单一和较少，需要匹配多种活动功能,并开发对应组件 3、默认推荐给用户的产品比较固定，需要使用推荐系统做到千人千面促进下单 项目目标： 将原来PC和无线端两套后台合并为一套乐高系统，并将前端页面的搭建做成乐高一样可以进行可视化拖拽进行快速搭建，显著提高内容/运营人员的工作效率 维护和开发活动组件，以支持多种形式的营销活动促进用户活跃度和粘性 参与猜你喜欢推荐系统，帮助提高产品和用户的匹配度促进下单转化 项目概述： 1、多端应用功能开发与维护：负责无线端、小程序和PC端频道页、目的地攻略，游记和专题营销类功能设计与维护，确保跨平台的一致性和用户体验。 2、主站各频道功能开发： 运用SpringBoot、Zookeeper、Dubbo、Kafka、MySQL、MongoDB、ElasticSearch及大数据Hadoop、HBase等技术栈实现主站各频道的高效开发和优化。 3、内部项目管理系统定制开发：禅道项目管理系统进行二次开发，添加了工时统计等关键功能，提高了团队协作效率和项目管理能力。 4、对外接口开发与集成：开发RESTful风格API或者Dubbo服务，为其他部门提供稳定可靠的接口支持，促进跨部门间的业务协同。 5、现有系统的维护与升级：维护并优化现有的PHP框架Laravel构建的系统，保证其稳定运行并满足业务需求。 6、参与开发旅游行业SKU类目的商品项目经验 7、SaaS平台架构：主导后端微服务架构设计，实现组件化复用与全平台（PC/无线）兼容，彻底取代原有分散的CMS 系统。 8、数据库分库分表：面对海量模板数据，引入Sharding-JDBC 实施分库分表策略，解决了单表数据量过大导致的性能瓶颈，保障系统高可用。 技术栈：SpringBoot、Zookeeper、Dubbo、Kafka、MySQL、MongoDB、ElasticSearch等