技能标签
专业技能
精通Java/Python/Scala多语言开发，熟悉Hadoop/Spark/Flink分布式计算框架，擅长Spring Boot微服务架构开发。掌握MySQL/PostgreSQL关系型数据库及Redis/MongoDB非关系型数据库，具备数据采集、ETL数据清洗、实时数据处理、报表开发及后台系统架构设计能力。熟悉Linux系统运维及日志分析技术
工作履历（脱敏处理）
专注于大数据平台架构设计与开发，主导搭建日均处理PB级数据的分布式计算系统。设计并实现基于Spark Streaming的实时数据处理流水线，通过Flink进行复杂事件处理，提升系统吞吐量30%。开发ETL数据清洗模块，采用MapReduce进行数据去重和特征提取，数据准确率提升至99.8%。构建可视化报表系统，集成Superset实现多维度数据看板，支撑业务决策分析。持续优化数据采集方案，采用Kafka实现日志数据实时接入，系统稳定性提升至99.99%。
项目经验（脱敏处理）
不良信息过滤系统开发：基于某大型通信企业用户行为日志数据，设计分布式数据处理架构。采用Python爬虫技术构建涉黄链接验证系统，通过正则表达式和机器学习模型实现URL风险评分。使用Spark进行日志预处理，通过ETL流程完成数据清洗、特征提取和格式标准化。构建基于Redis的缓存系统提升查询效率，设计分布式任务调度框架保证数据处理时效性。最终实现日均千万级日志的实时分析，过滤准确率达98.5%，有效降低网络风险。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接