技能标签
专业技能
精通Java/Python编程语言，熟悉Hadoop生态体系（HDFS、MapReduce、YARN），掌握Spark Streaming实时计算框架，具备大数据平台架构设计能力，熟悉机器学习算法（如随机森林、XGBoost）和深度学习框架（如TensorFlow、PyTorch），熟练使用SQL进行数据仓库建模，掌握Kafka消息队列和Flink流处理技术
工作履历（脱敏处理）
长期从事大数据平台开发与优化工作，主导建设日均处理千万级数据量的实时计算系统，采用Spark Streaming+Kafka架构实现数据延迟降低至秒级。设计分布式数据仓库解决方案，通过Hive+HBase组合实现数据查询效率提升40%。开发机器学习特征工程平台，整合XGBoost算法模型提升预测准确率15%。主导完成3个大型企业级数据中台架构升级，实现系统吞吐量提升200%。具备完整的数据生命周期管理经验，熟悉数据质量监控、元数据管理及安全合规体系搭建。
项目经验（脱敏处理）
1) 实时数据处理平台建设（2021-2023）：基于Spark Streaming构建日均处理500TB数据的实时计算系统，采用Kafka作为数据缓冲层，通过窗口函数优化实现数据延迟控制在500ms以内。解决数据倾斜问题，采用动态分区策略使任务完成时间缩短35%。
2) 企业级数据仓库升级项目（2020-2021）：设计基于Hive的星型架构数据仓库，开发ETL流程实现100+业务维度的数据聚合。通过引入Parquet列式存储格式，使查询性能提升60%，数据存储成本降低40%。
3) 机器学习特征工程平台（2019-2020）：搭建全流程特征处理系统，整合XGBoost算法模型用于用户行为预测。开发特征存储方案，采用Redis缓存热点特征数据，使特征调用响应时间缩短至200ms以内。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
6年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接