技能标签
专业技能
精通Spark架构与核心组件，具备Spark Streaming流式数据处理经验，擅长微批处理模式优化。熟练掌握Scala/Java开发语言，具备Spark程序调优能力。熟悉Kafka分布式消息系统，擅长流批一体架构设计。精通CDH集群部署与调优，具备Hadoop生态组件运维经验。深入理解MapReduce计算模型与HDFS分布式存储原理，独立开发MapReduce任务。掌握Redis内存数据库与HBase列式存储设计，熟悉NoSQL数据建模。精通Hive数据仓库开发，具备复杂SQL优化能力。熟练使用Linux系统及Shell脚本开发，具备Oracle/MySQL数据库管理经验。熟悉Spring Boot微服务架构，掌握Maven项目构建及GitLab代码管理。
工作履历（脱敏处理）
主导某证券公司实时资产系统开发，设计基于Spark Streaming的流式数据处理架构，实现Oracle数据实时同步至Kafka，通过多阶段数据过滤与聚合算法提升处理效率。搭建HBase数据仓库实现历史账单存储，采用BulkLoad技术优化数据写入性能。开发基于Spring Boot的gRPC接口服务，通过Redis缓存实现资产数据毫秒级响应。设计CDH集群监控方案，完成集群资源调度与性能调优，保障日均千万级数据处理能力。
项目经验（脱敏处理）
某证券公司实时资产系统：构建实时全景资产处理流水线，通过OGG工具实现Oracle数据实时同步至Kafka，采用Spark Streaming进行流式数据处理。设计多阶段数据过滤算法，通过Redis缓存实现资产数据毫秒级响应。开发基于Spring Boot的gRPC接口服务，实现人民币股票、港股通等多类资产的盈亏计算逻辑。设计增量采集方案，通过Kylo工具实现Hive数据仓库的定期清算，保障数据一致性。历史账单系统采用HBase存储架构，通过BulkLoad技术优化数据写入性能，实现日均千万级数据的高效处理。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接