" • 大数据系统的设计与开发：基于需求，设计并实现高效的分布式大数据处理系统。开发并优化大数据应用程序，用于处理、存储、分析PB级的数据。
• 数据管道与ETL：设计、开发和维护数据管道，确保数据能够从不同数据源（如数据库、API、日志等）自动抽取、清洗、转换并加载到数据仓库或大数据平台中。
• 大数据框架的应用：利用Hadoop、Spark、Kafka等大数据技术栈进行数据处理、分析和传输。
• 数据处理与优化：优化大规模数据处理作业，改进处理性能，确保任务的高效性和稳定性。
• 实时数据处理：实现实时数据流处理方案，如基于Apache Kafka、Flink或Storm的流数据处理管道。
• 协助数据分析和数据科学团队：提供技术支持，确保数据能快速、准确地供数据科学家和分析师使用。" " • 编程能力：熟练掌握Java、Scala或Python，能够编写高效的大数据处理代码。
• 大数据技术栈：
• Hadoop生态系统：包括HDFS、MapReduce、Hive、HBase等。
• Spark：掌握Spark核心、Spark SQL、Spark Streaming，用于批量和流式数据处理。
• Kafka：用于消息传递和实时数据处理。
• NoSQL数据库：如Cassandra、MongoDB，用于大规模非结构化数据的存储。
• 数据建模和数据库设计：具备SQL和NoSQL数据库经验，能够进行复杂的查询优化和数据模型设计。
• 云平台：了解AWS、Azure、Google Cloud中的大数据工具，如EMR、BigQuery、Dataflow等。
• 数据处理工具：熟悉ETL工具（如Airflow、Talend）和工作流管理工具。
• 容器与DevOps：熟悉Docker、Kubernetes，能够实现大数据应用的容器化部署与自动化运维。
. 教育和经验要求

• 学位：计算机科学、信息技术或相关领域的学士或硕士学位。
• 工作经验：2-5年大数据相关领域的开发经验，熟悉分布式系统和大数据架构的设计与实现。
• 项目经验：有大规模数据处理项目经验，特别是利用Hadoop、Spark、Kafka等技术栈进行开发。


. 加分项

• 熟悉数据安全和隐私保护措施，了解GDPR等数据法规。
• 具备实时流处理的经验，如使用Apache Flink或Kafka Streams。
" "1、性别：无限制
2、年龄：35岁以下
3、学历：本科及以上学历"