職責描述：
1、負責SPARK數據分析模塊與其它系統/模塊之間的銜接，提供基礎數據分析能力；
2、運用數據挖掘算法，解決海量數據分析、挖掘方面的業務需求，負責數據倉庫的設計，開發，維護；
3、支撐產品和運營各種業務數據分析需求；
4、負責數據平臺的開發和優化，基于大數據平臺完成各類統計和開發任務；
5、負責數據庫監控、優化大數據計算性能；


任職要求：1、3年以上代碼開發及2年以上大數據項目管理經驗；
2、熟悉Python/Shell/Perl等一種或幾種腳本語言；
3、精通Hadoop、Spark集群搭建、配置、優化以及維護和管理；
4、能夠基于Hadoop生態的大數據存儲平臺進行數據倉庫的搭建和部署工作，熟練掌握Hive，熟悉HBase或其它任意一種非關系型數據庫；
5、熟練掌握大數據相關管理工具、技術，如Sqoop、Hue、Oozie等；
6、熟練掌握Kafka、Flume 進行消息數據的收發、優化工作，具有豐富的MapReduce調優經驗者優先；
7、熟悉OpenStack，Docker等云計算平臺或容器平臺構建和維護經驗者優先；
8、有數據挖掘、機器學習的經驗；
9、有網絡安全從業背景者優先；

光通公司于2014年4月成立，兩年來，公司業務以600%的增長率發展，成為行業發展的奇跡。
主營業務為網絡安全服務、云計算、數據中心業務及互聯網大數據行業解決方案的互聯網科技企業。公司已在北京、上海、深圳開設分公司，業務遍布國內33個大中城市。創立伊始，公司即專注于網絡安全服務市場，是國內首批進入互聯網抗DDos攻擊領域的企業，成立三年以來，已具備豐富的網絡攻防、DDos攻擊防范經驗，研發搭建了T級防御能力的超高安全防護架構及系統，是國內目前最專業的DDos網絡高防產品。