kael_y

熟悉对Hadoop集群搭建熟练使用JAVA语言，Java开发框架：Spring/SpringMVC/Mybatis。熟悉数据库MySQL NoSQL:mapreduce/hive/spark等。熟悉spark streaming，flink实时处理数据的原理，了解DataStage、kettle这类ETL工具，进行简单的数据清洗。根据需求，使用hive进行数据的查找，以及UDF和UDTF的编写。了解Scala，能够完成简单的编程，了解oracle、mysql，通过sqoop将hive库和关系型数据库数据进行传输。了解redis等非关系型数据库，并对数据进行操作熟练掌握Hadoop中HDFS存储结构，mapreduce运行流程，hbase体系结构，存储原理，rowkey设计，协作框架：kafka/Oozie/Sqoop/Zookeeper。