上午面试,公司还蛮好找的,就在一个院子了,没看到什么前台,打电话问的HR怎么进去,HR出来带我进去的,进去后先填表,填一些基本信息,然后等面试官面试。面试官来了后,首先让我介绍下,自己所做的项目,并让我说说项目的重点,和自己所负责的具体性的工作。然后根据我的项目里的一些问题来问我相关技术知识。
然后就问我对hadoop生态圈的认识,同strom,spark的本质区别和补充联系。我说前者是海量批处理的机制,像我原来公司用hadoop处理的业务都是一天积累将近一个t数据,在夜间一到两点处理,而后者都是实时分析处理所涉及的业务功能也更多更广一些,而storm是逐条处理亚秒级别的,而spark是时间段的批处理,秒级别,spark性能优于storm.所以使用更多一些。
而后又问了些技术问题:内存溢出怎么解决?Kafka中有很多数据阻塞时,怎样可以快速被consumer消费掉?为什Kafka的consumer只能增不能减?Kafka数据会不会丢不丢失,丢失了怎么办?hive和HBASE的区别,文件名后缀是什么等等,Zookeeper的选举机制等等。
...查看更多