感觉没戏1.sparkStreaming和kafka对接方式，怎么记录kafka的偏移量Direct的方式把offset保存在spark内存中，会有数据丢失的情况，可以手动维护offset,offest可以保存在zk,kafka,mysql,hbase,redis中自己根据情况而定,我选择把offest保存到redis中.创建Dstream之前,先判断是否消费过,如果没有消费就从头开始,如果已经消费过了,就从上次保存的offest处开始消费.
2.hdfs写数据流程.
3.maprecueshuffle和sparkshuffle的区别，关系.
...查看更多
面试经验
详情
“普通难度”
“体验不好”
12 条面经
确定通过
内容索引
优秀公司
推荐公司
最新公司
邢台印列办公设备经营部面试常宁市喜乐工作室（个体工商户）面试天通國際（香港）有限公司面试广州诸景贸易有限公司面试吉林省瑞晟建筑工程有限公司面试鈺翔實業（香港）有限公司面试加豐新世紀發展有限公司面试海口龙华兑集贸易商行（个体工商户）面试平果市蟹掌柜餐饮店（个体工商户）面试东莞市盛兆汇贸易有限公司面试通山县修龙餐饮店（个体工商户）面试深圳市星麒八文化发展有限公司面试浙江金源宇升科技有限公司面试舒城县君涵百货店（个体工商户）面试牡丹江市东安区天一电话超市面试佛山市禅城区景顺优品电子商行（个体工商户）面试钟楼区邹区欧丽凯灯饰经营部（个体工商户）面试西安市莲湖区御景集美容美体店（个体工商户）面试富鼎豐國際股份有限公司面试定远县多元素复合肥有限公司靠山第一销售点面试海口龙华袭冬雁百货店（个体工商户）面试