大数据软件工程师面试

1.简要描述如何安装配置一个apache开源版hadoop，描述即可，列出步骤更好 2.请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？ 3.启动hadoop报如下错误，该如何解决？ error org.apache.hadoop.hdfs.server.namenode.NameNode org.apache.hadoop.hdfs.server.common.inconsistentFSStateExceptio n Directory /tmp/hadoop-root/dfs/name is in an inconsistent state storage direction does not exist or is not accessible? 4.请写出以下执行命令 1）杀死一个job? 2)删除hdfs上的/tmp/aaa目录 3加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令？ 5.请列出你所知道的hadoop调度器，并简要说明其工作方法？ 6.请列出在你以前工作中所使用过的开发mapreduce的语言？ 7.当前日志采样格式为 a,b,c,d b,b,f,e a,a,c,f 复制代码 请用你最熟悉的语言编写一个mapreduce，并计算第四列每个元素出现的个数 8.你认为用Java，Streaming,pipe方式开发mapreduce,各有哪些优缺点？ 9.hive有哪些方式保存元数据，各有哪些特点？ 10.请简述hadoop怎么样实现二级排序？ 11.简述hadoop实现join的几种方法？ 12.请用Java实现非递归二分查找？...查看更多

周四上午电话面试，大约四十分钟，讲了讲自己做的项目，项目中使用的算法和思路，然后问了一些java语言的知识和linux知识。 周六onsite两轮面试，第一轮是个美女面试官，讨论做过的项目，具体的实现思路，很多细节问题。然后又问了一些机器学习算法的基本思路。 最后问了一下如何在Hadoop中实现分布式的kmeans算法，有什么技术难点？如何克服？设计思路是怎样的 第二轮面试是个可爱的胖子，人非常nice。 首先讨论了自己做过的项目，然后了解了一下性格、项目管理和人际沟通能力，比如说：是否接触过一个完整的项目流程？愿意接触客户还是在办公室做研究之类的问题？ 然后开始提出若干个开放性技术问题，都是非常有难度的。包括： 海量数据处理中一个设计算法的问题。 银行卡盗刷行为检测。 用户倾向和用户肖像的问题。 中文分词的基本原理。 一个数据记录的两个属性字段值不平衡，如何处理？ ...... onsite两轮大概用了两个半小时，大脑一直在不停的转，非常辛苦。多数是开放性问题，而且来自于实际的工程项目中。 面试官非常nice，整个面试过程没有很push的感觉，自己有哪个地方想不明白，面试官还会及时给出一些提示，然后你可以按照他的提示继续往下思考。 总体来说，就是通过不同的探讨、给方案、否决方案、给提示、继续探讨、给新的方案......的过程来测试应聘者的知识深度和思维灵活性。非常喜欢这种面试风格，虽然被虐了，但是面试的过程学到了很多东西。...查看更多