在重隔几个月后重新启动hadoop时,发现namenode启动不了(在bin/stop-all.sh时提示no namenode to stop),上网搜寻no namenode to stop 发现各种各样的解决问题的方法,例如format namenode...等等,发现都不管用。自己还是不够耐心,一气之下就把hadoop和cygwin和jdk全部重装了一遍。下面记录下需要注意的一些事项:
1):jdk在安装的时候一定要选择全英文,且路径中没有空格出现,比如最好就不要安装到C:\Program Files\底下,因为这样会影响到后面hadoop-env.sh.
2):cygwin安装完成后,在win7下一定要以管理员身份打开,否则权限不够。当然还是会出现各种权限不够的情况,需要上网搜集下资料,有时候重启才能命令生效,自己弄的也比较乱。总之要好好阅读各种出错后print出来的信息和log文件
3):hadoop的single node模式,修改的文件有hadoop-env.sh(配置JAVA_HOME),core-site.xml,hdfs-site.xml,mapred-site.xml,具体的配置要按照hadoop官网上对应版本hadoop的single node的配置方法。
4):在N多次启动hadoop失败后(不管是换了hadoop-1.0.4,hadoop-0.20.2和hadoop-0.22.0),还是同样的问题:“no namenode to stop”,在查看了logs文件夹下的namenode的log文件后发现,127.0.0.1/localhost:9000 :Address already in use。端口9000已经被其他进程占用了,与mapred-site.xml的配置相冲突,在windows cmd下查看进程,发现ID为3180的进程PPAP(PPTV)占用了port 9000。卸载PPTV后重新format namenode ,最后启动成功。
ps:如果要删除hadoop,相关的东西一定要删干净,(cygwin安装目录下的tmp文件夹,hadoop安装目录下的tmp文件夹)。。。。养成出问题看log文件的好习惯!!!
分享到:
相关推荐
hadoop权威指南代码 (Hadoop: The Definitive Guide code) http://www.hadoopbook.com
"Data Analytics with Hadoop: An Introduction for Data Scientists" ISBN: 1491913703 | 2016 | PDF | 288 pages | 7 MB Ready to use statistical and machine-learning techniques across large data sets? ...
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程. 此教程来自于王家林免费发布的3本Hadoop教程:云计算分布式大数据...
This comprehensive resource demonstrates how to use Hadoop to build reliable, scalable, distributed systems: programmers will find details for analyzing large datasets, and administrators will learn ...
[Hadoop权威指南(第2版)].(Hadoop:The.Definitive.Guide).Tom.White.文字版.pdf
With the latest edition of this comprehensive resource, you’ll learn how to use Apache Hadoop to build and maintain reliable, scalable, distributed systems. It’s ideal for programmers looking to ...
This book is ideal for programmers looking to analyze datasets of any size, and for administrators who want to set up and run Hadoop clusters. Using Hadoop 2 exclusively, author Tom White presents ...
实战Hadoop:开启通向云计算的捷径
当启动hadoop或者使用ssh时出现: 输入ifconfig指令发现:自己之前配置的ip:192.168.79.103地址已经发生了变化 怎么解决办法呢? 如下步骤: 重新修改静态ip 输入vi /etc/udev/rules.d/70-persistent-net.rules...
Hadoop 权威指南第四版,Hadoop: The Definitive Guide 4th 英文原版,内有 pdf 注释勾划,不喜欢的朋友使用 Adobe reader 删除即可
Hadoop的权威指南 Hadoop: The Definitive Guide 。里面有两个pdf的压缩包,中英两版本都有,欢迎查阅
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...
实战Hadoop:开启通向云计算的捷径(刘鹏) 高清完整中文版PDF下载
SQL-on-Hadoop的一篇综述文章
pdf+epub This book will teach you how to deploy large-scale datasets in deep neural networks with Hadoop for optimal...this book will then show you how to set up the Hadoop environment for deep learning.
Chapters 9 and 10 are for Hadoop administrators, and describe how to set up and maintain a Hadoop cluster running HDFS and MapReduce. Chapters 11, 12, and 13 present Pig, HBase, and ZooKeeper, ...
在网上搜集的以及本人自己总结的hadoop集群常见问题及解决办法,融合了网上常常搜到的一些文档以及个人自己的经验。
计算Hadoop:快速部署Hadoop集群 详细的Hadoop集群部署文档,对您绝对有用~
分布式存储系统hadoop:hbase安装经验,非常不错的hadoop之hbase,入门环境搭建。
hadoop2.7汇总:新增功能最新编译64位安装、源码包、API、eclipse插件下载