小工具      在线工具  汉语词典  dos游戏  css  js  c++  java

VM ware安装Ubuntu及搭建Hadoop伪分布式集群详细步骤

Linux,hadoop,分布式,ubuntu 额外说明

收录于:15天前

1.虚拟机搭建的详细过程

实验前准备
== jdk ==
jdk-8u11-linux-x64.tar.gz
提取码:qr5l
== hadoop ==
hadoop-2.10.1.tar.gz
提取码:bfxz

== VMware ==
官网下载

== centOS -XXX…-iso ==
文件过大阿里云镜像下载,熟悉那种Linux内核就下载那种,这个不会影响集群的搭建。
https://pan.baidu.com/s/1tFvCA4PmNC2tZN7Yp2BkZQ
提取码:7lm5

这些都是有桌面的gome,如果对命令行的比较熟悉,可以使用命令行的系统及对应的server系统包括ubuntu-servercentos-server。它们的镜像文件1也会小很多。

在这里插入图片描述

只需前往相应的官方网站下载即可。

Xshell或者其他远程连接软件如tabby

2.VM的下载和安装

Alt
更改安装位置,选择加入path环境,选择安装位置,点击下一步。
Alt

在这里插入图片描述

点击创建新的虚拟机

在这里插入图片描述
选择刚刚下载的server虚拟机也可以选择desktop的镜像。
在这里插入图片描述
命名并选择位置
在这里插入图片描述

点击下一步,将文件选择单个文件或拆分多个都可以,
在这里插入图片描述

处理经典安装也可以选择自定义高级

在这里插入图片描述
硬件兼容性选到15就可以,也可以选12的

在这里插入图片描述

选择下载的unbuntu-server镜像
在这里插入图片描述

后面两部命名处理器分配以及虚拟机内存分配自行命名和选择。

网络类型选择 NAT

在这里插入图片描述

之后,您可以使用这两个部分的默认配置并进入下一步。

创建新的磁盘
在这里插入图片描述
在这里插入图片描述
之后一直下一步,最后点击完成

在这里插入图片描述
上下键选择安装,enter确认
在这里插入图片描述

选择语言,只有英文好像还认识
在这里插入图片描述
选择安装模式,不用最简默认即可
在这里插入图片描述

自动分配IP

在这里插入图片描述

之后还有很多步骤。只需按回车键,直到弹出设置用户名和密码的对话框。

在这里插入图片描述
在这里插入图片描述
密码设置简单点,别忘记了,我设置的密码是root,就很好记。

安装ssh远程连接安全服务,以便可以用远程软件如Xshell连接
在这里插入图片描述

选择服务快照,docker和powershell都可用。使用空格键选择并输入确认。

在这里插入图片描述
上下键选择,空格选中可多选,上下界键调到Done确定enter
在这里插入图片描述

等待更新,可以以取消更新重启
在这里插入图片描述
尽量等待更新,之后出现提示按enter即可,更新完成后会自己启动,启动后按一次enter出现登录界面

在这里插入图片描述

在这里插入图片描述

到此vmware安装ubuntu-server就完成了,直接登录即可。相比安装桌面版复杂一点,可以安装桌面版再卸载gnome桌面。

Ubuntu卸载图形界面

1、打开终端
2、卸载gnome-shell主程序
sudo apt-get remove gnome-shell
3、卸载掉gnome
sudo apt-get remove gnome 
4、卸载不需要的依赖关系
sudo apt-get autoremove
5、彻底卸载删除gnome的相关配置文件
sudo apt-get purge gnome
6、清理安装gnome时候留下的缓存程序软件包
sudo apt-get autoclean
sudo apt-get clean

7、重启
shutdown -r now

3.jdk的安装和环境变量的配置

这里就不过多解释了,大厅里有详细的解释。

4hadoop的下载安装

Ubuntu安装hadoop教程

5.集群环境搭建

教程

搭建hadoop需要三个虚拟机,但是对电脑配置要求比较高。如果电脑不合适,选择克隆虚拟机而不是创建虚拟机,否则会卡住。

克隆的过程:
右键点击创建的虚拟机comepter_one,在点击管理,点击克隆
在这里插入图片描述
点第二个,下一步。
Alt
最后选择位置,输入名称就ok了。
在这里插入图片描述
创建三个虚拟机,即可。

在这里插入图片描述
点击开启,三个都开打开Xshell,在centOS中输入** ifconfig ** 查看ip地址。
在这里插入图片描述
点击file中的new会跳出下图
在这里插入图片描述
编辑name,在host输入上面查到的ip,完成后点击图中Authentication。
在这里插入图片描述
在user name中输入创建虚拟机时建的用户和密码,建议直接root用,不然后面还要获取root权限,完成都点击connect。
在这里插入图片描述
链接成功后时== root@username ==,三个虚拟机依次链接。

6.虚拟机网络配置

在开始界面搜索虚拟网络配置器,或者在计算机设置里找
在这里插入图片描述
点击NAT模式,在点击NAT设置查看网关,子网掩码。

在Xshell中输入:vim /etc/sysconfig/network-scripts/ifcfg-eth0。按i进入编辑模式,输入(注意:vim后面有一个空格):

姓名 价值
设备= 以太网0
启动协议= 静止的
开机= 是的
IP地址= IP地址
网关= 网关
网络掩码= 子网掩码
DNS1= 8.8.8.8
字符串要有引号包裹BOOTPROTO=“static”,ip地址时最开始在虚拟机中查到的地址,数字不用引号。

输入完成后,按ESC键切换到命令模式。 SHIFT+:输入 wq 并按 ENTER 保存并退出。

7.更改主机名称

命令:
hostname  查看主机名
hostnamectl set-hostname [克隆时的名称]   
(方法不限这一种)

8. 建立主机名与ip地址的映射

在这里插入图片描述

输入vim /etc/hosts进行修改,方法同上** i—>编辑模式(下面有回车标志)—>输入ip地址和名称(centOS中还是检查ip地址,而之前改过名字))—>ESC—>SHIFT+:—>wq—>回车(就可以了)如果这个Linux命令遇到其他问题,请自行上网搜索,检查:cat /etc/hosts.conf

三个虚拟机都需要修改! ! !

9.关闭防火墙

状态查看:systemctl status firewalld.service

在这里插入图片描述

图中Active是状态,后面显示表示关闭(我已经关闭了)关闭代码是:

关闭代码:systemctl stop firewalld.service

永久关闭:systemctl disable firewalld.service

按顺序输入接下来的两个代码可将其永久关闭。最后用第一个检查是否关机成功。如果是图中的状态就说明成功了。

10.SSH免密码登录

重点

// 步骤:
在root用户下输入ssh-keygen -t rsa 三次回车(图一)
接着输入cd ~/.ssh 后回车
输入 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
再输入chmod 600 ~/.ssh/authorized_keys
输入cat authorized_keys
出现如图的问句是输入yes即可(图二)
之后就可以输入ssh-copy-id 名称 添加机器就OK了(两台虚拟机)
ssh 名称 (切换)
== 间隙大的有空格 ==
  • 出现下图即可
    密钥生成
  • 图一(密钥生成)
    在这里插入图片描述
  • 图二(

还有一种情况如图

Alt
出现这样的错误导致不能切换登录可输入vi ~/.ssh/known_hosts
并将与该主机ip地址相同的内容全部删去即可

在完全分布式模式下,集群中的任意主机都可以无密码登录集群中的所有主机,即实现成对无密码登录。免密码登录的设置方法与伪分布式模式免密码登录的设置方法相同。在本机生成公钥/私钥对,然后将公钥发送到集群中的所有主机。

11.安装JDK找到jdk的绝对路径

jdk安装和解压

(1)先再虚拟机中建立jdk的目录,可以建再桌面,也可以再其他目录但自己要清楚它的绝对路径。命令是 mkdir /home/jdk(home是我的主目录)
(2)将下载的jdk的压缩包上传到其中一个虚拟机中,可以直接拖拽,如果不能的可以下载Xftp传输文件的软件进行上传。
(3)进入虚拟机的界面右键点击->进入终端界面->tar -zxvf home/jdk ** (这是解压命令,如果不行,就再桌面调出子目录后提取也可) **
(4)如图是成功安装的标志(我已经解压所以有前面的文件夹)
在这里插入图片描述

jdk环境变量的配置

(1)输入== vim /etc/profile ==进入编辑模式,添加:(命令前面已经讲过)

export JAVA_HOME=/home/jdk (对应自己的jdk目录,jdk名称写完整)
export PATH=路径:路径:A时间HJAVA_HOME/bin (到bin目录)

// 验证:
source /etc/profile
java -version 
出现java版本型号是就配置成功

(2)将工作目录复制到其余节点:
scp -r /home/jdk competer_two:/home/
scp -r /home/jdk competer_three:/home/

(3)将配置文件复制到其余节点:
scp -r /etc/profile competer_two:/etc/
scp -r /etc/profile competer_three:/etc/
(4)在其余节点重复操作,然后验证是否配置成功

-r前后有空格,competer_two是名称

12.zookeeper的安装

apache-zookeeper-3.5.9
提取码:cqc8

将压缩包上传到本机的zookeeper文件中(无需创建mkdir命令)。解压步骤与jdk相同。然后在zookeeoer中构建dataDir和dataLogdir来存储数据和日志。如果未创建登录目录,事务日志和快照日志都会被写入。 data目录,会严重影响zookeeper的性能

切换到dataDir(cd /root/zookeeper/dataDir) 再当前目录下输入vi myid 将里面的类容编辑为ech0 “1” >/home/zookeeper/dateDir/myid (即myid文件的绝对路径,这是我设置的绝对路径)
在这里插入图片描述
将zookkeeper复制到其他两台机子上就欧克了,复制命令:scp -rp 【绝对路径同上】最后切换到其他两台机子将ech 后面的== 1 ==该为 2,3 就行了。
在这里插入图片描述

配置环境变量见下链接(感谢作者) :

动物园管理员环境变量

13.至此我们已完成

四月 七月 十月 2022年 四月 七月 1-11 hadoop安装 mysql安装 搭建集群 现有任务 为美人鱼添加甘特图功能
. . .

相关推荐

额外说明

docker修改mysql配置文件后,mysql无法启动。

5.6版本,也是同样的道理。 转: https://blog.csdn.net/qq_45763504/article/details/125067611 原因:mysql.cnf配置文件出错,导致mysql无法启动 解决办法:进入mysql.cnf配置

额外说明

静态工厂模式+策略模式>>>优化臃肿的if else

因为工作业务需求,需要用到。之前就想写一个关于代码优化的文章。今天补一下   我所有的父接口   业务实现所需 /** * @Auther: zorro * @Date: 2019/3/4 18:33 * @Description: */ pub

额外说明

字节测试总监深度剖析:已经2023年了,测试用例依然没有被重视

​ 测试用例对于测试工作的作用: 1、指导测试的实施 测试用例主要适用于集成测试、系统测试和回归测试。在实施测试时测试用例作为测试的标准,测试人员一定要按照测试用例严格按用例项目和测试步骤逐一实施测试。并对测试情况记录在测试用例管理软件中,以便自动生成测

额外说明

JAVA学习手记-Servlet&HTTP&Request&Response&servletContext

Servlet&HTTP&Request QQ 1285575001 Wechat M010527 技术交流 QQ群599020441 纪年科技aming Servlet Http协议 Request (servlet -->service方法参数) R

额外说明

嵌入式AI

1. MCU 与AI RISC -V 构成 MCU; RSIC-V 有利于 内核设计: 音频识别起步; 2. AI 芯片技术 与产业发展路径 智能计算系统: 中科院 陈云霖: B站公开课 智能计算系统; https://www.bilibili.com/

额外说明

基于 dynamic-datasource 实现 DB 多数据源及事物控制、读写分离、负载均衡解决方案

一、dynamic-datasource dynamic-datasource-spring-boot-starter 是一个基于springboot的快速集成多数据源的启动器。 特征 支持 数据源分组 ,适用于多种场景 纯粹多库 读写分离 一主多从 混

额外说明

silverlight: Person run Animation

.Background I learn the silverlight about the web game. I feel the silverlight is very good from web game develop. So it make  

额外说明

剑指 offer 36. 二叉搜索树与双向链表

描述 输入一棵二叉搜索树,将该二叉搜索树转换成一个排序的双向链表。如下图所示 数据范围:输入二叉树的节点数 0≤n≤1000,二叉树中每个节点的值 0≤val≤1000,要求:空间复杂度 O(1)(即在原树上操作),时间复杂度 O(n) 注意: 1.要求

额外说明

rocket mq安装_如何在WordPress中正确安装和设置WP Rocket

火箭MQ安装 您想在 WordPress 中正确安装和设置 WP Rocket 插件吗? 您想在 WordPress 中正确安装和设置 WP Rocket 插件吗? WP火箭 is the best WordPress caching plugin in

额外说明

如何在WordPress中添加带有图标的功能框

您想在 WordPress 网站的主页上添加带有漂亮图标的功能框吗?这些功能框显示了您的产品和服务的重要卖点。事实证明,它是一种向新客户展示功能的高度有吸引力的技术。在本文中,我们将向您展示如何在 WordPress 网站中轻松添加带有图标的功能框。 您

ads via 小工具