FansMo's blog

ClickHouse 列式数据库搭建复制和安装 clickhouse 将本地clickhouse相关文件复制进master容器中root目录中 1234docker cp clickhouse-client-21.9.4.35.tgz master:/rootdocker cp clickhouse-common-static-21.9.4.35.tgz master:/rootdocker cp clickhouse-common-static-dbg-21.9.4.35.tgz master:/rootdocker cp clickhouse-server-21.9.4.35.tgz master:/root 将clickhouse文件解压到/opt/module目录中 1234tar zxvf clickhouse-client-21.9.4.35.tgz -C /opt/moduletar zxvf clickhouse-common-static-21.9.4.35.tgz -C /opt/moduletar zxvf clickhouse-common-static ...

Redis 非关系型数据库搭建复制和安装 redis 将本地redis复制进master容器中root目录中 1docker cp /path/to/redis-6.2.6.tar.gz master:/root 将redis解压进/opt/module目录下 1tar zxvf /root/redis-6.2.6.tar.gz -C /opt/module/ 进入 Redis 源码目录并安装 Redis 1cd /opt/module/redis-6.2.6 1make MALLOC=libc && make install 配置 redis 修改 Redis 配置文件，将 Redis 设置为后台运行。在 Redis 的配置文件中（默认在解压目录下） 1vim /opt/module/redis-6.2.6/redis.conf 找到第 257 行，将daemonize no改为daemonize yes 1daemonize yes 开启 redis 使用修改后的配置文件启动 Redis 1redis-server /opt/modul ...

Hbase 环境搭建复制和安装 hbase 将本地hbase-2.2.3-bin.tar.gz复制进master容器中root目录中 1docker cp /path/to/hbase-2.2.3-bin.tar.gz master:/root 将hbase解压进/opt/module目录下 1tar zxvf /root/hbase-2.2.3-bin.tar.gz -C /opt/module/ 将解压后的目录改名为hbase 1mv /opt/module/hbase-2.2.3-bin /opt/module/hbase 配置 hbase hbase的配置文件都存放在${HBASE_HOME}/conf中 1cd /opt/module/hbase/conf 配置 hbase-env.sh 添加以下环境变量 12export JAVA_HOME=/opt/module/jdkexport HBASE_MANAGES_ZK=false export HBASE_MANAGES_ZK=false: 关闭自带的 zookeeper， ...

Hive 数据仓库搭建复制和安装 hive 将本地apache-hive-3.1.2-bin.tar.gz和MySQL驱动压缩包复制进master容器中root目录中 12docker cp /path/to/apache-hive-3.1.2-bin.tar.gz master:/rootdocker cp /path/to/mysql-connector-java-5.1.27.zip master:/root 将hive解压进/opt/module目录下并且改名, 将jdbc压缩包解压到hive的lib目录下 1tar zxvf /root/apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 1mv /opt/module/apache-hive-3.1.2-bin /opt/module/hive 12unzip /root/mysql-connector-java-5.1.27.zip -d /opt/module/hive/libcp /opt/module/hive/lib/mysql-connector-java-5.1 ...

MySQL 数据库搭建复制和安装 mysql 将本地mysql-5.7.44-1.el7.x86_64.rpm-bundle.tar复制进master容器中root目录中 1docker cp /path/to/mysql-5.7.44-1.el7.x86_64.rpm-bundle.tar master:/root 将mysql的 tar 包解压到当前目录中 1tar xf mysql-5.7.44-1.el7.x86_64.rpm-bundle.tar 解压完毕后会得到以下 rpm 包 12345678910mysql-community-client-5.7.44-1.el7.x86_64.rpmmysql-community-common-5.7.44-1.el7.x86_64.rpmmysql-community-devel-5.7.44-1.el7.x86_64.rpmmysql-community-embedded-5.7.44-1.el7.x86_64.rpmmysql-community-embedded-compat-5.7.44-1.el7.x86_ ...

Kafka 集群环境搭建复制和安装 kafka 将本地kafka_2.11-2.4.1.tgz复制进master容器中root目录中 1docker cp /path/to/kafka_2.11-2.4.1.tgz master:/root 将kafka解压进/opt/module目录下 1tar zxvf /root/kafka_2.11-2.4.1.tgz -C /opt/module/ 将解压后的目录改名为kafka 1mv /opt/module/kafka_2.11-2.4.1 /opt/module/kafka 配置 kafka kafka的配置文件都存放在${KAFKA_HOME}/conf中 1cd /opt/module/kafka/config 配置server.properties 1234broker.id=0listeners=PLAINTEXT://master:9092log.dirs=/opt/module/kafka/datazookeeper.connect=master:2181,slave1:2181, ...

Flume 环境搭建复制和安装 flume 将本地apache-flume-1.9.0-bin.tar.gz复制进master容器中root目录中 1docker cp /path/to/apache-flume-1.9.0-bin.tar.gz master:/root 将flume解压进/opt/module目录下 1tar zxvf /root/apache-flume-1.9.0-bin.tar.gz -C /opt/module/ 将解压后的目录改名为flume 1mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume 配置 flume flume的配置文件都存放在${FLUME_HOME}/conf中 1cd /opt/module/flume/conf 将配置文件模板复制成配置文件 1cp flume-env.sh.template flume-env.sh 配置flume-env.sh 添加 java 环境变量 1export JAVA_HOME=/opt/mo ...

Zookeeper 集群环境搭建复制和安装 zookeeper 将本地apache-zookeeper-3.5.7-bin.tar.gz复制进master容器中root目录中 1docker cp /path/to/apache-zookeeper-3.5.7-bin.tar.gz master:/root 将zookeeper解压进/opt/module目录下 1tar zxvf /root/apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/ 将解压后的目录改名为zookeeper 1mv /opt/module/apache-zookeeper-3.5.7-bin /opt/module/zookeeper 配置 zookeeper zookeeper的配置文件都存放在${ZOOKEEPER_HOME}/conf中 1cd /opt/module/zookeeper/conf 将配置文件模板复制成配置文件 1cp zoo_sample.cfg zoo.cfg 配置 zoo.cfg 修 ...

Flink 集群环境搭建复制和安装 flink 将本地flink-1.14.0-bin-scala_2.11.tgz复制进master容器中root目录中 1docker cp /path/to/flink-1.14.0-bin-scala_2.11.tgz master:/root 在/etc/profile中添加如下环境变量 1export HADOOP_CLASSPATH = `hadoop classpath` 将flink解压进/opt/module目录下 1tar zxvf /root/flink-1.14.0-bin-scala_2.11.tgz -C /opt/module/ 将解压后的目录改名为flink 1mv /opt/module/flink-1.14.0-bin-scala_2.11 /opt/module/flink 配置 flink flink的配置文件都存放在${FLINK_HOME}/conf中 1cd /opt/module/flink/conf 配置flink-conf.yaml 该文件是 Fli ...

Spark 集群环境搭建复制和安装 spark 将本地spark-3.1.1-bin-hadoop3.2.tgz复制进master容器中root目录中 1docker cp /path/to/spark-3.1.1-bin-hadoop3.2.tgz master:/root 将spark解压进/opt/module目录下 1tar zxvf /root/spark-3.1.1-bin-hadoop3.2 -C /opt/module/ 将解压后的目录改名为spark 1mv /opt/module/spark-3.1.1-bin-hadoop3.2 /opt/module/spark 配置 spark spark的配置文件都存放在${SPARK_HOME}/conf中 1cd /opt/module/spark/conf/ 将配置文件模板复制成配置文件 123cp spark-defaults.conf.template spark-defaults.confcp spark-env.sh.template spark-env.shcp w ...