参考
https://www.elastic.co/guide/en/elasticsearch/reference/7.10/docker.html


## docker-com-elk脚本
```
[root@docker ~/elk]$ cat es-logstash-kibana.yaml 
version: '3.8'

services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - cluster.name=elasticsearch
      - ES_JAVA_OPTS=-Xms4096m -Xmx4096m
    ports:
      - "9200:9200"
      - "9300:9300"
    volumes:
      - /home/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /home/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /home/elasticsearch/data:/usr/share/elasticsearch/data
    restart: unless-stopped
    networks:
      - elk_network

  logstash:
    image: docker.elastic.co/logstash/logstash:7.10.2
    container_name: logstash
    ports:
      - "4560:4560"
      - "4561:4561"
      - "4562:4562"
      - "4563:4563"
    depends_on:
      - elasticsearch
    volumes:
      - /home/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - /home/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml
    environment:
      - LOGSTASH_JAVA_OPTS=-Xms1g -Xmx1g
    restart: unless-stopped
    networks:
      - elk_network

  kibana:
    image: docker.elastic.co/kibana/kibana:7.10.2
    container_name: kibana
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch
    environment:
      - elasticsearch.hosts=http://elasticsearch:9200
    volumes:
      - /home/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    restart: unless-stopped
    networks:
      - elk_network

networks:
  elk_network:
    driver: bridge

```

持久化存储的地址
```
cd /home/
mkdir elasticsearch kibana logstash

## elasticsearch

[root@docker /home]$ tree elasticsearch/config/
elasticsearch/config/
└── elasticsearch.yml

vim elasticsearch.yml 

http.host: 0.0.0.0
xpack.security.enabled: true
cluster.max_shards_per_node: 10000

## logstash 结构为
[root@docker /home/logstash]$ tree
.
├── logstash.conf
└── logstash.yml



[root@docker /home/logstash]$ cat logstash.conf 
input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
    type => "debug"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4561
    codec => json_lines
    type => "error"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4562
    codec => json_lines
    type => "business"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4563
    codec => json_lines
    type => "record"
  }
}
filter{
  if [type] == "record" {
    mutate {
      remove_field => "port"
      remove_field => "host"
      remove_field => "@version"
    }
    json {
      source => "message"
      remove_field => ["message"]
    }
  }
}
#output {
#  elasticsearch {
#    hosts => "http://192.168.7.90:9200"
#    index => "open-course-%{type}-%{+YYYY.MM.dd}"
#    user => "root"
#    password => "zjtvu_zst1"
#  }
#}
output {
  elasticsearch {
    hosts => "http://elasticsearch:9200"
    index => "open-%{type}-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "a123456"
  }
}


vim cat logstash.yml 

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]
xpack.monitoring.elasticsearch.username: "elastic"
xpack.monitoring.elasticsearch.password: "a123456"


## kibana
[root@docker /home]$ tree kibana/
kibana/
└── config
    └── kibana.yml

vim  kibana/config/kibana.yml 
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
elasticsearch.username: elastic
elasticsearch.password: csbpP148ztxa9SQBxUf6 

```


只设置 elastic 用户密码

```
docker exec -it elasticsearch /bin/bash
bin/elasticsearch-setup-passwords auto
```
输入y自动生成
## filebeat 源

```
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
sudo tee /etc/yum.repos.d/elastic.repo <<EOF
[elastic-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF

sudo yum clean all
sudo yum makecache   
                                             
sudo yum install filebeat
```

                                 
```
[root@java /etc/filebeat]$ cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /root/zjxxw/logs/*.log

output.elasticsearch:
  hosts: ["http://10.100.20.206:9200"]
  username: "elastic"
  password: "csbpP148ztxa9SQBxUf6"
  index: "10.100.20.204-java-%{[agent.version]}-%{[agent.hostname]}-%{+yyyy.MM.dd}"
#setup.ilm.enabled: auto
#setup.ilm.rollover_alias: "filebeat"
setup.ilm.policy_name: "7-days-default"
setup.template.name: "10.100.20.204-java"
setup.template.pattern: "10.100.20.204-java-*"
#setup.template.overwrite: true

```

elfk

## nfs动态持久化存储

https://hub.grapps.cn/marketplace/apps/900
```
helm repo add nfs-subdir-external-provisioner https://charts.grapps.cn

helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner --set nfs.server=10.100.20.211 --set nfs.path=/data/nfs-k8s/es
```
![image.png](/static/img/93a6137a11945af36ad551abc9c8f4d9.image.webp)

![image.png](/static/img/2adf4cda9701a49e798dbc2b5e6fa31a.image.webp)

## helm常用命令

```
helm list
helm uninstall elasticsearch
```
## 安装elasticsearch


```
# 使用默认values.yaml
 helm install elasticsearch appstore/elasticsearch  --version 19.10.6
 
 # 更新values.yaml参数
 helm upgrade elasticsearch appstore/elasticsearch --version 19.10.6 \
  --set data.persistence.storageClass=nfs-client

# 导出values.yaml文件修改后
helm show values elastic/elasticsearch > values.yaml
# 修改后执行
helm upgrade elasticsearch appstore/elasticsearch --version 19.10.6 -f values.yaml
```
persistence
![image.png](/static/img/f1bc88423423b3ee1071c3d252110bc6.image.webp)




kubectl get pods --namespace=default -l app=elasticsearch-master -w

helm repo add elastic https://helm.elastic.co
helm pull elastic/elasticsearch --version 7.17.3
helm pull elastic/logstash --version 7.17.3
helm pull elastic/filebeat --version 7.17.3
helm pull elastic/kibana --version 7.17.3




helm install elasticsearch elasticsearch -n default

helm upgrade elasticsearch ./elasticsearch -n default -f elasticsearch/values.yaml



helm pull elastic/filebeat --version 7.17.3






es 安装

## 
helm install es elastic/elasticsearch --version 7.10.2 -f elasticsearch/values.yaml -n default

helm upgrade es elastic/elasticsearch --version 7.10.2 -f elasticsearch/values.yaml -n default

helm repo add elastic https://helm.elastic.co
helm repo update

helm search repo elastic/elasticsearch --versions

helm uninstall es -n default

密码存储
kubectl create secret generic elasticsearch-pw \
  --from-literal=elastic=<your-password> \
  --namespace=default

helm

# 一、NFS服务器搭建
## 1.准备一台Linux服务器，
虚拟机或物理机都可以，操作系统Ubuntu或centos，这里选择Centos7.9
## 2、搭建NFS服务

```
# 安装 nfs-utils 软件包。
yum install nfs-utils -y

# 创建共享目录
mkdir /data/nfs-k8s -p

# 配置nfs权限
 vim /etc/exports
/data/nfs-k8s *(rw,no_root_squash)

# 关闭防火墙并禁用SELinux
systemctl stop firewalld && setenforce 0
 
 # 启动nfs服务

# systemctl start nfs

# 为数据目录添加读写权限
 chmod 666 /data/ -R

#使nfs配置生效
exportfs -arv

至此，nfs服务器已搭建完成
```
# 二. 在k8s集群中使用nfs

1、安装nfs驱动
```
# 在集群所有节点中执行
yum install nfs-utils -y
systemctl enable nfs --now
```

2、编写yaml文件
[root@master ~]# vim nfs.yaml

```
apiVersion: v1
kind: Pod
metadata:
  name: test-nfs-volume
spec:
  containers:
  - name: test-nfs
    image: nginx
    imagePullPolicy: IfNotPresent
    ports:
    - containerPort: 80
      protocol: TCP
    volumeMounts:
    - name: nfs-volumes
      mountPath: /usr/share/nginx/html
  volumes:
  - name: nfs-volumes
    nfs:
      path: /data/nfs-k8s
      server: 192.168.40.132
```

这段配置文件的解释如下： 

## apiVersion 和 kind


```
apiVersion: v1  
kind: Pod
```
apiVersion: v1 表示使用的是 Kubernetes API 的第一个版本。
kind: Pod 表示这个资源对象是一个 Pod。
## metadata
```
metadata:  
  name: test-nfs-volume
```

metadata 包含了关于这个 Pod 的元数据。
name: test-nfs-volume 给这个 Pod 设置了一个唯一的名称。


## spec
spec 字段定义了 Pod 的期望状态。

```
containers

containers:  
- name: test-nfs  
  image: nginx  
  imagePullPolicy: IfNotPresent  
  ports:  
  - containerPort: 80  
    protocol: TCP  
  volumeMounts:  
  - name: nfs-volumes  
    mountPath: /usr/share/nginx/html
```

containers 字段定义了 Pod 中运行的容器列表。
name: test-nfs 是容器的名称。
image: nginx 指定了容器使用的镜像。
imagePullPolicy: IfNotPresent 表示如果本地没有镜像，则尝试从镜像仓库拉取。
ports 字段定义了容器监听的端口。
containerPort: 80 指定容器监听的端口为 80。
protocol: TCP 表示使用 TCP 协议。
volumeMounts 字段定义了容器内部挂载卷的路径。
name: nfs-volumes 引用下面定义的卷的名称。
mountPath: /usr/share/nginx/html 指定了卷在容器内的挂载路径。
## volumes

```
volumes:  
- name: nfs-volumes  
  nfs:  
    path: /data/nfs-k8s
    server: 192.168.40.132
```
volumes 字段定义了 Pod 中可以使用的卷列表。
name: nfs-volumes 给卷设置了一个名称。
nfs 字段定义了 NFS 卷的属性。
path: /data/nfs-k8s 指定了 NFS 服务器上共享的路径。
server: 192.168.40.132 指定了 NFS 服务器的 IP 地址。

## 创建Pod
在master节点上执行

```
kubectl  apply -f nfs.yaml
```


# 三.测试数据持久化

## 1、创建首页文件
在nfs服务器

```
cd  /data/nfs-k8s
 echo "hello nfs" > index.html
```

## 2. 添加权限

```
chmod 755 index.html
```

## 3.访问测试
在k8s master节点上执行

查看pod IP



```
 kubectl get pod -owide
```

访问测试

```
curl 10.244.167.134
```

![image.png](/static/img/fabac397138ad93d32e1cc28453cb1ff.image.webp)
此处可以看到我们刚刚创建的文件的内容，证明k8s调用nfs作为持久化存储成功

至此，NFS服务器的搭建与k8s中的使用测试完成

k8s-nfs持久化挂载单机

:::tip{title="简单介绍"}
Elasticsearch是一个开源的分布式全文搜索引擎，它适用于所有类型的数据，包括文本、数字、时间、结构化和非结构化数据。Elasticsearch是在Apache Lucene的基础上开发而成，以其简单的REST风格API、分布式特性、速度和可扩展性而闻名123。

Elasticsearch的主要特点包括：

分布式架构：Elasticsearch采用分布式架构，可以将数据分散存储在多个节点上，提高了数据的可靠性和可伸缩性。

实时性：Elasticsearch具有近实时的搜索和分析能力，数据的添加、更新和删除操作几乎可以立即生效。

全文检索能力：Elasticsearch使用倒排索引来实现全文检索，能够快速地搜索和过滤大量的文本数据。

多种查询方式：支持全文查询、精确查询、范围查询、模糊查询等多种查询方式，满足不同类型的查询需求。

可扩展性与分布式特性：通过添加新的节点可以扩展系统的容量和性能，可以水平扩展到上百台服务器。

插件生态系统：Elasticsearch拥有丰富的插件生态系统，可以方便地扩展和定制系统的功能。

日志与监控：常被用作日志管理系统，能够高效地存储、搜索和分析日志数据。通过集成Kibana等可视化工具，可以实时展示日志数据、监控系统状态。

多租户与安全性：支持多租户模式，可以在同一个集群中创建多个独立的索引，实现数据的隔离和共享。同时提供强大的安全功能，保护数据的安全性和隐私性。

Elasticsearch通常与Logstash（数据收集和日志解析引擎）和Kibana（分析和可视化平台）一起使用，这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）。
:::
## ES的单机部署搭建

```
# 创建对应文件夹
mkdir -p /application
# 下载ES
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.1-linux-x86_64.tar.gz
# 解压
tar -zxf elasticsearch-7-12-1.tar.gz
mv elasticsearch-7-12-1 es
 
# 由于es是不能用root用户执行的，所以需要创建一个用户来执行
useradd es
passwd es
 
# 改变es的用户权限
chown -R es:es /application/es
 
# 修改虚拟机配置
vi /etc/security/limits.conf
-
es soft nofile 65536
es hard nofile 65536
-
vi /etc/security/limits.d/20-nproc.conf
-
vm.max_map_count=655360
-
sysctl -p  # 执行该命令让配置生效
 
# 切换用户
su es
 
#修改配置
cd  /application/es/config/
cp elasticsearch.yml elasticsearch.yml.backup
vi elasticsearch.yml
-
cluster.name:my-application  			#配置elasticsearch的集群名称，默认是elasticsearch。建议修改成一个有意义的名称
node.name:node-1     					#节点名，elasticsearch会默认随机指定一个名字，建议指定一个有意义的名称，方便管理
network.host:0.0.00  					#设置为0.0.0.0允许外网访问
http.port:9200    						#Elasticsearch的http访问端口
cluster.initial_master_nodes:["node-1"]	#初始化新的集群时需要此配置来指定参与选举的master
-
# 启动
cd /application/es/bin
./elasticsearch
 
# 编写脚本用于一键启动
cd /application/es
vi start.sh
-
#!/bin/bash
lsof -i tcp:9200 | awk '/es/{print $2}' | xargs kill -9 &>/dev/null
/application/es/bin/elasticsearch >>/application/es/logs/es-$(date +%F).log &
-
chmod 775 start.sh
# 启动
./start.sh
```
## ES的集群部署搭建
1、基础配置


```
# 创建对应文件夹
mkdir -p /application

# 下载elasticsearch安装包
# 下载ES
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.1-linux-x86_64.tar.gz
# 解压
tar -zxf elasticsearch-7-12-1.tar.gz
mv elasticsearch-7-12-1 elasticsearch
mkdir -p /application/elasticsearch/data  # 数据存放目录
mkdir -p /application/elasticsearch/logs  # 日志存放目录

# 调优集群的初始化参数
# 修改文件描述符的最大打开数量
vim /etc/security/limits.d/elasticsearch.conf 
-
# Add by yinzhengjie for Elasticsearch
*          soft    nofile    65535
*          hard    nofile    65535
-
# 修改虚拟内存区域映射大小
vim /etc/sysctl.d/elasticsearch.conf
-
vm.max_map_count=262144
-
# 让配合生效[必须执行]
sysctl -p /etc/sysctl.d/elasticsearch.conf


# 创建普通用户进行ES的启动
useradd elastic
passwd elastic
chown -R elastic:elastic /application/elasticsearch/  #将文件属主权限给elastic
su elastic # 切换用户

# 修改基础配置文件
cd /application/elasticsearch/config
cp elasticsearch.yml elasticsearch.yml.backup  						#将配置文件进行备份
vim elasticsearch.yml
-
cluster.name: my-application     									#设置集群名称
node.name: node-122													#设置节点名称[所有的节点名称都不能相同]
path.data: /application/elasticsearch/data							#设置数据存放目录
path.logs: /application/elasticsearch/logs							#设置日志存放目录
network.host: 0.0.0.0												#允许其他IP访问
http.port: 33857													#设置访问端口
discovery.seed_hosts: ["slave2", "slave3","slave4"]					#设置集群有哪些IP
cluster.initial_master_nodes: ["node-122","node-123","node-124"]	#设置集群节点，进行自动推举当主节点
-
 
# 编写一键启动脚本
# 编写脚本用于一键启动
cd /application/elasticsearch
vi start.sh
-
#!/bin/bash
lsof -i tcp:33857 | awk '/es/{print $2}' | xargs kill -9 &>/dev/null
/application/elasticsearch/bin/elasticsearch >>/application/elasticsearch/logs/es-$(date +%F).log &
-
chmod 775 start.sh
# 启动
./start.sh
```

# 配置安全策略

```
# 创建CA证书
cd /application/elasticsearch
./bin/elasticsearch-certutil ca #创建CA证书 
# 执行这个命令后，需要设置密码、

# 生成节点证书
./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12  #这一步需要设置证书名称和密码，证书名称默认即可
mv elastic-certificates.p12 ./config

# 将生成的节点证书复制给其他节点
 scp elastic@192.168.110.122/application/elasticsearch/config/elastic-certificates.p12 elastic@192.168.110.123/application/es/config
 scp elastic@192.168.110.122/application/elasticsearch/config/elastic-certificates.p12 elastic@192.168.110.124/application/es/config
 
 # 复，可以只看
 #2.2和2.3还可以换种方式
#2.4.1 生成CA证书
./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
 scp elastic@192.168.110.122/application/elasticsearch/elastic-stack-ca.p12 elastic@192.168.110.123/application/es/config
 scp elastic@192.168.110.122/application/elasticsearch/elastic-stack-ca.p12 elastic@192.168.110.124/application/es/config
#2.4.2 生成节点证书
./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12  #这一步，每一个节点都需要执行
#2.4.3 将证书移动到config目录中
./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12、

# 将密码加入到密码库中
bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
 
bin/elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password

# 重启ES，初始化密码
sh start.sh
./bin/elasticsearch-setup-passwords interactive   # 设置密码
```

ES的单机以及集群搭建

## 安装OpenJDK 17

```
wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.rpm
rpm -ivh jdk-17_linux-x64_bin.rpm
yum install libaio libaio-devel
java -version
```
## 版本控制

```
 alternatives --config java
```


## mvn安装
因为Jenkins 通过shell脚本调用 mvn 命令的时候，是从/usr/bin 文件夹中找命令的
```
#!/bin/bash

# 下载 Apache Maven 3.9.8 的二进制分发文件
wget https://dlcdn.apache.org/maven/maven-3/3.9.8/binaries/apache-maven-3.9.8-bin.tar.gz

# 解压缩到 /opt 目录
tar xf apache-maven-3.9.8-bin.tar.gz -C /opt/ && mv /opt/apache-maven-3.9.8 /usr/bin/mvn

# 配置环境变量
echo 'export M2_HOME=/usr/bin/mvn' >> ~/.bashrc
echo 'export MAVEN_HOME=/usr/bin/mvn' >> ~/.bashrc
echo 'export PATH=${M2_HOME}/bin:${PATH}' >> ~/.bashrc

# 生效环境变量
source ~/.bashrc

# 验证安装
mvn -version

```


## mysql 8.0
参考

https://blog.csdn.net/m0_57647880/article/details/130667513
https://blog.csdn.net/weixin_50367873/article/details/138484778

#### 在Centos7的系统上默认是mariadb，如果要安装MySQL需要先把系统中存在的MySQL或者mariadb删除掉。
```
rpm -qa |grep mariadb
yum -y remove mariadb*
rpm -qa |grep mysql
```
#### yum安装mysql

```
#下载地址：https://dev.mysql.com/downloads/repo/yum/ 或 http://repo.mysql.com
# 导入mysql yum源
wget http://repo.mysql.com/mysql80-community-release-el7.rpm
# 添加环境变量和启动服务
yum install mysql-community-server mysql-community-client mysql-community-common
# 重新拉取缓存
yum clean all
yum makecache
# 启动且自启动
systemctl enable --now mysqld
#mysql状态
systemctl status mysqld
#密码
grep 'temporary password' /var/log/mysqld.log
# 登录
mysql -uroot -p
```


## 安装node mvn

```
# 安装 nvm
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.0/install.sh | bash

# 加载 nvm
export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh"

# 安装 Node.js 和 npm
nvm install node
nvm use node
```
## 基本用法

```
# 安装版本
nvm ls
# 绝对路径
nvm which 10.24.1
## 使用的版本和绝对路径
nvm current
nvm which curren

```

#### 加速

```
# node加速
export NVM_NODEJS_ORG_MIRROR=https://npmmirror.com/mirrors/node
```
#### nrm管理npm源
安装

```
npm config set registry https://registry.npmmirror.com
npm install -g nrm
```
当前源

```
nrm current
```
切换源

```
nrm use npm
```
测试源

```
nrm test
```
验证信息

```
node -v
npm -v
npm config get registry  # 应显示 https://registry.npmmirror.com
# 指定使用
npm install --registry=https://registry.npmmirror.com/
```


## nacos
https://www.cnblogs.com/studyjobs/p/18014237
在虚拟机上创建 /app/nacos-single2 目录，里面放置一个 logs 目录和 docker-compose.yml

编写 docker-compose.yml 文件内容如下：
```
version: '3.5'
services:
  nacos:
    image: nacos/nacos-server:v2.2.2
    container_name: nacos
    restart: always
    ports:
      # web 界面访问端口
      - 8848:8848
      # 程序使用 grpc 连接的端口
      - 9848:9848
    environment:
      - MODE=standalone
      # 使用 mysql 作为数据库
      - SPRING_DATASOURCE_PLATFORM=mysql
      - MYSQL_SERVICE_HOST=192.168.136.128
      - MYSQL_SERVICE_PORT=3306
      - MYSQL_SERVICE_DB_NAME=nacos
      - MYSQL_SERVICE_USER=root
      - MYSQL_SERVICE_PASSWORD=root
      # 设置连接 mysql 的连接参数
      - MYSQL_DB_PARAM="characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&serverTimezone=Asia/Shanghai"
    volumes:
      - /app/nacos-single2/logs:/home/nacos/logs
```