6 k8s + jenkins 实现持续集成(完) 一 

发表于

这是我参与11月更文挑战的第28天，活动详情查看：2021最后一次更文挑战」

一. 在node节点上安装软件. 具体软件内容如下

1
2
3
4
5
arduino复制代码1. 下载jdk

下载tar包,上传到node https://pan.baidu.com/s/18IicPYf7W0j-sHBXvfKyyg

  配置环境变量

export JAVA_HOME=/home/jdk1.8.0_161

export JRE_HOME=JAVAHOME/jre exportCLASSPATH=.:{JAVA_HOME}/jre
export CLASSPATH=.:JAVAH​OME/jre exportCLASSPATH=.:{JAVA_HOME}/lib:JREHOME/lib exportPATH=.:{JRE_HOME}/lib
export PATH=.:JREH​OME/lib exportPATH=.:{JAVA_HOME}/bin:$PATH

1
复制代码

复制代码

1
2
bash复制代码2. 下载tomcat,  到node的/home目录下
wget https://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.34/bin/apache-tomcat-9.0.34.tar.gz

复制代码

1
2
3
4
5
6
7
bash复制代码3. 下载jenkins 到/home
wget http://mirrors.jenkins-ci.org/war/latest/jenkins.war

将jenkins的war放到tomcat的webaap目录下
mv jenkins.war /home/tomcat9/webapps

启动tomcat
1
复制代码

复制代码

1
2
arduino复制代码4. 下载git,  直接在node执行命令
apt-get install get

复制代码

1
2
3
4
5
6
bash复制代码5. 下载maven,  到/home目录
wget https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

解压, mv maven... maven3

配置环境变量

export M2_HOME=/home/maven3

export CLASSPATH=CLASSPATH:CLASSPATH:CLASSPATH:M2_HOME/lib

export PATH=PATH:PATH:PATH:M2_HOME/bin

1
2
3
4
5
6
7
8
9
xml复制代码

修改maven仓库, maven3/conf/settings.xml
　　<mirror>
　　　　<id>alimaven</id>
　　　　<name>aliyun maven</name>
　　　　<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
　　　　<mirrorOf>*</mirrorOf>
　　</mirror>

复制代码

二. jenkins配置

  1. 在浏览器输入http://192.168.1.104:8080/jenkins/

然后, 在服务器找到初始密码, 填入

  1. 选择手动安装插件

  1. 选择安装的插件
1
2
3
4
bash复制代码
ssh/publish over ssh
git/git parameter
maven Integration plugin

手动添加maven插件

管理–>插件管理–>搜索maven Integration

  1. jenkins全局工具配置中, 配置jdk/git/maven

进入系统配置–>全局工具配置

配置jdk和git

三. jenkins + k8s发布实例

三个目标:

  • Registry安装配置和使用
  • jenkins项目创建和配置
  • jenkins项目构建
  1. docker的Registry的安装和配置

在node节点上, 获取registry镜像

1
复制代码docker pull registry

启动容器

1
arduino复制代码docker run -p 5000:5000 -v /home/registry_images:/var/lib/registry -d registry

这里将registry挂载到了本地目录, 避免docker重启后, 镜像丢失

  1. registry的使用

修改master机器上的registry容器为所在的宿****主机

1
bash复制代码/etc/docker/daemon.json
1
2
3
perl复制代码{
   "insecure-registries":["192.168.1.104:5000"], //修改为registry所在容器的宿主机 "registry-mirrors": ["https://w52p8twk.mirror.aliyuncs.com"]
}

我的registry在node节点上, node的ip是192.168.1.104

重启docker

1
2
复制代码systemctl daemon-reload
systemctl restart docker

下载一个nginx并上传到Registry仓库

1
2
3
4
bash复制代码领取nginx镜像
docker pull nginx
改名
docker tag nginx 192.168.1.104:5000/nginx:test

尝试把 192.168.1.104:5000/nginx:test上传到我们的Registry仓库

1
bash复制代码docker push 192.168.1.104:5000/nginx:test

可以成功push, 说明我们的仓库是创建成功了.

下面在node上做同样的操作. 修改/etc/docker/daemon.json文件

1
2
3
4
json复制代码{
  "insecure-registries":["192.168.1.104:5000"],
  "registry-mirrors": ["https://w52p8twk.mirror.aliyuncs.com"]
}

重启docker

1
2
复制代码systemctl daemon-reload
systemctl restart docker
  1. 在Jenkins上构建项目

复制代码

1
2
3
4
5
markdown复制代码构建的整体流程:
1. 设置参数化构建
2. 设置代码库的地址
3. 设置maven的构建命令, 执行后会打包出一个jar包, 将jar打包成一个动态镜像, 并推到镜像仓库中
4. 将应用部署的yaml文件拷贝到k8s的master节点上, 然后执行命令, 让k8s根据yaml文件启动应用

复制代码

  • 创建一个maven项目

  • 勾选丢弃旧的构建, 保持构建的天数为2天, 最大构建个数为2个

  • 勾选参数化构建, 选择git参数, 名称填写branch , 参数类型是分支或标签

目的是: 可以根据分支进行构建.或者标签进行构建

github.com/solochen84/…

  • 下面开始构建项目

项目地址: github.com/solochen84/…

git项目地址: github.com/solochen84/…

这个项目是public的, 所以, 不需要配置Credentials

  • 添加maven构建

  • 设置构建后, 将jar包打包成docker镜像, 并推送到Registry

设置构建完之后执行的动作

脚本内容

1
2
3
4
5
6
7
8
9
bash复制代码#!/bin/sh

jarName=spring-boot-demo-0.0.1-SNAPSHOT.jar
jarFolder=ph
projectName=ph

docker_path=${WORKSPACE}
cp ${WORKSPACE}/target/${jarName} ${docker_path}
sh /root/docker_dir/deploy_docker.sh ${projectName} ${docker_path} ${jarName}
1
2
3
javascript复制代码创建deploy_docker文件. 目录: /root/docker_dir/deploy_docker.sh. 文件内容如下

设置文件的可执行
1
复制代码权限
1
bash复制代码chmod 775 deploy_docker.sh

deploy_docker.sh文件内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
bash复制代码#!/bin/sh
# maven01 $workspace $jarname
# ${projectName} ${docker_path} ${jarName}

set -e
projectName=$1
docker_path=$2
appName=$3

#user_name=
#password=

tag=$(date +%s)
server_path=192.168.1.104:5000
target_image=${projectName}:${tag}
#${BUILD_NUMBER}
echo ${target_image}

cd ${docker_path}

docker build --build-arg app=${appName} -t ${target_image} .

docker tag ${target_image} ${server_path}/${projectName}
echo The name of image is "${server_path}/${target_image}"

  • 设置jenkins服务器到k8s master ssh免密登录

设置了免密登录, jenkins就可以到k8s上运行脚本, 执行命令

    • 在jenkins所在服务器上执行
1
2
3
4
5
css复制代码生成秘钥
ssh-keygen -t rsa 

拷贝公钥
ssh-copy-id -i  ~/.ssh/id_rsa.pub root@192.168.1.106
    • 测试免密登录

ssh root@192.168.1.106

  • 设置构建后操作, 将yaml文件拷贝到k8s master 上并运行应用

yaml文件的位置, 是在项目里面的. 

1
2
3
4
5
6
7
bash复制代码set -e
echo ok
echo ${WORKSPACE}
docker_path=${WORKSPACE}
scp ${WORKSPACE}/*.yaml 192.168.1.106:/root/
ssh 192.168.1.106 '/usr/bin/kubectl apply -f /root/kube.yaml'
ssh 192.168.1.106 '/usr/bin/kubectl get svc|grep maven'

这里的ip地址填master的ip地址

  • Jenkins项目构建

构建的过程中, 会出现各种各样的问题

  1. no matches for kind “Deployment” in version “extensions/v1beta1”

参考文章: www.cnblogs.com/nnylee/p/11…

修改对应的shell脚本

1
2
3
4
5
6
7
8
9
bash复制代码set -e
echo ok
echo ${WORKSPACE}
docker_path=${WORKSPACE}
scp ${WORKSPACE}/*.yaml 192.168.1.106:/root/
ssh 192.168.1.106 'sed -i "s|extensions/v1beta1|apps/v1|" /root/kube.yaml'
ssh 192.168.1.106 'sed -i "s|192.168.0.108|192.168.1.104|" /root/kube.yaml'
ssh 192.168.1.106 '/usr/bin/kubectl apply -f /root/kube.yaml --validate=false' 
ssh 192.168.1.106 '/usr/bin/kubectl get svc|grep maven'
  1. spec.template.metadata.labels: Invalid value: map[string]string{“app”:”maven”}: selector does not match template labels.

Build step ‘Execute shell’ marked build as failure

参考的是这篇文章: www.cnblogs.com/robinunix/p…

我修改后的配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
yaml复制代码apiVersion: v1
kind: Service
metadata:
  name: maven-service
spec:
  type: NodePort
  ports:
  - name: maven
    port: 8080
    nodePort: 31002
    targetPort: 8080
    protocol: TCP
  selector:
    app: maven
---
apiVersion: apps / v1
kind: Deployment
metadata:
   #name: maven-deployment
  name: maven
spec:
  selector:
    matchLabels:
      app: maven
  replicas: 1
  template:
    metadata:
      labels:
        app: maven
    spec:
      containers:
        - name: maven
          image: 192.168.1.104:5000/ maven:latest
          ports:
          - containerPort: 8080
          env:
            - name: key
              value: "value"

复制代码

然后重新启动, 成功!

1
sql复制代码kubectl get deployments --all-namespaces

发现,name为maven的deployment的Ready状态是0个

查看pod

1
sql复制代码kubectl get pod --all-namespaces

发现有一个pending状态

查看pod的日志

1
sql复制代码 kubectl describe pod maven-7589958577-5ms68 -n default

本文转载自: 掘金

开发者博客 – 和开发相关的 这里全都有

0%