Golang实践录：使用gin框架实现转发功能：利用ngin

发表于

这是我参与11月更文挑战的第16天，活动详情查看：2021最后一次更文挑战

近段时间需要实现一个转发 post 请求到指定后端服务的小工具，由于一直想学习 gin 框架，所以就使用这个框架进行尝试，预计会产生几篇文章。本文研究如何利用 nginx 容器和后端服务进行转发工具的测试。

概述

转发的工具实现起来比较简单，但为了验证，还需要使用其它工具配合，本文自编后端程序，并使用 nginx 实现多个后端程序的转发。

为方便理解，下面给出示例图。

不使用 nginx 实现转发如下图所示：

1.png

使用 nginx 实现转发如下图所示：

2.png

注1：两个图片相近，注意图中 URL 的变化。

注2：在本文中，客户端可以跨过 nginx 直接访问后端的服务，在实际中似乎不太好，因只做演示，故不再深入考虑。

后端服务

前面文章已经实现了简单的后端服务响应函数，此处不再列出。需要注意的是，因本系列转发和后端均用同一套代码，如果要在程序中启动后端服务，必须修改后端服务可执行文件名称，参考前文代码。

nginx容器启动及重启

本文使用镜像centos/nginx-116-centos7进行测试。简单启动如下：

1
ruby复制代码docker run -itd --name nginx -p 8080:8080 -v $PWD:/opt/bin centos/nginx-116-centos7 bash

实践中使用docker-compose启动，docker-compose.yml文件如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
bash复制代码version: '2'

services:
  nginx:
    image: centos/nginx-116-centos7
    container_name: nginx
    command: /bin/bash -c "/home/latelee/bin/run.sh"
    volumes:
      - $PWD/bin:/home/latelee/bin
      - $PWD/nginx/log:/var/opt/rh/rh-nginx116/log/nginx
      - $PWD/nginx/etc:/etc/nginx
      - /etc/localtime:/etc/localtime
    #environment:
    #  - ORACLE_HOME=/work/instantclient_12_1
    #  - TNS_ADMIN=$ORACLE_HOME
    ports:
      - 8080:8080
      - 8090:8090

注：后端服务程序（和启动脚本）以及 nginx 配置文件均放到主机目录，因为这样更容易更新。

为了在容器启动时运行自定义的命令，需要关闭 nginx 服务的后台执行，启动脚本 run.sh 内容如下：

1
2
3
4
5
6
7
8
9
bash复制代码#!/bin/bash

echo "run..."
cd /home/latelee/bin

nginx -g "daemon off;"&

sleep 1
./httpforward.exe -p 8090

关于在容器中启动 nginx 的方法，官方 docker 有介绍：

If you add a custom CMD in the Dockerfile, be sure to include -g daemon off; in the CMD in order for nginx to stay in the foreground, so that Docker can track the process properly (otherwise your container will stop immediately after starting)!

大意是说，当我们自定义启动命令时，必须添加-g daemon off，否则自定义命令启动完毕后，容器就会自动退出。

启动容器：

1
复制代码docker-compose up -d

查看日志：

1
复制代码docker-compose logs -f

默认情况下 nginx 已经启动了。如果修改了配置。可以重启容器，也可以在容器内重启，重启命令为nginx -s reload。nginx -s仅支持4个参数：stop, quit, reopen, reload，官方文档将其称为信号（signal）。如果执行nginx -s stop停止 nginx，再次重启，会提示nginx: [error] open() "/var/opt/rh/rh-nginx116/run/nginx/nginx.pid" failed (2: No such file or directory)。因此，修改 nginx 配置后，使用reload即可。

nginx 转发的一些测试

在笔者环境中，不论在容器内，还是在物理机，nginx 配置文件为/etc/nginx/nginx.conf（注：实际，nginx 还会读取/etc/nginx/conf.d目录，但不在本文讨论范围），修改该文件后，必须执行nginx -s reload重启 nginx。

对于 location 的配置，一般如下：

1
2
3
4
5
6
bash复制代码location /fee/9000 {
        proxy_pass http://127.0.0.1:9000;
        proxy_set_header Host $proxy_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

发送到 nginx 服务器的请求，如果 URL 为/fee/9000，则转发到本地的 9000 端口的服务。（注：/fee/9000还可以继续添加后缀 URL，但不是本次讨论的范围），其它转发类似。

经测试，直接用proxy_pass字段指定后端服务地址即可。如下：

1
2
3
arduino复制代码location /fee/9000 {
        proxy_pass http://127.0.0.1:9000;
}

测试中发现，当使用上述转发规则时，后端程序必须实现/fee/9000的响应，即在容器中能正常请求http://127.0.0.1:9000/fee/9000。如果不实现，会提示 404。而本文的后端不能响应带后缀的URL。

经查，在后端程序 URL 后添加斜杠/可解决问题，如下：

1
2
3
arduino复制代码location /fee/9000 {
        proxy_pass http://127.0.0.1:9000/;
}

两者对比如下：

1
2
3
4
ruby复制代码不加斜杠：http://127.0.0.1:8080/fee/9000  --> http://127.0.0.1:9000/fee/9000
添加斜杠：http://127.0.0.1:8080/fee/9000  --> http://127.0.0.1:9000/

添加斜杠的扩展：http://127.0.0.1:8080/fee/9000/foo  --> http://127.0.0.1:9000/foo

对于笔者的应用，请求后端程序的URL必须是http://127.0.0.1:9000/的形式，不能再额外添加后缀，由于对 nginx 研究未深，暂不展开讨论。

实验结果

请求命令：

1
2
3
4
css复制代码$ curl http://192.168.28.11:8090/fee/test -X POST -F  "file=@sample.json"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   434  100    98  100   336   3920  13440 --:--:-- --:--:-- --:--:-- 18083{"code":0,"data":{"result":"ok in back end server, port: 9001 info: run in port 9001"},"msg":"ok"}

转发工具：

1
2
arduino复制代码nginx    | got url:  http://127.0.0.1:8080/fee/9001
nginx    | [GIN] 2021/11/14 - 11:45:30 | 200 |   10.002826ms |    192.168.28.5 | POST     "/fee/test"

nginx 日志：

1
2
c复制代码==> nginx/log/access.log <==
127.0.0.1 - - [14/Nov/2021:11:45:30 +0800] "POST /fee/9001 HTTP/1.1" 200 98 "-" "Go-http-client/1.1" "-"

小结

本文中，自编的转发工具要管理和配置后端程序以及 nginx，即启动若干后端程序，根据规则分配端口号（从9000开始）和 URL，将其写到 nginx 配置文件，最后重启 nginx 服务。——当然，这些都是使用较简单的方法。

在启动后端程序中，由于笔者使用相同的代码，因此花了一些时间排查问题。

在测试 nginx 转发 URL 时，也花了较多的时间（前后大概2个深夜的时间）。

在后续中，笔者将研究如何自实现负载均衡算法。——计划做此事已了大半年，趁此机会抽点时间搞下。

参考

关于转发 URL 的讨论 stackoverflow.com/questions/4…

nginx镜像： hub.docker.com/_/nginx

本文转载自: 掘金

开发者博客 – 和开发相关的 这里全都有

0%