高性能APISIX微服务网关替换K8S传统Ingress-nginx-controller

高性能APISIX微服务网关替换K8S传统Ingress-nginx-controller

Deng YongJie's blog 652 2022-10-02

Apche APISIX网关

功能：

提供完善可观测性，流量日志记录到clickhouse（废弃es）上。
统一ingress和业务系统的流量网关，降低流量损耗。
统一鉴权模型，接入业务系统鉴权逻辑。
流量防护，启动熔断限流等多种防护措施。
流量重放，为后期自动测试提供数据重复供。

验证步骤：

rancher上部署apisix网关，建立demo路由，简单测试路由转发功能
切换rancher上的ingress-nginx，对外暴露80,443端口。dashbaord上创建的路由能正常转发到测试服务上。
部署apisix-ingress-controller，修改rancher的ingress域名，controller自动监听并自动在APISIX创建路由规则。
记录访问日志，存储在clickhouse上。
测试熔断，限流。

需知问题：

helm部署的模板以nodeport暴露服务，修改调整成demoset暴露，还要修改模板加入443端口，否则不会暴露443端口。此外还要加入ssl参数，否则nginx不会监听443
ingress上需要添加注解 kubernetes.io/ingress.class=apisix ，否则流量不会进入apix。特别注意不能提前设置这个注解，否则原有的ingress会失效，且只能通过yaml进行修改。

待解决问题：

兼容appid设置，需要保证一个默认的appid。
兼容trace-id，能够在网关上生产trace-id。
参考文档 https://apisix.apache.org/docs/apisix/getting-started/

建议架构搭配：

单个k8s集群的apisix对应单个独立的etcd集群，不跟k8s集群使用的etcd共用

一、APISIX网关部署

官方文档：https://apisix.apache.org/zh/docs/apisix/installation-guide/

https://apisix.apache.org/zh/docs/apisix/FAQ/

helm地址：https://github.com/apache/apisix-helm-chart/tree/master/charts/apisix

apisix和apisix-dashboard、apisix-ingress-controller 三个服务，如需替换ingress，则要把apisix服务开启hostnetwork模式

注意节点80 443端口不能被占用，默认配置了反亲和，每台节点只存在一个pod

注意事项：dashboard不能部署多个pod。否则登录成功，又跳转出重新登录界面，或者刷新一下，又跳回重新登录

注意，apisix-controller默认监听k8s ingress的apiversion为：networking.io/v1。所以最佳搭配是1.19-1.22以下

image-20221124180644059

下载官方helm包到本地

helm repo add apisix https://charts.apiseven.com
helm repo update

helm search repo apisix
helm pull apisix/apisix --version 0.11.2
wget http://github.com/apache/apisix-helm-chart/releases/download/apisix-0.11.2/apisix-0.11.2.tgz

0. apisix里面有nginx服务，启动的时候默认会监听9100端口，如果集群部署了prometheus监控，node-export会占用了9100端口。所以需要把apisix的9100端口改成其它端口，否则会一直报错起不来

image-20221116113615931

使用官方提供的helm部署，helm包下载到本地，然后需要修改values值

开启的参数解释：https://github.com/apache/apisix-helm-chart/tree/master/charts/apisix

1.etcd需要添加存储类，否则会使用了官方默认的local类，无法自动创建pvc和pv

创建ceph-rbd存储类
kubectl create -n ingress-apisix csi-storeclass.yaml

还需要创建命名空间的服务账户，关联集群角色
kubectl create -n ingress-apisix -f csi-provisioner-psp.yaml
kubectl create -n ingress-apisix -f csi-provisioner-rbac.yaml

vim charts/etcd/templates/statefulset.yaml
image-20221116115341683

2. 把apisix默认监听的9080 9443端口改成80 443

vim templates/configmap.yaml

添加一行443的，变量定义

image-20221116114846067

3. 然后改成80 443端口

vim values.yaml

4. 把Deployment改成Daemonset，注释replica。并打开hostnetwork

vim values.yaml

5. 修改dashboard账户密码和添加nodeport端口

vim charts/apisix-dashboard/values.yaml

6.注释掉apisix-ingress-controller控制器的健康检测，否则会出现nc 9100端口失败的报错

vim charts/apisix-ingress-controller/templates/deployment.yaml

7. dashboard、apisix、controller三个服务，都可以打开serviceMoitor监控端口，方便后续接入监控

8. apisix服务，需要加上server-info的插件，否则dashboard显示不出apisix服务的信息

vim values.yaml

9. 该步骤非常重要！需要在config文件添加ssl，否则无法通过https访问！！！

vim templates/configmap.yaml

vim values.yaml

10. 关闭ingress-controller的hostport，因为hostnetwork是在apisix网关服务暴露的。否则无法启动多个pod，因为配置了节点反亲和性，每台节点只存在一个pod

vim charts/apisix-ingress-controller/templates/deployment.yaml

11. 重点注意！非常重要的步骤，否则rancher创建ingress会一直处于黄色状态（Initializing）

需要修改apisix-ingress-controller的配置文件，把ingress_status_address参数加上worker的ip地址

这个黄色状态就是由于没有修改配置文件参数，没有添加worker节点ip地址。controller控制器的status没有信息更新，所以就长期初始化！

相关错误的案例：https://github.com/rancher/rancher/issues/20267

解决方法：

https://github.com/apache/apisix-ingress-controller/blob/master/conf/config-default.yaml

配置解释：
ingress_publish_service: ""  # the controller will use the Endpoint of this Service to
                             # update the status information of the Ingress resource.
                             # The format is "namespace/svc-name" to solve the situation that
                             # the data plane and the controller are not deployed in the same namespace.
ingress_status_address: []   # when there is no available information on the Service
                             # used for publishing on the data plane,
                             # the static address provided here will be
                             # used to update the status information of Ingress.
                             # When ingress-publish-service is specified at the same time, ingress-status-address is preferred.
                             # For example, no available LB exists in the bare metal environment.

vim charts/apisix-ingress-controller/values.yaml

ingressStatusAddress: [10.7.0.110,10.7.0.111,10.7.0.112,10.7.0.113,10.7.0.114]

https://apisix.apache.org/zh/docs/ingress-controller/deployments/tke/#specify-the-ingress-version

这是对应k8s版本的ingress-apiversion，由于这里是k8s 1.20版本，默认是networking.k8s.io/v1。所以无需更改

vim charts/apisix-ingress-controller/templates/configmap.yaml

这里注意要空两格，默认是没有空格的，这是ingress-controller配置文件引用ingress_status_address的参数，填写worker节点ip的地方。如果格式不对，controller无法正常识别loadbanlancer地址。则会长期处于黄色状态(Initializing)

vim charts/apisix-ingress-controller/values.yaml

然后在rancher创建ingress测试

12. ssl证书需要上传到dashboard里面，rancher里面添加的ingress配置已经没用了。流量先经过apisix，再进行路由转发！

13.路由规则必须使用非https协议，上游pod都是基于http协议通讯，改成https会提示502 Bad Gateway! （除非pod内部做了https例外）

14. 通过yaml文件或rancher创建ingress，apisix-controller会监听api-server事件，等apisix-controller自动把配置更新到apisix。需要在ingress添加一行注释”kubernetes.io/ingress.class: apisix“才能被apisix-controller成功监听。（如果在apisix-dashboard添加域名路由，不通过api-server创建ingress，此时apisix-etcd毁灭性故障，会导致在dashboard添加的路由配置丢失）

下面参数是把etcd、controller关闭，如果已经部署运行状态，就不能改成false，否则会把正在运行的给删掉了

例如：–set ingress-controller.enabled=false

–set etcd.enabled=false

–set discovery.registry.nacos.host[0]={http://nacos.nacos:8848}

如需修改etcd连接地址：–set etcd.host={http:ip:port}

也可以修改nacos的配置文件:

https://apisix.apache.org/zh/docs/apisix/discovery/nacos/

vim values.yaml
discovery:
  nacos:
    host:
      - "http://${username}:${password}@${host1}:${port1}"
    prefix: "/nacos/v1/"
    fetch_interval: 30    # default 30 sec
    weight: 100           # default 100
    timeout:
      connect: 2000       # default 2000 ms
      send: 2000          # default 2000 ms
      read: 5000          # default 5000 ms

执行更新安装命令，如需关闭或不重复安装某个组件，则把上述参数改为false

#注意，需要在helm当前目录执行
helm upgrade --install apisix ./   --set gateway.type=NodePort  --set ingress-controller.enabled=true   --namespace ingress-apisix   --set ingress-controller.config.apisix.serviceNamespace=ingress-apisix

#如果不需要更新dashboard和controller，则把set参数去掉
helm upgrade --install apisix ./   --set gateway.type=NodePort --namespace ingress-apisix 

#进入dashboard，启动服务
cd charts/apisix-dashboard/
helm upgrade --install apisix-dashboard ./ --namespace ingress-apisix


#连接nacos的启动方式
helm upgrade --install apisix ./   --set gateway.type=NodePort --set discovery.registry.nacos.host={http://nacos-headless.nacos.svc.cluster.local:8848}  --namespace ingress-apisix   --set ingress-controller.config.apisix.serviceNamespace=ingress-apisix

二、对接外部etcd，apisix、apisix-dashboard都需要修改yaml文件

上面的步骤改好模板

apisix和dashboard都需要连接etcd，所以都需要开启tls认证并挂载secret和引用ca.pem证书

使用外部etcd，必看的配置文件：

https://github.com/apache/apisix-dashboard/blob/master/api/conf/conf.yaml#L44-L47

https://github.com/apache/apisix-helm-chart/tree/master/charts/apisix

1. 修改apisix的helm模板，关闭helm部署的etcd，配置ca.pem

先提前创建certs，名字需跟下面修改yaml文件时对应。把etcd相关的证书，复制到当前目录

kubectl -n ingress-apisix create secret generic etcd-certs \
--from-file=ca.pem \
--from-file=server-key.pem \
--from-file=server.pem

vim values.yaml

sni注释掉，否则出现以下报错：

vim template/configmap.yaml

注意，有两个地方需要注释sni，搜索出来注释，因为下面的文件有判断语句

如果verify改成true，可能会出现下面连接etcd证书失败的问题：

把verify改成false关闭，就没有出现连接etcd证书失败的问题了：

apisix连接etcd出现证书问题的案例：

https://github.com/apache/apisix/issues/5155

https://github.com/apache/apisix/issues/5650

…
详细版联系我
…

后续需要接入skywalking分布式链路追踪、opentelemetry遥测数据管理工具等，组建完善的APM链路

Apche APISIX