12.23 源创会 · 上海站，聊聊 LLM 基础设施

本文分享自华为云社区《Cloudeye对接Prometheus实现华为云全方位监控》，作者：可以交个朋友。

一、背景

云眼系统Cloudeye服务为我们提供了针对弹性云服务器、宽带等资源的立体化监控平台。帮助我们全面了解华为云上的资源使用情况、业务的运行状况。将华为云Cloudeye服务接入 prometheus后，可以利用 Prometheus生态更好地监控和分析来自 Cloudeye服务的数据。

二、简介

通过使用cloudeye-exporter，将华为云Cloudeye服务与华为云CCE集群(Kubernetes集群)中的Prometheus容器进行对接。继而使用Prometheus系统对云上资源的性能数据进行运维监控。

注意：该exporter仅适用于华为云局点。

三、实践演示

Prometheus将会以operator形式部署在kubernetes集群当中。所以也需要制作cloudeye-exporter容器镜像，然后容器化部署在kubernetes集群中。

3.1 获取cloudeye-exporter安装包

1、下载最新版本的cloudeye-exporter

查看插件Releases版本 (https://github.com/huaweicloud/cloudeye-exporter/releases) ，获取cloudeye-exporter下载地址，下载解压安装。

mkdir cloudeye-exporter & cd cloudeye-exporter

wget https://github.com/huaweicloud/cloudeye-exporter/releases/download/v2.0.6/cloudeye-exporter.v2.0.6.tar.gz

2、解压

tar -xzvf cloudeye-exporter.v2.0.6.tar.gz

3.2 制作容器镜像

1、需要编写Dockerfile文件这里使用centos用作基础镜像

FROM centos  
COPY cloudeye-exporter logs.yml metric.yml /root/
WORKDIR /root
CMD ["/root/cloudeye-exporter"]

2、构建容器镜像

docker build -t swr.cn-north-4.myhuaweicloud.com/k8s-solution/cloudeye-exporter:v2.0.6 --platform=linux/amd64 .

3、推送至镜像仓库

建议使用华为云SWR镜像仓库

3.3 配置cloudeye-exporter的访问鉴权

1、编辑clouds.yml文件配置公有云信息

cloudeye-exporter 启动时需要使用该配置文件进行云服务的访问鉴权

global:
  port: ":8087" # 监听端口 :8087代表在全部网络接口上开启监听8087端口，限定内部访问也可以指定IP例如：192.168.1.100:8087
  scrape_batch_size: 300
auth:
  auth_url: "https://iam.cn-north-4.myhuaweicloud.com/v3"
  project_name: "cn-north-4" # 华为云项目名称，可以在“华为云->统一身份认证服务->项目”中查看
  access_key: "" # IAM用户访问密钥 您可参考3.1章节使用命令行输入加密后的ak sk，避免在配置文件中明文配置AK SK
  secret_key: ""
  region: "cn-north-4" # 区域ID

2、基于该配置文件创建kubernetes secrets

kubectl create secret generic clouds-exporter --from-file=clouds.yml -n monitoring

容器化部署需要将该配置以secrets形式挂载给cloudeye-exporter

3.4 CCE集群(k8s集群)部署cloudeye-exporter

1、首先部署负载和service

apiVersion: apps/v1
kind: Deployment
metadata:
  name: cloudeye-exporter
  namespace: monitoring
  labels:
    app: cloudeye-exporter
spec:
  replicas: 1
  selector:
    matchLabels:
      app: cloudeye-exporter
  template:
    metadata:
      labels:
        app: cloudeye-exporter
    spec:
      volumes:
        - name: cloudeye
          secret:
            secretName: clouds-exporter
      imagePullSecrets:
        - name: default-secret
      containers:
      - name: cloudeye-exporter
        image: swr.cn-north-4.myhuaweicloud.com/k8s-solution/cloudeye-exporter:v2.0.6
        ports:
          - containerPort: 8087
        resources:
          limits:
            cpu: 500m
            memory: 1Gi
          requests:
            cpu: 100m
            memory: 500Mi
        volumeMounts:
          - name: cloudeye
            mountPath: "/root/clouds.yml"
            subPath: clouds.yml

---
apiVersion: v1
kind: Service
metadata:
  name: cloudeye-exporter
  namespace: monitoring
  labels: 
    app: cloudeye-exporter
spec:
  selector:
    app: cloudeye-exporter
  ports:
  - name: ces
    targetPort: 8087  #业务监听端口
    port: 8087
    protocol: TCP
  type: ClusterIP

2、确认是cloudeye-exporter否暴露指标

部署成功，查看Pod信息。访问pod指标端点，确认指标源是否能暴露指标。

curl http://podIP:8087/metrics?services='SYS.VPC'

cloudeye-exporter Pod实例作为Prometheus抓取指标的源端，可以暴露监控数据。

查看Service，确认访问Service能否获取数据

2、注意

需要注意: 由于cloudeye-exporter需要访问公网端点:

iam.huaweicloud.com。如果您使用的kuberntes平台是CCE turbo集群，需要对容器网段配置公网snat。否则指标数据抓取会失败。

3.5 Prometheus对接cloudeye-exporter获取指标

修改prometheus中的prometheus.yml文件配置。由于现在k8s集群中都会采用prometheus-operator形态部署Prometheus。所以我们需要编写ServiceMonitor进行指标的获取。

1、以监控华为云VPC,ELB服务为例

抓取规则cloudeye-exporter-servicemonitor.yaml 如下:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata: 
  name: cloudeye-exporter
  namespace: monitoring 
  labels:
    app: cloudeye-exporter
spec:
  endpoints:
    - interval: 1m
      scrapeTimeout: 1m
      port: ces
      scheme: http
      params:
        services: ['SYS.VPC,SYS.ELB']
  namespaceSelector:
    matchNames:
    - monitoring
  selector:
    matchLabels:
      app: cloudeye-exporter

2、将上述抓取规则于集群中创建。等待片刻可观察到Prometheus已经成功抓取

3、至此，cloudeye-exporter成功接入Prometheus。

3.6 接入Grafana大盘

华为云社区提供了若干个云服务现成的dashborad。我们可以拿来使用。

https://github.com/huaweicloud/cloudeye-exporter/tree/v2.0.6/grafana_dashboard/templates

例如: 使用VPC云服务的dashboard。

1、将该dashboard的json文件上传到grafana中

选择好数据源后，点击导入即可。

2、发现异常

会发现dashboard并未产生数据

3、解决方式

根据华为云社区声明: 如果需要直接使用以下模板，需要修改prometheus配置，增加获取企业项目信息的任务。所以我们还需要修改servicemonitor，在原来cloudeye-exporter-servicemonitor的基础上增加一项配置

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata: 
  name: cloudeye-exporter
  namespace: monitoring 
  labels:
    app: cloudeye-exporter
spec:
  endpoints:
    - interval: 1m
      scrapeTimeout: 1m
      port: ces
      scheme: http
      params:
        services: ['SYS.VPC,SYS.ELB']
    # 配置该任务获取企业项目信息，用于华为云云服务的dashboard
    - interval: 1m
      scrapeTimeout: 1m
      port: ces
      path: "/eps-info"
      scheme: http
  namespaceSelector:
    matchNames:
    - monitoring
  selector:
    matchLabels:
      app: cloudeye-exporter

在集群中将上述指标抓取规则更新后，等待片刻后。

4、前往Prometheus页面可查看到，新的抓取任务已成功运行

5、再次观察Grafana

此时再前往Grafana前端查看dashboard: 华为云VPC云服务dashboard已成功展示

6、导入ELB grafana dashboard

华为云ELB监控信息也成功展示

四、延伸扩展

目前已支持的Grafana Dashboard有:

云搜索服务 CSS
云专线 DCAAS
分布式缓存服务 DCS
弹性云服务器 ECS
弹性负载均衡 ELB
关系型数据库 RDS
Web应用防火墙 WAF
弹性公网IP和带宽 VPC

点击关注，第一时间了解华为云新鲜技术~

一、 背景

二、 简介