Осваиваем Kubernetes: Подробная шпаргалка

Основы работы с Kubernetes

Nginx + Kubernetes
Добрый день всем! Я решил попробовать использовать Kubernetes. Вот что я сделал на текущий момент: 1) У меня сервер на Ubuntu. 2) Запустил...

Kubernetes не работает localhost
Добрый день! Пытался поставить kubernetes-dashboard на новом кластере. Выполнял все пункты по мануалу из документации Kubernetes, curl по...

Node.js аппа на Kubernetes
Или кто проворачивал такое? Есть какие грабли? Как там с process.env переменными?

Запуск docker образа в kubernetes
Контейнер в docker запускаю так: docker run --cap-add=SYS_ADMIN -ti -e "container=docker" -v /sys/fs/cgroup:/sys/fs/cgroup centos7-bitrix-app-mtt...

Ключевые компоненты и архитектура

1. API-сервер — точка входа для всех административных задач. Он обрабатывает запросы (через REST API), проверяет их и выполняет необходимые обновления состояния.
2. Планировщик (Scheduler) — распределяет рабочие нагрузки между узлами, учитывая доступность ресурсов и другие ограничения.
3. Менеджер контроллеров (Controller Manager) — отвечает за поддержание корректного состояния системы. Он содержит контроллеры, которые следят за различными аспектами кластера (ноды, реплики, сервисы и т.д.).
4. etcd — распределенное хранилище ключ-значение, в котором хранится конфигурация и состояние всего кластера.

1. Kubelet — агент, который следит за состоянием подов на узле и обеспечивает их работу.
2. Kube-proxy — сетевой прокси, который поддерживает сетевые правила и позволяет осуществлять сетевое взаимодействие с подами.
3. Container Runtime — программное обеспечение, которое запускает контейнеры (например, Docker, containerd, CRI-O).

Командная строка kubectl: базовые команды

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# Получить информацию о кластере
kubectl cluster-info
 
# Проверить версию Kubernetes
kubectl version
 
# Просмотреть конфигурацию кластера
kubectl config view
 
# Посмотреть все доступные API-ресурсы
kubectl api-resources
 
# Получить список всех объектов во всех пространствах имен
kubectl get all --all-namespaces

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# Создать или обновить под из файла конфигурации
kubectl apply -f <файл_конфигурации_пода>
 
# Получить список всех подов в пространстве имен по умолчанию
kubectl get pods
 
# Получить список всех подов во всех пространствах имен
kubectl get pods --all-namespaces
 
# Получить подробную информацию о конкретном поде
kubectl describe pod <имя_пода>
 
# Просмотреть логи пода
kubectl logs <имя_пода>
 
# Открыть интерактивную оболочку внутри контейнера
kubectl exec -it <имя_пода> -- /bin/bash
 
# Удалить под
kubectl delete pod <имя_пода>
 
# Проброс портов между локальной машиной и подом
kubectl port-forward <имя_пода> <локальный_порт>:<порт_пода>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# Получить информацию об узлах в кластере
kubectl get nodes
 
# Подробная информация о конкретном узле
kubectl describe node <имя_узла>
 
# Добавить метку к узлу
kubectl label nodes <имя_узла> <метка>
 
# Пометить узел как неготовый к планированию (для обслуживания)
kubectl cordon <имя_узла>
 
# Разрешить планирование на ранее помеченном неготовым узле
kubectl uncordon <имя_узла>
 
# Безопасно эвакуировать все поды с узла перед обслуживанием
kubectl drain <имя_узла>

Модель пространств имён (Namespaces) для организации ресурсов

1
2
3
4
5
6
7
8

# Получить список всех пространств имен
kubectl get namespaces
 
# Создать новое пространство имен
kubectl create namespace <имя_пространства>
 
# Показать детали о конкретном пространстве имен
kubectl describe namespace <имя_пространства>

• Изоляции ресурсов между разными командами или проектами.
• Разделения среды разработки, тестирования и производства.
• Применения квот и ограничений ресурсов на уровне команды или проекта.
• Управления доступом на уровне пространств имен.

• default — пространство имен по умолчанию для пользовательских ресурсов.
• kube-system — пространство имен для системных компонентов Kubernetes.
• kube-public — пространство имен для общедоступных ресурсов.
• kube-node-lease — пространство имен для отслеживания доступности узлов.

1

kubectl create -f my-resource.yaml -n my-namespace

1
2
3
4
5
6
7

apiVersion: v1
kind: Pod
metadata:
  name: my-pod
  namespace: my-namespace
spec:
  # ...

Жизненный цикл Pod в Kubernetes

1. Pending (Ожидающий) — под принят системой Kubernetes, но один или несколько контейнеров еще не запущены. Это может происходить во время загрузки образа или планирования пода на узел.
2. Running (Работающий) — под привязан к узлу, и все его контейнеры запущены. По крайней мере один контейнер работает или в процессе запуска/перезапуска.
3. Succeeded (Успешно завершенный) — все контейнеры в поде успешно завершили выполнение и не будут перезапущены. Это типично для подов, выполняющих разовые задачи.
4. Failed (Неудачный) — все контейнеры в поде завершились, и хотя бы один завершился с ошибкой. Контейнер считается завершенным с ошибкой, если его процесс завершился с ненулевым статусом выхода.
5. Unknown (Неизвестный) — состояние пода не может быть получено. Часто это происходит из-за проблем связи с узлом, на котором работает под.

• Проверки готовности (Readiness Probes) определяют, когда контейнер готов принимать трафик. Если проверка не пройдена, под временно исключается из балансировки нагрузки.
• Проверки живости (Liveness Probes) определяют, когда контейнер нуждается в перезапуске. Если проверка не пройдена многократно, контейнер будет перезапущен.
• Политики перезапуска (Restart Policies) определяют поведение при завершении контейнера. Возможны варианты: Always (всегда перезапускать), OnFailure (перезапускать только при ошибке), Never (никогда не перезапускать).

Практическое руководство

Развертывание первого приложения

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-app
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
      - name: web-container
        image: nginx:latest
        ports:
        - containerPort: 80

1

kubectl apply -f deployment.yaml

1

kubectl get deployments

1
2
3
4
5
6
7
8
9
10
11

apiVersion: v1
kind: Service
metadata:
  name: web-service
spec:
  selector:
    app: web
  ports:
  - port: 80
    targetPort: 80
  type: LoadBalancer

1

kubectl apply -f service.yaml

1

kubectl get services

Управление модулями и контейнерами

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# Получить список всех подов
kubectl get pods
 
# Подробная информация о поде
kubectl describe pod <имя_пода>
 
# Просмотр логов контейнера в поде
kubectl logs <имя_пода> [-c <имя_контейнера>]
 
# Выполнение команды в контейнере
kubectl exec -it <имя_пода> [-c <имя_контейнера>] -- <команда>
 
# Удаление пода (обычно автоматически пересоздается контроллером)
kubectl delete pod <имя_пода>

1
2
3
4
5
6
7
8
9
10
11

# Масштабирование развертывания
kubectl scale deployment <имя_развертывания> --replicas=5
 
# Обновление образа в развертывании
kubectl set image deployment/<имя_развертывания> <контейнер>=<новый_образ>
 
# Получение истории развертывания
kubectl rollout history deployment/<имя_развертывания>
 
# Откат к предыдущей версии
kubectl rollout undo deployment/<имя_развертывания>

Работа с конфигурационными файлами

1
2
3
4
5
6
7
8

apiVersion: v1
kind: ConfigMap
metadata:
  name: app-config
data:
  database.host: "db.example.com"
  database.port: "5432"
  features.enabled: "true"

1

kubectl apply -f configmap.yaml

1
2
3
4
5
6
7
8
9
10
11

apiVersion: v1
kind: Pod
metadata:
  name: app-pod
spec:
  containers:
  - name: app-container
    image: my-app:latest
    envFrom:
    - configMapRef:
        name: app-config

1
2
3
4
5
6
7
8
9

# Создание секрета из командной строки
kubectl create secret generic db-credentials \
  --from-literal=username=admin \
  --from-literal=password=super-secret-password
 
# Или из файлов
kubectl create secret generic tls-certificates \
  --from-file=cert.pem \
  --from-file=key.pem

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

apiVersion: v1
kind: Pod
metadata:
  name: secure-app-pod
spec:
  containers:
  - name: secure-app-container
    image: secure-app:latest
    env:
    - name: DB_USERNAME
      valueFrom:
        secretKeyRef:
          name: db-credentials
          key: username
    - name: DB_PASSWORD
      valueFrom:
        secretKeyRef:
          name: db-credentials
          key: password

Стратегии обновления приложений

1. RollingUpdate (Плавное обновление) - дефолтная стратегия, при которой Kubernetes постепенно заменяет старые поды новыми, обеспечивая нулевой простой.
2. Recreate (Пересоздание) - все старые поды завершаются, затем создаются новые. Это приводит к простою, но может быть необходимо для приложений, которые не поддерживают одновременное выполнение нескольких версий.

1
2
3
4
5
6
7
8
9
10
11
12

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-app
spec:
  replicas: 3
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  # ... остальная часть манифеста

• maxSurge определяет, сколько подов может быть создано сверх желаемого количества.
• maxUnavailable определяет, сколько подов может быть недоступно во время обновления.

Настройка проверок работоспособности (Liveness и Readiness Probes)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

apiVersion: v1
kind: Pod
metadata:
  name: web-app
spec:
  containers:
  - name: web-container
    image: my-web-app:latest
    livenessProbe:
      httpGet:
        path: /health
        port: 8080
      initialDelaySeconds: 15
      periodSeconds: 10
      failureThreshold: 3

1
2
3
4
5
6
7
8
9
10
11
12
13

apiVersion: v1
kind: Pod
metadata:
  name: web-app
spec:
  containers:
  - name: web-container
    image: my-web-app:latest
    readinessProbe:
      tcpSocket:
        port: 8080
      initialDelaySeconds: 5
      periodSeconds: 10

1
2
3
4
5
6
7

readinessProbe:
  exec:
    command:
    - cat
    - /tmp/ready
  initialDelaySeconds: 5
  periodSeconds: 5

Продвинутые техники

Масштабирование и балансировка нагрузки

Горизонтальное масштабирование подов

1

kubectl scale deployment my-deployment --replicas=5

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: webapp-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: webapp
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70

Вертикальное масштабирование

1
2
3
4
5
6
7
8
9
10
11

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: webapp-vpa
spec:
  targetRef:
    apiVersion: "apps/v1"
    kind: Deployment
    name: webapp
  updatePolicy:
    updateMode: "Auto"

Балансировка нагрузки

• ClusterIP: Экспонирует сервис только внутри кластера.
• NodePort: Экспонирует сервис на определенном порту каждого узла кластера.
• LoadBalancer: Создает внешний балансировщик нагрузки и назначает ему фиксированный внешний IP.
• ExternalName: Сопоставляет сервис с DNS-именем.

1
2
3
4
5
6
7
8
9
10
11

apiVersion: v1
kind: Service
metadata:
  name: webapp-service
spec:
  selector:
    app: webapp
  ports:
  - port: 80
    targetPort: 8080
  type: LoadBalancer

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: webapp-ingress
spec:
  rules:
  - host: "webapp.example.com"
    http:
      paths:
      - path: /api
        pathType: Prefix
        backend:
          service:
            name: api-service
            port:
              number: 80
      - path: /
        pathType: Prefix
        backend:
          service:
            name: frontend-service
            port:
              number: 80

Управление секретами и конфигурациями

Внешние хранилища секретов

1
2
3
4
5
6
7
8

apiVersion: vault.banzaicloud.com/v1alpha1
kind: Vault
metadata:
  name: vault
spec:
  size: 1
  image: vault:1.6.2
  bankVaultsImage: banzaicloud/bank-vaults:latest

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

apiVersion: v1
kind: Pod
metadata:
  name: webapp
  annotations:
    vault.security.banzaicloud.io/vault-addr: "https://vault:8200"
    vault.security.banzaicloud.io/vault-role: "webapp"
    vault.security.banzaicloud.io/vault-path: "kubernetes"
    vault.security.banzaicloud.io/vault-skip-verify: "true"
    vault.security.banzaicloud.io/vault-agent: "true"
spec:
  containers:
  - name: webapp
    image: webapp:latest
    env:
    - name: DB_PASSWORD
      value: vault:secret/data/database#password

Управление конфигурационными файлами

1

kubectl create configmap app-config --from-file=app.properties

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

apiVersion: v1
kind: Pod
metadata:
  name: webapp
spec:
  containers:
  - name: webapp
    image: webapp:latest
    volumeMounts:
    - name: config-volume
      mountPath: /etc/config
  volumes:
  - name: config-volume
    configMap:
      name: app-config

Обновление конфигураций без перезапуска

1
2
3
4
5
6
7
8
9
10

apiVersion: apps/v1
kind: Deployment
metadata:
  name: webapp
spec:
  template:
    metadata:
      annotations:
        configmap.reloader.stakater.com/reload: "app-config"
    # остальная часть спецификации

Мониторинг и отладка кластеров

Инструменты мониторинга

1. Prometheus — популярная система мониторинга с открытым исходным кодом. Она собирает метрики из настраиваемых источников данных, хранит их локально и выполняет правила над ними для агрегации и генерации уведомлений.
2. Grafana — платформа для визуализации и аналитики. Она позволяет создавать информативные дашборды на основе данных из Prometheus и других источников.
3. cAdvisor — встроенный в Kubernetes агент, который собирает, агрегирует и экспортирует информацию об использовании ресурсов контейнерами.

1
2
3

git clone https://github.com/prometheus-operator/kube-prometheus
kubectl apply -f kube-prometheus/manifests/setup
kubectl apply -f kube-prometheus/manifests

Отладка проблем

1

   kubectl logs <имя_пода> [-c <имя_контейнера>]

1

   kubectl describe pod <имя_пода>

1

   kubectl exec -it <имя_пода> -- /bin/bash

1

   kubectl describe node <имя_узла>

Сетевые политики и изоляция трафика

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: api-allow-frontend
spec:
  podSelector:
    matchLabels:
      role: api
  ingress:
  - from:
    - podSelector:
        matchLabels:
          role: frontend
    ports:
    - protocol: TCP
      port: 8080

Автоматическое масштабирование на основе метрик (HPA)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: api-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: api
  minReplicas: 1
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 50

Частые проблемы и их решения

Проблема: Недостаток ресурсов

1
2
3
4
5

# Проверка использования ресурсов узлами
kubectl top nodes
 
# Анализ требований к ресурсам пода
kubectl describe pod <имя_пода>

Проблема: Сетевые проблемы между сервисами

1

kubectl run network-test --rm -it --image=nicolaka/netshoot -- /bin/bash

Проблема: Утечка ресурсов

1
2
3
4
5

# Удаление завершившихся подов
kubectl get pods --field-selector=status.phase=Succeeded,status.phase=Failed --all-namespaces -o name | xargs kubectl delete
 
# Поиск PVC без привязанных подов
kubectl get pvc --all-namespaces | grep Released

Оптимизация производительности

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
      - matchExpressions:
        - key: node-type
          operator: In
          values:
          - compute-optimized
  podAntiAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
    - labelSelector:
        matchExpressions:
        - key: app
          operator: In
          values:
          - database
      topologyKey: kubernetes.io/hostname

1
2
3
4
5
6
7
8
9
10
11

FROM node:14 AS build
WORKDIR /app
COPY package*.json ./
RUN npm install
COPY . .
RUN npm run build
 
FROM nginx:alpine
COPY --from=build /app/dist /usr/share/nginx/html
EXPOSE 80
CMD ["nginx", "-g", "daemon off;"]

Примеры миграции монолитных приложений в микросервисы

1. Анализ и разделение: Идентифицируйте компоненты, которые можно выделить в отдельные сервисы.
2. Стратегия странглера: Постепенно перенаправляйте функциональность от монолита к новым микросервисам.
3. API Gateway: Используйте для маршрутизации запросов между старым монолитом и новыми микросервисами.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /$2
spec:
  rules:
  - host: app.example.com
    http:
      paths:
      - path: /api/users(/|$)(.*)
        pathType: Prefix
        backend:
          service:
            name: users-service
            port:
              number: 80
      - path: /api(/|$)(.*)
        pathType: Prefix
        backend:
          service:
            name: monolith-service
            port:
              number: 80

Оптимизация затрат на инфраструктуру

1. Автомасштабирование кластера: Настройте кластер для автоматического добавления и удаления узлов в зависимости от нагрузки.
2. Spot-инстансы: Используйте прерываемые инстансы для некритичных рабочих нагрузок.
3. Анализ и оптимизация запросов ресурсов: Регулярно пересматривайте настроенные запросы и лимиты ресурсов для подов.
4. Namespace Quotas: Устанавливайте квоты для пространств имен, чтобы предотвратить неконтролируемое использование ресурсов:

1
2
3
4
5
6
7
8
9
10
11
12

apiVersion: v1
kind: ResourceQuota
metadata:
  name: compute-quota
  namespace: dev
spec:
  hard:
    pods: "10"
    requests.cpu: "4"
    requests.memory: 8Gi
    limits.cpu: "8"
    limits.memory: 16Gi

Возможно ли поднять в kubernetes proxy
Задача. Дано: На роутере настроены 10 ip-адресов внешних от провайдера. На сервере vmware поднято 10 виртуальных машин с прокси для того чтобы...

Конфигурация ngnix для Kubernetes Deployment
Подскажите, что не так с nginx.conf переданным в ConfigMap для k8s? У меня на порту сервиса сайт не открывается. http { server { location...

Где расположить БД для Kubernetes кластера в облаке
Привет. Нагуглил и разобрал пример, как разместить Spring-овый микросервис в кубернетес-кластере. Схема такая: Использовался один из...

Деплой телеграм бота на Google Kubernetes Engine через GitLab CI
Доброго времни суток. Прошу помощи у форумчан тк. сам не могу разобраться. Как задеплоить бота на GKE через GitLab CI? Использую стндартный...

осваиваем uClinux
Появилось желание освоить что-нибудь огромное и функциональное. Самое популярное это uClinux. В гугле информации валом. Но почти вся та инфа хлам....

Осваиваем панель Standard
На форме располагаются: семь разных кнопок с номерами или названиями дней недели сверху; список ListBox, задающий количество доступных кнопок (4 из...

Шпаргалка по паттернам
Написал для себя шпаргалку по паттернам проектирования. Целью было сделать ее наиболее компактной и привести куски кода вместо текстовых описаний...

Шпаргалка по командам 8х
Не подскажите где можно взять КРАТКИЙ ЭЛЕКТРОННЫЙ учебник по 1с8х??? Вроде мисты под 77. Перебрать документы, справочники, удалить, создать ...

Шпаргалка по синтаксису
Нашел интересную фичу: http://edunow.su/site/content/pascal/pascal_shpargalka, вдруг кому пригодятся...

Шпаргалка по установке
Установка Archlinux Создаем раздел на который будем устанавливать cfdisk /dev/sda Форматируем его в ext4 (у меня логический раздел sda5) ...

Шпаргалка ключевых слов
Вообще была у меня идея создать типа шпаргалки для начинающих, типа если подзабыл что да как запустил и подсмотрел, в добавок запомнил как печатать,...

Шпаргалка для php
Есть ли шпора для php как на css подобно этому: http://htmlbook.ru/css/font-style Интересует только моменты: Синтаксис и Значения - что бы можно...