在大型Kubernetes集群中,资源管理不仅仅是技术问题,更是经济学问题。如何公平分配资源、避免资源争抢、最大化资源利用率,是每个集群管理员必须面对的挑战。
引言:资源管理的经济学
传统的资源管理困境:
- 资源孤岛:每个团队独占固定资源,利用率低下
- 资源争抢:重要服务因资源不足而性能下降
- 成本失控:资源浪费严重,云账单持续增长
Kubernetes的资源管理哲学:
- 资源共享:资源池化,按需分配
- 公平竞争:通过配额和优先级实现公平
- 弹性伸缩:根据负载动态调整资源分配
- 成本感知:将成本优化纳入调度决策
一、资源配额(Resource Quota):多租户资源隔离
1.1 资源配额架构原理
1.2 配额类型详解
计算资源配额
apiVersion:v1kind:ResourceQuotametadata:name:compute-resourcesnamespace:team-aspec:hard:# CPU配额requests.cpu:"4"# CPU请求总量limits.cpu:"8"# CPU限制总量# 内存配额requests.memory:8Gi# 内存请求总量limits.memory:16Gi# 内存限制总量# 扩展资源配额(如GPU)requests.nvidia.com/gpu:"2"limits.nvidia.com/gpu:"4"存储资源配额
apiVersion:v1kind:ResourceQuotametadata:name:storage-resourcesnamespace:team-aspec:hard:# 存储请求总量requests.storage:100Gi# 特定存储类配额gold.storageclass.storage.k8s.io/requests.storage:50Gifast.storageclass.storage.k8s.io/requests.storage:50Gi# PVC数量限制persistentvolumeclaims:"10"对象数量配额
apiVersion:v1kind:ResourceQuotametadata:name:object-countsnamespace:team-aspec:hard:# Pod相关pods:"20"replicationcontrollers:"10"# 服务相关services:"10"services.loadbalancers:"2"services.nodeports:"5"# 配置相关configmaps:"50"secrets:"50"# 工作负载deployments.apps:"10"statefulsets.apps:"5"daemonsets.apps:"3"jobs.batch:"5"cronjobs.batch:"3"# 网络策略networkpolicies.networking.k8s.io:"10"1.3 配额作用域(Scopes)
作用域类型
apiVersion:v1kind:ResourceQuotametadata:name:scoped-quotanamespace:team-aspec:scopes:-Terminating# 仅限有activeDeadlineSeconds的Pod# - NotTerminating# - BestEffort# - NotBestEffort# - PriorityClassscopeSelector:matchExpressions:-operator:InscopeName:PriorityClassvalues:-high-mediumhard:pods:"10"多作用域组合
apiVersion:v1kind:ResourceQuotametadata:name:complex-scoped-quotaspec:scopes:-BestEffort-NotTerminatinghard:pods:"5"requests.cpu:"1"requests.memory:2Gi1.4 动态配额管理
基于负载的弹性配额
// 动态配额控制器typeDynamicQuotaControllerstruct{client.Client metricsClient metrics.Interface}func(d*DynamicQuotaController)Reconcile(ctx context.Context,req ctrl.Request)error{namespace:=&corev1.Namespace{}iferr:=d.Get(ctx,req.NamespacedName,namespace);err!=nil{returnerr}// 计算命名空间实际资源使用率usage:=d.calculateNamespaceUsage(namespace.Name)// 根据使用率调整配额newQuota:=d.calculateOptimalQuota(namespace.Name,usage)// 更新配额quota:=&corev1.ResourceQuota{}iferr:=d.Get(ctx,client.ObjectKey{Name:"dynamic-quota",Namespace:namespace.Name},quot