企业网络容器云：K8s 网络架构、CNI 选型与生产落地全解

一、企业容器云网络为什么是核心痛点传统物理网络 / 虚拟化网络面向静态 IP、固定拓扑、稳态业务设计而容器云具有动态调度、弹性伸缩、秒级启停、东西向流量暴增等特征对网络提出全新要求统一平面Pod 跨节点互通、固定 Service 访问、集群内外无缝连通高性能低延迟微服务调用密集网络开销直接影响业务 RT安全隔离多租户、环境隔离、流量权限、防横向渗透可观测可排障动态环境下快速定位丢包、延迟、策略失效兼容存量对接物理网络、负载均衡、防火墙、专线与云资源在企业落地中网络选型错误、策略配置不当、连通性设计缺陷是容器化失败 / 稳定性事故的 Top3 原因。二、Kubernetes 网络核心模型与标准K8s 网络遵循三大基本原则是所有方案的基础Pod-per-IP每个 Pod 拥有独立 IP无需端口映射扁平互通所有 Node 上 Pod 可直接通信无需 NATService 稳定访问通过 ClusterIP/NodePort/LoadBalancer/Ingress 提供固定入口2.1 核心组件与流量路径CNI容器网络接口负责 Pod 网络创建、IP 分配、路由配置Service服务发现与负载均衡kube-proxy 实现规则iptables/IPVS/eBPFIngress七层入口网关统一 HTTP/HTTPS 路由、证书、限流网络策略Pod 级流量 ACL控制进出方向与目标流量分为两类东西向Pod↔Pod、服务间调用占比 70%南北向集群内外、用户访问、对接第三方系统三、主流 CNI 插件深度对比与企业选型CNI 是容器网络的灵魂企业生产常用Flannel、Calico、Cilium以下是可直接用于选型的结论3.1 Flannel简单稳定入门首选模式VXLAN/host-gw/IPIPOverlay 为主优点部署极简、稳定、无学习成本缺点无网络策略、性能一般、大规模扩展性有限适用测试 / 小规模集群、无强隔离需求3.2 Calico企业标准均衡之选模式纯 BGP 路由Underlay、IPIP、VXLAN优点高性能、完整 NetworkPolicy、BGP 对接物理网络、支持 eBPF缺点配置略复杂需路由 / ACL 规划适用中大规模生产、多租户、金融 / 政企3.3 Cilium下一代 eBPF 架构高性能安全模式eBPF 内核加速L3-L7 策略、服务网格无感集成优点超低延迟、L7 策略、可观测强、安全能力强缺点内核版本要求高、运维门槛高适用高性能业务、安全合规要求高、云原生新集群3.4 企业选型一句话建议小规模 / 非核心Flannel通用生产 / 多租户CalicoBGPeBPF高性能 / 安全合规Cilium四、企业容器云网络架构设计生产可用4.1 网络平面划分安全与高可用基础管理平面etcd、apiserver、控制面组件独立 VLAN / 子网严格 ACL业务平面Pod 网络、Service 网络支持策略隔离存储平面CSI/Ceph/ 对象存储低延迟、独立 QoS入口平面Ingress-nginx/Traefik、LB、WAF统一流量入口4.2 高可用设计控制面高可用3master、etcd 集群、多可用区CNI 高可用Calico/kube-proxy DaemonSet节点自愈入口高可用Ingress 集群 云 LB / 硬件 LB健康检查 自动扩容路由高可用BGP ECMP、等价路由、避免单点4.3 与物理网络对接Underlay 方案CalicoBGPPod 路由直接注入物理网络性能最优Overlay 方案VXLAN 隔离对物理网络无侵入兼容老旧网络出口规划统一 NAT 网关、固定出口 IP、对接防火墙 / 安全组五、企业级安全零信任与网络策略落地容器环境东西向流量开放默认互通 巨大风险必须落地最小权限。5.1 网络策略最佳实践原则默认拒绝显式允许层级Namespace 级、应用级、环境级dev/test/prod示例仅允许同应用访问数据库、禁止跨租户通信、限制出口公网5.2 Calico eBPF 策略加速eBPF 绕过 iptables 长链策略匹配延迟降低 80%支持内核级策略执行连接跟踪与流量可视化防 DDoS、异常流量检测5.3 零信任能力Service mTLSIstioCalico工作负载身份、SPIFFE/SPIREOPA 策略引擎合规与权限统一管控六、可观测与排障生产必备能力动态环境下看不见 排不动必须构建全链路可观测。6.1 监控体系指标Pod 带宽、PPS、延迟、丢包、策略命中、连接数工具PrometheusGrafana、Calico Enterprise/Cilium Dashboard告警端口耗尽、策略拒绝、异常流量、节点网络异常6.2 排障工具链kubectl get/describe networkpolicycalicoctl/ciliumCLItcpdump/wireshark、ip route/neigheBPF 工具bpftool、cilium monitor6.3 常见问题快速定位Pod 不通路由、CNI、策略、节点防火墙Service 不通kube-proxy 规则、Endpoints、DNS延迟高Overlay 封装、节点带宽、连接数满策略失效顺序、命名空间选择器、方向错误七、企业落地踩坑总结避坑指南IP 规划不足Pod/Service/Node 网段冲突提前规划无重叠 CIDR策略过严 / 过松上线前灰度、先允许后收紧、审计日志留存kube-proxy 模式选错大规模集群用 IPVS/eBPF避免 iptables 性能瓶颈忽略 MTUVXLAN 默认 1450与物理网络不一致导致丢包DNS 性能CoreDNS 水平扩容、缓存优化、避免解析超时出口混乱多出口导致 IP 不固定影响第三方风控 / 白名单升级风险CNI 版本兼容、eBPF 依赖内核、滚动更新不中断八、总结与演进方向企业容器云网络不是简单部署 CNI而是架构、安全、运维、合规的一体化工程。核心结论优先选择Calico/BGP作为通用生产方案平衡性能与安全坚持默认拒绝 最小权限落地零信任网络可观测前置监控与排障一体化面向未来eBPF、服务网格、多云统一网络、云边协同容器网络是云原生的 “毛细血管”只有稳定、安全、高效才能支撑企业业务真正云原生化、弹性化、智能化。