Haujilo

你们自建的生产环境的 Kubernetes,是怎样运维管理的?

  •  
  •   Haujilo · May 6, 2020 · 6528 views
    This topic created in 2204 days ago, the information mentioned may be changed or developed.

    感觉可以裸机部署,也可以基于 openstack 上用虚拟机部署。

    问题:

    1. 能裸机部署,是否还有必要用虚拟机,会遇到什么问题?有什么难点?
    2. 基于 openstack 的话,我看官方网络层有kuryr-kubernetes的方案,但是实际性能损耗是否能接受?基于 VM 是否能带来很多的好处?
    21 replies    2020-07-18 15:16:51 +08:00
    stefanaka
        1
    stefanaka  
       May 6, 2020 via Android
    招个人吧
    Haujilo
        2
    Haujilo  
    OP
       May 6, 2020
    @nieqibest 不裁员已经不错了……
    Lax
        3
    Lax  
       May 6, 2020
    @Haujilo 选 k8s 得有这觉悟,这东西安装就不太省力。要达到出故障能排查的程度,真需要一个专职的人来研究
    Haujilo
        4
    Haujilo  
    OP
       May 6, 2020
    @Lax k8s 目前团队能用了,只是如果上生产,还在犹豫到底需不需要用到 openstack 这种东西,目前公司的生产状态用的还是 virsh 跑的 kvm……
    GM
        5
    GM  
       May 6, 2020
    @Lax 小团队可以考虑一下 Rancher 新发布的 K3S,K3S 精简了很多不必要的、过时的功能,各方面都比直接装 K8S 简单方便好多,但是依然是个通过认证的 K8S 发行版。
    GM
        6
    GM  
       May 6, 2020
    @Haujilo 上面的回复应该是 @你的,结果点错 @错人了
    Haujilo
        7
    Haujilo  
    OP
       May 6, 2020
    @GM 可能我表达不够清除,其实我的主要问题不是怎么部署 K8S 省心,而是需不需要多一层 VM,VM 相关的技术是否还有必要的问题。我们测试环境用 K8S 也有一年多了,我在思考生产环境怎么来弄,我对这块还不是很有经验。目前我感觉 K8S 更多是 PAAS,openstack 这类是 IAAS,如果直接跳过 IAAS 层跟测试环境这样来弄,不知道会有啥风险点。
    Lax
        8
    Lax  
       May 6, 2020
    单单从你提到的情况,没必要加上 openstack,性能损耗倒在其次,增加额外的复杂度并不值得。使用容器之后,虚拟机的价值就不大了
    wiken
        9
    wiken  
       May 7, 2020
    注意证书。。。我们之前就是没注意,一年后证书过期了,整个环境炸了
    Haujilo
        10
    Haujilo  
    OP
       May 7, 2020
    @Lax 比如公司内两个完全不同的业务,你们是单独建立两个不同的 k8s 集群?然后其他的 VM 需求,比如开个 Windows 机器,是单独 KVM 命令行管理?
    Haujilo
        11
    Haujilo  
    OP
       May 7, 2020
    @wiken 已经领教过了。😂
    bowser1701
        12
    bowser1701  
       May 9, 2020 via iPhone
    @wiken 同,昨天刚炸,k3s 。
    bowser1701
        13
    bowser1701  
       May 9, 2020 via iPhone
    @wiken 炸了之后你们都是怎么修的?
    wiken
        14
    wiken  
       May 12, 2020
    @bowser1701 我们是直接重新签过证书
    jinzhongyuan
        15
    jinzhongyuan  
       May 13, 2020
    @wiken 我们也遇到这事的,运维同事吓尿了,当时
    allposs
        16
    allposs  
       Jun 11, 2020
    k8s 生产已经使用一年多了,证书问题也遇到过。在底层主机上不建议使用配置不一致的主机做 node 节点。这边正在从虚拟机迁移到物理机上。至于平台用的是自研的。
    buaacss
        17
    buaacss  
       Jul 15, 2020
    没试过 openstack,阿里云里自建 k8s,使用两年左右,记录下问题:除了初期遇到过因为没有删除 default cni 插件配置导致 flannel 更新路由失败的问题
    buaacss
        18
    buaacss  
       Jul 15, 2020
    其它问题没遇到过。

    没用过 openstack,只说 VM 的话应该就是扩容快吧,
    配置好一个 node 镜像,需要扩容的时候直接开机就加好节点。
    api-server 节点最好用域名而不是 ip,比较方便在故障时迁移服务。

    遇到过比较大的故障都是和我们自己误操作有关,比如将测试环境
    的配置上线到生产环境、coredns 的服务器到期没续费被回收了,然后
    又在节点上打了 taint 导致无法调度,云环境里唯一一个比较坑的是
    SLB 不允许 4 层后端节点通过 SLB 访问自己,只能用 7 层。另外就是跨
    机房要注意延迟,有时候会导致 api-server 超时之类的。

    我感觉,如果是自建服务器才需要 openstack 来管理物理服务器吧
    如果是云环境直接上 k8s 就可以了。如果是自建物理服务器的话,应该
    不需要 vxlan 了,传输效率上可以再高一些。

    P.S.前一条回复本来想换行,结果不小心按错了。。。
    Haujilo
        19
    Haujilo  
    OP
       Jul 18, 2020
    @buaacss 其实就是思考的自建机房的时候怎么管理,如果上云的话,你们当时不考虑直接用云厂商提供的 k8s 服务是遇到过什么坑吗?
    Haujilo
        20
    Haujilo  
    OP
       Jul 18, 2020
    @buaacss 感觉固定流量的服务器放自建机房,推广时期的高峰流量用云主机去抗,会不会总体成本更低一些?
    buaacss
        21
    buaacss  
       Jul 18, 2020 via iPhone
    @Haujilo 我们是自建的 k8s,也写了很多深度结合云服务 api 的东西。如果是自建机房的话,我感觉 openstack 是必要的,k8s 只负责调度容器,偏应用层多一些。服务器本身的管理还是应该有专门的软件去做。云服务现在就是 cpu 和内存成本低,如果有大数据量需要存储,还得自建
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5726 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 02:16 · PVG 10:16 · LAX 19:16 · JFK 22:16
    ♥ Do have faith in what you're doing.