V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Cola98
V2EX  ›  Kubernetes

看看大佬们的个人 K8S 集群以及存储方案

  •  
  •   Cola98 · 2023-03-13 21:15:59 +08:00 · 4477 次点击
    这是一个创建于 605 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟搭建了一个三节点 K8S 集群,master 节点是 4C8G node 节点都是 2C4G ,目前在集群上跑着 cilium,prometheus,后期打算跑 kafka/redis/es 等等中间件,但是奈何配置问题,存储一直是一个问题,之前使用 openEBS 体验还行,后来换成 rook 后配置似乎跟不上了,请教各位大佬的存储方案都有些啥

    39 条回复    2024-06-29 08:48:17 +08:00
    CodeWind
        1
    CodeWind  
       2023-03-13 21:29:56 +08:00
    乞丐版路过。先说背景,目前是腾讯云三台轻量,Master 2H4G ,Node 一台 4H4G ,一台 2H4G ,Master 挂载一块 100G 轻量云硬盘,使用 NFS 给 K3S 集群使用。
    计划通过 Alist 来挂载三方存储(主要是阿里云盘),定期将本地 hostpath 的存储文件转移到 Alist 挂载的三方存储里。
    tftk
        2
    tftk  
       2023-03-13 21:57:35 +08:00
    个人搞个集群使用场景是啥呢
    wxw752
        3
    wxw752  
       2023-03-13 22:01:48 +08:00
    @tftk 对于我来说就是模拟实战,不会就没法在公司用。
    optional
        4
    optional  
       2023-03-13 22:05:48 +08:00
    klafka/es/redis ,这些本身支持分布式部署,可以直接用 local storage 获取性能提升。
    Cola98
        5
    Cola98  
    OP
       2023-03-13 22:12:25 +08:00
    @optional ok 之前没有注意到这点,一直都是 CSI 这种,感谢大佬
    Cola98
        6
    Cola98  
    OP
       2023-03-13 22:13:37 +08:00
    @CodeWind 了解,我看 hostpath 好像发生调度之后就会使用不了,所以就没考虑过 hostpath
    Cola98
        7
    Cola98  
    OP
       2023-03-13 22:14:24 +08:00
    @tftk 和楼下大哥一样,主要是个人学习和开发~
    levelworm
        8
    levelworm  
       2023-03-13 22:18:57 +08:00 via Android
    @wxw752 我也准备自学一下,搞了台二手 32gb 内存 2T 硬盘的乞丐服务器,不知道能不能用。。。
    ysicing
        9
    ysicing  
       2023-03-13 22:20:58 +08:00   ❤️ 1
    搞了 3 套 k3s 集群,国内两套,香港一套,反正都在吃灰。
    国内跑主要服务,其中一套用腾讯云 cfs 基于 nfs ,另外一套基于某个节点做的 nfs
    香港跑的 web 服务没有持久化,即使有丢弃也没事 empty 方式

    目前体验还行,除了 prometheus 需要控制一下,其他都还行。
    Actrace
        10
    Actrace  
       2023-03-13 22:27:20 +08:00
    怎么说呢,这个时间节点,我觉得 k8s 可能撑不久了。
    毕竟 OpenAI 出来之后,只需要把服务器交给它管理就行了。
    lhx2008
        11
    lhx2008  
       2023-03-13 22:33:27 +08:00
    真到了生产其实也不建议搞数据库,维护很困难
    lhx2008
        12
    lhx2008  
       2023-03-13 22:36:45 +08:00
    本地存储,阿里有开源一套本地盘做的还不错,用的 LVM ,不怕困难也可以 Longhorn
    sniperking1234
        13
    sniperking1234  
       2023-03-13 22:46:55 +08:00
    @Actrace 出了问题怎么办,调试 AI 源码?
    echo1937
        14
    echo1937  
       2023-03-13 23:03:09 +08:00
    @Actrace #10 你说的那是<流浪地球 2>当中的智能量子计算机 550 系列。
    hhjswf
        15
    hhjswf  
       2023-03-13 23:05:42 +08:00 via Android
    @CodeWind 单 master 也能算集群吗
    liuhan907
        16
    liuhan907  
       2023-03-13 23:07:56 +08:00
    我是用二手 r730 + k0s 搭建的集群。本身带副本的服务就直接用 openebs 的 local 存储,不带的则是用 NFS 接 TrueNAS 共享出来的存储。反正个人用,也不在乎 HA 啥的,NFS 够用了。Rook 那玩意太吃配置了,ceph 本身三主+三副本就需要六节点,还有 k8s 自己的资源消耗。
    securityCoding
        17
    securityCoding  
       2023-03-13 23:31:47 +08:00 via Android   ❤️ 1
    公司配了 16u32g 测试服务器,几乎没用过,jetbrains gateway 太废物了
    NXzCH8fP20468ML5
        18
    NXzCH8fP20468ML5  
       2023-03-14 01:38:05 +08:00   ❤️ 1
    通通都扔到 s3 上,计算和存储分离
    yzld2002
        19
    yzld2002  
       2023-03-14 07:52:48 +08:00
    idblife
        20
    idblife  
       2023-03-14 08:50:51 +08:00 via iPhone
    @securityCoding
    vscode ssh remote
    leaflxh
        21
    leaflxh  
       2023-03-14 09:27:21 +08:00   ❤️ 1
    nfs 或者 minio
    Cola98
        22
    Cola98  
    OP
       2023-03-14 09:42:28 +08:00
    @liuhan907 确实,rook 对于我目前的配置还是太大了
    hzfyjgw
        23
    hzfyjgw  
       2023-03-14 09:48:12 +08:00   ❤️ 1
    local-path-provisioner 的 local-path-storage
    securityCoding
        24
    securityCoding  
       2023-03-14 12:01:51 +08:00 via Android
    @idblife 试了好几次用不习惯,全家桶太香了
    Cola98
        25
    Cola98  
    OP
       2023-03-14 12:58:43 +08:00
    后续来了,最后还是选择用 openEBS hostpath 的方法,使用简单,之前用过 lvm 的方式,需要在每个节点上配置比较麻烦,还有一些其他的 CSI 还没测试过,比如 juiceFS 等等,有机会了打算在继续尝试下,感谢各位大佬的回复!
    vhwwls
        26
    vhwwls  
       2023-03-14 14:21:49 +08:00
    裸考过了 CKA 的运维路过。。。。第一次听说个人还搞个 K8s 用的,我是一直在笔记本上跑集群
    https://ppt.cc/fayiex
    root01
        27
    root01  
       2023-03-14 15:05:49 +08:00
    @vhwwls 求分享笔记
    sampeng
        28
    sampeng  
       2023-03-14 19:54:06 +08:00
    个人搞 k8s 实在想不出有什么价值。。。
    Cola98
        29
    Cola98  
    OP
       2023-03-15 07:29:18 +08:00
    @sampeng 自己开发和学习用= =
    zhujq
        30
    zhujq  
       2023-03-15 17:09:43 +08:00   ❤️ 1
    自己用还是不要用 rook ,ceph 了吧,除了耗资源想不出其他好处
    Cola98
        31
    Cola98  
    OP
       2023-03-15 21:18:54 +08:00
    @zhujq 是的,现在用了 openEBS
    pmx1990
        32
    pmx1990  
       2023-03-29 22:20:50 +08:00
    重要数据 local + 主从
    vhwwls
        33
    vhwwls  
       2023-03-30 14:43:16 +08:00
    @root01 #27 没做什么笔记,就凭平时自己在公司用的那些东西直接去考了。不过如果你要笔记的话 B 站上应该有很多可以去看看
    runzhliu
        34
    runzhliu  
       2023-04-12 16:39:15 +08:00
    这个节点的配置,想跑这么多组件,感觉是够呛的了
    Cola98
        35
    Cola98  
    OP
       2023-04-12 17:56:49 +08:00
    @runzhliu 嗯嗯,后续不打算使用 es 了,太占用资源了
    njmaojing
        36
    njmaojing  
       136 天前
    @Cola98 openEBS local 方式这段时间用的咋样啊,坑多么
    Cola98
        37
    Cola98  
    OP
       136 天前
    @njmaojing 还行,就是需要注意漂移问题
    njmaojing
        38
    njmaojing  
       132 天前
    其实我觉得吧,既然要部署 mysql ,es 啥的,要么虚拟机部署,要不就静态 POD 方式,用分布式存储如果出问题解决起来就比较蛋疼了
    Cola98
        39
    Cola98  
    OP
       131 天前
    @njmaojing 确实,这个问题还是比较难解决了,k8s 好处就是部署比较简单,使用起来方便;但是出了问题就不好维护,需要懂 K8S 和相关中间件
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1047 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:52 · PVG 03:52 · LAX 11:52 · JFK 14:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.