V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xuegy
V2EX  ›  NAS

TrueNAS Scale 有没有不用反复套娃正常运行 docker 的方法?

  •  
  •   xuegy · 2022-12-09 06:00:56 +08:00 · 4233 次点击
    这是一个创建于 476 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目前网上推荐的方法:在系统的 k8s 里套娃 docker-compose ,然后在 docker-compose 里套娃 portainer ,最后在 portainer 里套娃自己的 docker 容器。
    然而这个套娃的稳定性极差,中间任何一个东西更新都有可能导致无法运行。论坛上两个月以前有人发的 portainer 的 yml 文件已经无法部署了。
    现在想回滚到 TrueNAS Core 都没机会了,真就还不如以前的 jails...
    38 条回复    2022-12-22 15:03:47 +08:00
    silvernoo
        1
    silvernoo  
       2022-12-09 06:12:34 +08:00
    直接 linux 原生有什么问题吗?一直搞不懂类似的 nas 系统有什么优势,而且还会有种种限制和瓶颈。甚至连 DSM 用起来都没那么顺手。
    xuegy
        2
    xuegy  
    OP
       2022-12-09 06:33:04 +08:00 via iPhone
    @silvernoo 主要还是为了 ZFS
    YongXMan
        3
    YongXMan  
       2022-12-09 07:44:59 +08:00 via Android
    @silvernoo 主要考虑生态和易用性,linux 原生如果要做照片管理,文件管理,文件同步,远程下载,监控等,群晖都有 app 应用,全平台,易用性和自己折腾的没法比
    locoz
        4
    locoz  
       2022-12-09 07:48:53 +08:00   ❤️ 1
    其实...你直接在 K8S 上跑你的容器不就好了?为啥非要特意套娃半天套出个 Docker 干同样的事...
    xuegy
        5
    xuegy  
    OP
       2022-12-09 08:10:58 +08:00 via iPhone
    @locoz 因为被限制了啊,系统 k8s 在网页上不让你装自己的 app ,而任何直接在 shell 里敲命令的方法都有风险把系统搞崩…
    locoz
        6
    locoz  
       2022-12-09 08:14:08 +08:00
    @xuegy #5 用 Docker 都能直接跑的东西,应该是不涉及 K8S 集群底层机制的,很难想象因为这种东西把系统搞崩...
    xuegy
        7
    xuegy  
    OP
       2022-12-09 08:17:31 +08:00 via iPhone
    @locoz 那就得去问 truenas 开发组了…
    locoz
        8
    locoz  
       2022-12-09 08:21:46 +08:00
    @xuegy #7 我的建议是可以开个虚拟机走一遍流程试试,不一定就跟别人说的一样离谱
    PerFectTime
        9
    PerFectTime  
       2022-12-09 08:45:12 +08:00
    为啥不能装自己的 app ?右上角那个 Launch Docker Image 不是可以启动任意 docker 镜像吗
    xuegy
        10
    xuegy  
    OP
       2022-12-09 08:51:59 +08:00 via iPhone
    @PerFectTime 那个玩意没办法用 host network
    PerFectTime
        11
    PerFectTime  
       2022-12-09 08:55:57 +08:00
    @xuegy 勾选 DNS Options 下面的 Provide access to node network namespace for the workload 试试,这个好像就是 host network
    xuegy
        12
    xuegy  
    OP
       2022-12-09 08:58:51 +08:00 via iPhone
    @PerFectTime 就算它是也没法用啊,开启以后在网页里就看不到了,必须进命令行才能看
    tediorelee
        13
    tediorelee  
       2022-12-09 09:52:38 +08:00
    我也在愁这个问题,OP 如果找到了能在 scale 上比较好的运行 docker 的办法我也来学习一下
    zhouu
        14
    zhouu  
       2022-12-09 10:14:16 +08:00
    那就用 truecharts 里面的 custom-app
    lixile
        15
    lixile  
       2022-12-09 10:15:59 +08:00
    为什么不是直接使用 portainer ?
    defunct9
        16
    defunct9  
       2022-12-09 10:24:36 +08:00
    奇怪,truenas 不是直接底层就是 ZFS 么
    cyokvip
        17
    cyokvip  
       2022-12-09 11:19:00 +08:00
    直接用黑群吧,truenas 确实太折腾了,我最近也在折腾 truenas ,app 什么的都要自建,关键自建的也没黑群 app 好用啊
    xuegy
        18
    xuegy  
    OP
       2022-12-09 11:20:14 +08:00 via iPhone
    @lixile truecharts 里面的 portainer 是 k8s 特供版的,不支持 docker-compose
    xuegy
        19
    xuegy  
    OP
       2022-12-09 11:30:07 +08:00 via iPhone
    @cyokvip 11 盘 16TB RAID-Z3 ,这么庞大的文件系统只能靠 ZFS 撑着。群晖它没这个能力知道吗?
    cyokvip
        20
    cyokvip  
       2022-12-09 11:34:35 +08:00
    @xuegy 额,那不行,因为 btrfs 不稳定
    mrzx
        21
    mrzx  
       2022-12-09 11:56:24 +08:00
    @silvernoo 主要是为了 zfs,目前移植到 linux 上的 open zfs 还不行。性能较差,还有比较严重的 bug,尤其是在 raid 方面.

    zfs 有多强大,只有我们运维清楚,你们程序员可能平时接触不到。也不会有超大容量的服务器项目接触过。

    当小白鼠可以用 TrueNAS Scale 。
    稳定使用,还是用 TrueNAS Core.笔记本基于 Freebsd 它历史太悠久了,而且对于代码的审核比 debian 这种发行版本都要严格多,系统稳定的简直不好形容。。。我唯一认可可以滚动大版本升级的类 unix 系统。
    knives
        22
    knives  
       2022-12-09 12:52:38 +08:00
    @mrzx 比较好奇 OpenZFS 的性能差这一说法的来源。主要是本人在 Proxmox/OpenMediavault 上部署了 ZFS 使用中,虽然强度没多高就是了……
    Scirocco
        23
    Scirocco  
       2022-12-09 13:10:01 +08:00
    我目前就是这么套娃的,具体会遇到什么稳定性问题?提前预备一下 233
    lixile
        24
    lixile  
       2022-12-09 13:48:18 +08:00
    @xuegy 0.0 我是直接自己去下的 docker hub 上的 portainer 启动的。。
    fisherwei
        25
    fisherwei  
       2022-12-09 14:07:13 +08:00
    @xuegy
    scale 就是个 linux 呀,又不是 bsd ,root 上去直接装 podman 。
    k8s 也可以直接用 kubectl 部署应用,不会弄坏的。

    如果原生 linux/k8s 操作搞不定的话,不建议完这种 diy nas 。

    黑群晖可以支持 11x16tb ,甚至,黑群晖可以支持 16*16tb 。我的 chia 之前跑在黑群上,后来换了 36 盘华为二手 5288 后,改成 debian 了。
    mrzx
        26
    mrzx  
       2022-12-09 14:25:55 +08:00
    @knives 我是在国外某个帖子上看的一个性能评测(刚才搜了半天没搜到),open zfs 早期有很多问题,但随着 open zfs 2.0 版本迭代,看了一些 2.0 才有的新特性,我觉得后期 open zfs 会是主流。。
    knives
        27
    knives  
       2022-12-09 18:44:12 +08:00
    @mrzx 那我就放心了……我也看了些资料,说现在 OpenZFS 都是优先开发 Linux 版本,然后再往 FreeBSD 上合并。

    个人的经验,Proxmox 上使用 ZFS 作为存储还是很顺畅的。OpenMediavault 上的 ZFS 其实也是安装了 Proxmox 提供的内核。两个系统到目前为止都在正常运作中。如果不折腾 TrueNAS 可以试试 OpenMediavault ,这个就是相当纯粹的 debian 环境了……
    xuegy
        28
    xuegy  
    OP
       2022-12-09 19:51:44 +08:00 via iPhone
    @Scirocco 能分享一下 portainer 的 yml 文件吗?我在网上找的随着版本更新都不能用了。
    xuegy
        29
    xuegy  
    OP
       2022-12-09 19:53:17 +08:00 via iPhone
    @fisherwei 你说的这种方法好像系统升级后可能会消失…
    fisherwei
        30
    fisherwei  
       2022-12-10 00:47:22 +08:00
    @xuegy
    docker 怕啥消失,你写好了 docker run 的命令或者 docker-compose 文件,保存到 pool 了。容器丢了重新拉起来就行了。所有持久化的数据都用 pool 里面的空间,不要用系统分区。
    Scirocco
        31
    Scirocco  
       2022-12-10 15:43:21 +08:00
    @xuegy #29
    ```
    version: "2.1"
    services:
    web:
    image: portainer/portainer-ce
    container_name: portainer
    volumes:
    - /root/dockers/portainer/:/data
    - /var/run/docker.sock:/var/run/docker.sock
    ports:
    - 9000:9000
    restart: unless-stopped
    ```
    efsg
        32
    efsg  
       2022-12-10 21:36:32 +08:00
    Web 把应用关了然后直接用就行 systemctl enable docker
    xuegy
        33
    xuegy  
    OP
       2022-12-11 11:22:25 +08:00
    @Scirocco 你再试试重新部署一次看看会不会报错:Error while dialing dial unix:///var/run/docker/containerd/containerd.sock: timeout
    Scirocco
        34
    Scirocco  
       2022-12-12 13:23:41 +08:00
    #33 @xuegy 我这里遇到的是没法创建 volume ,解决方法是 https://www.maxiaowei.tech/posts/1264147657.html
    xuegy
        35
    xuegy  
    OP
       2022-12-12 20:33:02 +08:00 via iPhone
    @Scirocco 我在墙外,不应该有问题…
    Scirocco
        36
    Scirocco  
       2022-12-13 12:39:13 +08:00
    @xuegy #35
    那感觉只是权限之类的问题
    abe520
        37
    abe520  
       2022-12-22 04:10:07 +08:00 via Android
    worldquant
        38
    worldquant  
       2022-12-22 15:03:47 +08:00
    我是服务器本地 ubuntu2204 安装 kvm 开 truenas sacle 开 docker
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2822 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 14:53 · PVG 22:53 · LAX 07:53 · JFK 10:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.