V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
sbmzhcn
V2EX  ›  Python

如何用 Python 构建一个简单的分布式系统?

  •  
  •   sbmzhcn · 2016-05-09 19:55:12 +08:00 · 6964 次点击
    这是一个创建于 3155 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需求原因:

    多个计算机上运行程序,都会生成 sqlite 数据库,现需要每个计算机上的 sqlite 可以集中到一个数据库中,暂时想到使用分布式解决这个问题。(每个线程通过 socket 发送数据库,不要阻塞。)

    请问题大家有什么成熟的方法没,越简单越好。
    16 条回复    2016-05-12 20:41:21 +08:00
    binux
        1
    binux  
       2016-05-09 19:57:19 +08:00
    用 mysql
    neoblackcap
        2
    neoblackcap  
       2016-05-09 20:10:02 +08:00 via iPhone
    为什么不将数据导出写到一个地方?你这需求有点过度设计了。一楼的 mysql 我看合适
    cheneydog
        3
    cheneydog  
       2016-05-09 20:12:19 +08:00
    共享文件夹
    sbmzhcn
        4
    sbmzhcn  
    OP
       2016-05-09 20:20:01 +08:00
    @binux @neoblackcap 也行吧。 如果有任务,主要想学下分布正式。
    srocket
        5
    srocket  
       2016-05-09 22:16:17 +08:00
    你是分布到局域网的不同机器吗?那就直接连 mysql 吧,不必要搞那么复杂。
    分布到不同地点的机器上,那就在中心服务器上写个 restful 接口用来增删改查应该是最容易实现的吧
    murmur
        6
    murmur  
       2016-05-09 22:53:09 +08:00
    sqlite + 分布式 这是什么样奇葩的布局 随便换个数据库都比 sqlite 好吧
    icybee
        7
    icybee  
       2016-05-09 23:50:04 +08:00
    好挫。。。
    lpe234
        8
    lpe234  
       2016-05-10 00:57:28 +08:00
    哥们 sqlite+分布式 这....
    9hills
        9
    9hills  
       2016-05-10 02:38:22 +08:00 via iPhone
    @murmur
    @lpe234 其实有分布式版本的 sqlite ,叫 rqlite
    sbmzhcn
        10
    sbmzhcn  
    OP
       2016-05-10 10:18:46 +08:00
    @murmur
    @icybee
    @lpe234
    有些功能分布式还是好些,比如我有一些 job ,需要让几个电脑去运行,这就需要了,我只是举一个例子。需求特别而已。
    sbmzhcn
        11
    sbmzhcn  
    OP
       2016-05-10 10:19:43 +08:00
    @srocket 不是同一台电脑上。
    SlipStupig
        12
    SlipStupig  
       2016-05-10 11:16:58 +08:00
    有个叫 FTP 的东西可以把文件传到其它地方去哦...,如果要定时传文件就用一个叫 corntab+ftp 就可以了哦
    sbmzhcn
        13
    sbmzhcn  
    OP
       2016-05-10 17:04:50 +08:00
    mysql 连接非常慢有时连不上, 80 端口打开倒是正常。用 mysql 放在 linode 上不行。
    xuqd
        14
    xuqd  
       2016-05-10 18:54:11 +08:00
    ZeroMq 之类的发过去
    jixiangqd
        15
    jixiangqd  
       2016-05-10 20:05:43 +08:00
    celery 比较简单。。。做计算的话,性能一般,
    商用还是 Hadoop , storm , spark 吧
    bingoliu
        16
    bingoliu  
       2016-05-12 20:41:21 +08:00
    真想用 sqlite 那就简单封装一层, socket 启个端口监听写入请求,做成 sqlite 服务用
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2669 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 09:59 · PVG 17:59 · LAX 01:59 · JFK 04:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.