Spaglim: PySpark 配置、Spark Connect Server On k8s 工具

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 275 天前的主题，其中的信息可能已经有所发展或是发生改变。

发现市面上基本没有对 PySpark 进行配置的工具，同时 Spark 3.4.0 引入了 server-client 模式，也没有比较好的解决方案，我这里开源了一个简单的模块，支持以下功能：

通过环境变量配置 Spark ，参见 config spark
在 IPython/Jupyter 中执行 Spark SQL 的 %SQL 和 %%SQL magic
- SQL 语句可分多行编写，支持使用 ; 分隔语句
- 支持配置连接客户端
- TODO: 可视化 SQL 语句的结果（ Spark 数据框架）
sparglim-server用于 daemon Spark Connect Server ，并支持 on K8S 部署

目前尚无回复