Spark 在本地模式下用于生产

Spark in local mode for production

提问人：mhdwrk 提问时间：6/25/2016 更新时间：6/25/2016 访问量：1344

问：

在一个平台上工作，其中大多数数据集都是 json 格式，但几乎不支持查询语言来过滤、连接和......

查看 SparkSQL API 和示例似乎是解决该问题的好办法。考虑到截至目前，我们不需要完整的 Spark 安装，我正在考虑将其嵌入到应用程序中并在本地模式下运行它。有什么想法吗？

java json apache-spark-sql

评论

1赞 Aseem Bansal 6/25/2016
所以你的问题只是部分.正确？其余的似乎无关紧要。你确定你需要火花吗？你会考虑将JSON转换为数据库表吗？这样，您就可以简单地使用 SQL。可能会找到更多帮助。Considering that, as of now, we don't need a full-fledged Spark installation I'm considering embedding it in the app and running it in local mode. Any thoughts?
0赞 mhdwrk 6/25/2016
这是一个相关的讨论 apache-spark-developers-list.1001551.n3.nabble.com/...
0赞 Aseem Bansal 6/25/2016
哪些消息是相关的？你想要 Spark 中有什么特别的东西吗？你说过滤器，加入所以我建议将数据转换为数据库表
3赞 Ander 11/15/2016
在相关主题上，是否有任何充分的理由不将 Spark 本地模式用于生产环境？我正在做一个项目，其中 spark 是要走的路，但目前我们有一台 128 核、1TB RAM 的机器，我们想知道我们是否可以在该机器上使用本地模式，以避免为集群方法获取新机器。
1赞 unnik 5/28/2020
有没有人成功地将 Spark 嵌入到另一个应用程序中并获得了一些不错的性能？

答： 暂无答案

上一个：REST HATEOAS（成熟度等级 3）有多大用处/重要性？[已结束]

下一个：如何检查 Google 身份验证器是否在 Android 设备上可用？