我正在用 Scala 扩展 Sparks，进行一些实验。其中一部分是定义方法。AccumulableParam[mutable.HashMap[Int,Long], Int]def addInPlac...

我正在使用 Couchbase-Spark 连接器 （couchbase-spark-connector），并面临一个问题，即如果 Couchbase 实例在 Spark 作业运行时未运行或断开连接，...

我有一个 Kafka 使用者，它在使用消息时调用外部 API。Polly.NET 用作重审机制，以防调用不成功。 当前解决方案的问题在于重审机制阻止了下一条消息的消费，因此下一条消息必须等待重审机制...

我正在尝试将日志从 log4j2 流式传输到 Kafka 的主题。 我的 zookeeper 和 kafka 服务器正在运行。我已经为此创建了一个主题。 Unable to write to Ka...

设置 spark.streaming.kafka.maxRatePerPartition：100 并摄取 10000 条记录，每秒应需要 100 条记录， 但消耗了所有 10000 条记录...

我遇到了一个问题，每次将路径初始化为 XSSFWorkbook 时，都会在我项目的根文件夹中创建一个文件java.io.FileInputStream@51bde877（每次都是 51bde877 是...

我使用了下面网站中提到的代码，但上传 2MB 文件总是需要超过 570 分钟的时间。 https://thomaswabner.wordpress.com/2007/10/09/fast-strea...

我用来获取文件的编码。Apache Tika FileInputStream fis = new FileInputStream(my_file); final AutoDetectReader...

我正在构建一个程序，用于管理 java（io、nio、apache commons-io）库中从文件夹“a”到“b”的文件和文件夹的数量和分布。 我被困在一个点上，我可以将文件从“a”移动到“b”，...

我想在远程连接两台 VM 计算机并使用 spark 资源执行我的 PySpark 程序 VM1：独立 SparkVM1： Standalone Spark VM2：使用 Pyspark 代码的 Ju...