spark + kafka 输入流 “spark.streaming.kafka.maxRatePerPartition”
作者:user3176131 提问时间:10/10/2023
设置 spark.streaming.kafka.maxRatePerPartition:100 并摄取 10000 条记录,每秒应需要 100 条记录, 但消耗了所有 10000 条记录...
流 问答列表
作者:user3176131 提问时间:10/10/2023
设置 spark.streaming.kafka.maxRatePerPartition:100 并摄取 10000 条记录,每秒应需要 100 条记录, 但消耗了所有 10000 条记录...
作者:Alicia Wentworth 提问时间:10/15/2023
我正在编写一些东西,它获取一个文件并读取文件的标头(前 48 个字节)(我们自己 1995 年的愚蠢格式),其中包含 6 个偏移量(以及其他元数据),然后我寻求这些偏移量以读取特定于我们域的数据,然后...
作者:dev_101 提问时间:7/12/2023
我需要将一个大文件(2GB)转换为netty byteBuf。我正在使用以下代码,它的工作原理 File file = (File) fw; FileInputStream fileInputSt...
作者:Adrian Mouat 提问时间:10/20/2008
在 Java 中,将输出从 java.io.OutputStream 传递给 String 的最佳方法是什么? 假设我有方法: writeToStream(Object o, OutputStr...
作者:Arnab Kar 提问时间:10/14/2022
我意识到问题是由于我创建了一个新的扫描仪/读取器对象(新扫描仪有一个空白输入),问题仍然存在 - 我如何对两种方法使用相同的输入流(或)如何对两种方法使用相同的扫描仪读取器 原始问题:如何将主方法输...
作者:Sneh Raghav 提问时间:9/23/2020
我的问题是我想使用 Java 迭代目录中的所有文本文件,但每当我开始循环文件时,它总是会导致一半的处理,例如:- 我有 80 个文件,我想读取每个文件的内容,然后我开始循环,它只执行文件的最后一半。 ...
作者:irahorecka 提问时间:11/21/2021
我了解如何读取存储在磁盘上的 CSV 文件,但我不知道如何使用 R 通过 CLI 流式传输 CSV 内容。 例如,使用简单的 CLI 从磁盘读取 CSV 文件。 library(optparse)...
作者:JakeTheFella 提问时间:1/19/2023
我想制作一个程序来获取数字列表并读取输入。 问题在于输入将同时使用空格和回车符。这些值是整数。 列表示例: 3 2 1 2 2 2 1 5 5 4 3 2 1 请不要对我太苛刻,因为我只是在学...
作者:broadbear 提问时间:9/14/2023
有没有办法将输入流划分为块?例如,我正在向 BodyPublisher 发送一个输入流,我希望该 BodyPublisher 读取输入流的子集并停止,然后下一次迭代将读取输入流中的下一组字节。 我想...
作者:TheStranger 提问时间:9/25/2023
我有这个问题,在过去的两周里我一直被困住了。我有这个代码,它基本上接受一个包含文件的 HttpServletRequest,并将其上传到 S3: private UploadResultData u...