我可以克隆 Gatr 中的现有管道吗?
作者:Pipeline creator 提问时间:11/9/2023
我正在 Gathr 中创建一个管道,以将我的数据从 JDBC 传输到具有多个处理器的 Kafka。现在,我想复制我现有的管道,并在两者之间添加更多的处理器。Gathr 是否支持此功能? 我创建了一个...
大数据 问答列表
作者:Pipeline creator 提问时间:11/9/2023
我正在 Gathr 中创建一个管道,以将我的数据从 JDBC 传输到具有多个处理器的 Kafka。现在,我想复制我现有的管道,并在两者之间添加更多的处理器。Gathr 是否支持此功能? 我创建了一个...
作者:amogha_sharma 提问时间:11/8/2023
我正在使用 5 节点 16gb 机器运行只有 1GB 未压缩 csv 文件的 spark 应用程序,面临非常高的 GC 时间,实际计算只需要 15 分钟和 3 小时+ 对于 GC,这可能是解决这个问题...
作者:Hetal 提问时间:11/1/2023
我想使用 simplescalar 模拟器工具或 gem5 模拟器分析 BigDataBench 基准测试或任何其他与大数据相关的基准测试。 我已经成功安装了带有 gcc2.7.2 的简单标量模拟器...
作者:sheraz 提问时间:11/1/2023
我们已经在大约 40 个表上设置了事务复制。除了大桌子之外,这适用于小桌子。 一个表中大约有 10 亿行,复制需要花费大量时间。在快照创建和批量数据移动的第一阶段,如果出现错误,则需要再次运行整个过...
作者:Ben Jamin 提问时间:10/28/2023
目前,我正在做一个需要从套接字连接接收大量数据的项目。该实现是用 C++ 编写的,我正在使用 C# 包装器来处理连接。在包装器中,我使用 Encoding.UTF8.GetString() 从 byt...
作者:dentist_inedible 提问时间:10/27/2023
我有一个数据集,大约有 7400 万个观测值。这些观测值中的每一个都由 ~1,000 个特征表示,并用多达 ~3,200 个二进制类进行标记。大多数单个观测值的标记不超过 ~10 个类,因此标签非常稀...
作者:Aria Chris 提问时间:10/6/2023
我拥有的数据超过 1000 行,并且还在不断增加。MS Excel 已经冻结。 除了创建一个新表并插入 1000 多行之外,我不知道如何将数据迁移到 SQL 数据库。插入 1000 行非常困难且耗时...
作者:Md. Mostafijur Rahman 提问时间:9/20/2023
提前感谢您的帮助。 我正在使用 laravel 版本 7 和 laravel-excel 包导入大数据 CSV 文件。我面临的问题是 laravel 望远镜显示作业失败,但我在数据库上看到当作业显示...
作者:Emalude 提问时间:10/26/2021
我想使用 Cython 从模型创建大量模拟样本,稍后需要使用 Python 进行分析。运行一次模拟脚本的结果应该是 10000 x 10000 数组。 我已经定义了一个函数,并试图将我的数组声明为 ...
作者:Tom 提问时间:9/8/2023
正如你所看到的,当我运行它时,我遇到了内存访问错误。 我将malloc_size更改为 100,它可以工作。如何在不更改malloc_size的情况下修复它。 int malloc_size = 9...