hadoop 问答列表

通过python读取hadoop序列文件

作者:vot3tada 提问时间:11/4/2023

我需要使用 python 3.8 读取序列文件。我该怎么做?我正在使用 pyarrow 库连接到 hdfs。 我也刚刚尝试解码文件,但它解码时出错了。它不能被 utf-8 解码。CP1251 无法全...

具有 64 位 R 的 32 位数据库驱动程序,用于查询大数据

作者:Hack-R 提问时间:9/26/2014

我有一个 32 位 HortonWorks Hadoop/Hive 数据库,我可以使用 32 位 R 进行查询。RODBC 尝试连接到 64 位 R 中的数据库时,收到以下错误: [RODBC] ...

Pig UDF 计算两个数字的幂

作者:user846445 提问时间:2/14/2015

我有一个猪脚本。 脚本.pig: register /home/cloudera/Desktop/Pow.jar # registering the jar file A = LOAD '/inp...

Hadoop Graph 输入 - 链接作业

作者:user846445 提问时间:3/24/2015

我有一个以下格式的输入文件。 input.txt 1, 1 2 2, 1 3 3, 2 3 4, 1 4 上面的输入文件有一个键,它是行号,值是无向图的图形边缘。例如,对于第一条记录,行号为 ...

Hadoop:重定向到作业历史记录服务器时出现 NullPointerException

作者:frb 提问时间:10/13/2016

我有一个 Hadoop 集群 (HDP 2.1)。一切都已经工作了很长时间,但突然间作业开始返回以下重复错误: 16/10/13 16:21:11 INFO Configuration.deprec...

如何在 Spark 流式处理中访问 Kafka.Consumer 指标

作者:mhdwrk 提问时间:2/8/2017

我们在 YARN 模式下使用 Spark 流处理来自 Kafka 主题的数据,并想知道是否有人知道如何访问(最好是通过石墨)kafka.consumer 指标?...

命令行管理程序中的 EOF 运算符未退出

作者:Dawit 提问时间:12/20/2022

我正在尝试使用 Vagrantfile 在我的客户机上编辑 hadoop 文件。我正在使用 .这将编辑文件,但即使是 EOF 也被视为文本,并且它已插入到文件中。EOF 没有退出,因此以下所有内容都被...

如何在指定的网络命名空间中生成用户生成每个进程

作者:Stathis Kapnidis 提问时间:9/8/2023

我有一个名为 ns_hadoop 的网络名称。 我还有一个 hadoopuser。 我想在 ns_hadoop 命名空间中生成由该用户启动的所有进程,无论是 shell 还是 cron 作业。这样一...

MapReduce使用python脚本作为映射器和简化器使用hadoop-streaming-3.3.6.jar进行故障排除

作者:Mohamed MOUHNARI 提问时间:10/17/2023

核心站点.xml 配置: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</...

Dependabot 建议编辑 yarn.lock 导致 Rails 服务器拒绝工作,说要运行“yarn install --check-files”

作者:Keith Bennett 提问时间:10/28/2023

我有一个 Rails 应用程序,Dependabot 说: 当我按照该建议修改 yarn.lock 文件并尝试运行时,我得到这个:rails s warning Integrity check: ...


共14条 当前第1页