在 2 个 CentOS 8 流浪者盒子之间设置 PostgreSQL 13 日志传送复制,

Setting up PostgreSQL 13 log-shipping replication between 2 CentOS 8 vagrant boxes,

提问人:Dan 提问时间:1/22/2021 最后编辑:Dan 更新时间:1/25/2021 访问量:430

问:

我一直在尝试在 2 个 CentOS 8 流浪者盒子之间设置日志传送复制,但我有两个问题似乎找不到答案:

1.,我已经按照官方的pgsql文档在master上设置了连续归档,但是它并没有归档任何wal文件,即使pg_wal目录下有一些文件,它们的归档状态是就绪的。它检查了日志,似乎确实尝试存档它们,但总是出现错误。

这是“scp %p [email protected]:/test/%f”的错误:

scp: /test/000000010000000000000001: 没有这样的文件或目录 2021-01-21 16:52:05.851 UTC [4635] 日志:存档命令失败,退出代码为 1 2021-01-21 16:52:05.851 UTC [4635] 详细信息:失败的存档命令为:scp pg_wal/000000010000000000000001 [email protected]:/test/000000010000000000000001

这是“cp %p /test/%f”的错误:

cp:无法创建常规文件 '/test/000000010000000000000001':没有这样的文件或目录 2021-01-21 16:52:09.415 UTC [5862] 日志:存档命令失败,退出代码为 1 2021-01-21 16:52:09.415 UTC [5862] 详细信息:失败的存档命令为:cp pg_wal/000000010000000000000001 /test/000000010000000000000001

在第一个示例中,我尝试将 wal 文件scp 到我的备用服务器,在第二个示例中,我只是尝试将它们 cp 到我在 中创建的测试文件夹中。我检查了 postgres 应该有权在文件夹中写入: .我也尝试了其他archive_commands,例如文档中的那个: ,它记录了与上面的 cp 相同的错误。/var/lib/pgsql/13/data folderls -ladrwxr-xr-x. 2 postgres postgres'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f'

我还检查了存档器,从 pg_stat_archiver 中选择 *;但它只是表明存档失败了很多次

这是我的posgresql.conf设置:

listen_addresses = '*'
max_connections = 100
password_encryption = scram-sha-256
shared_buffers = 128MB
dynamic_shared_memory_type = posix
wal_level = replica
max_wal_size = 1GB
min_wal_size = 80MB
archive_mode = on
archive_command = '' #as mentioned above
archive_timeout = 60
log_destination = 'stderr'
logging_collector = on
log_directory = 'log' 
log_filename = 'postgresql-%a.log' 
log_truncate_on_rotation = on 
log_rotation_age = 1d
log_rotation_size = 0
log_line_prefix = '%m [%p] '
log_timezone = 'UTC' 
datestyle = 'iso, mdy'  
timezone = 'UTC' 
lc_messages = 'en_US.UTF-8' 
lc_monetary = 'en_US.UTF-8'
lc_numeric = 'en_US.UTF-8'
lc_time = 'en_US.UTF-8'
default_text_search_config = 'pg_catalog.english'  

我还更改了 pg_hba.conf 以允许主机连接到数据库,因此我也会包括它以防万一:

# TYPE  DATABASE        USER            ADDRESS                 METHOD
local   all             all                                     peer
host    all             all             0.0.0.0/0            trust
host    all             all             ::1/128                 scram-sha-256
local   replication     all                                     peer
host    replication     all             127.0.0.1/32            scram-sha-256                                                                                                      host    replication     all             ::1/128                 scram-sha-256

2.,我的另一个问题与linux有关,或者可能是流浪者。由于我正在尝试设置日志传送,因此我需要 wal 存档位于备用数据库可以读取文件的位置,这就是我尝试将文件压缩过来的原因。我使用 ssh-keygen 为 vagrant 生成了 ssh 密钥对,这是我 ssh 进入 box 和 postgres 时的默认用户,然后将这两个公钥添加到 vagrant() 和 postgres() 用户的authorized_keys列表中。问题是,虽然我可以使用主服务器的两个用户通过 ssh 进入备用服务器上的流浪用户,但当我尝试使用任何一个 ssh 进入 postgres 用户时,它会说/home/vagrant/.ssh/var/lib/pgsql/.ssh[email protected]: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

我尝试使用命令检查问题可能是什么,并且它运行良好,直到服务器应该接受密钥为止:ssh -v [email protected]

debug1: Offering public key: /home/vagrant/.ssh/id_rsa RSA SHA256:DgndkBcWnrG7q0VkLNUA+hjsHGO+HWyUQRTrffl8NWg
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic
debug1: Trying private key: /home/vagrant/.ssh/id_dsa
debug1: Trying private key: /home/vagrant/.ssh/id_ecdsa
debug1: Trying private key: /home/vagrant/.ssh/id_ed25519
debug1: Trying private key: /home/vagrant/.ssh/id_xmss
debug1: No more authentication methods to try.
[email protected]: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

我的问题是为什么会这样,如果我什至需要 ssh 进入 postgres 用户,或者我可以简单地将其保存在带有 vagrant user 的某个地方,并以某种方式将该文件夹读取给 postgres 用户(我已经读过可能使用共享文件夹,但我还没有找到任何关于如何做到这一点的好指南)。

以下是流浪者文件,以备不时之需:

主要:

Vagrant.configure("2") do |config|

    config.vm.box = "generic/centos8"
    config.vm.hostname = "pgsrv1"
    config.vm.provider "virtualbox" do |vb|
      vb.name = "pgsrv1"
      vb.memory = "1024"
    end
    config.vm.network :forwarded_port, host: 5432, guest: 5432
    config.vm.network "private_network", ip: "10.0.0.200"
end

待机:

Vagrant.configure("2") do |config|
    config.vm.box = "centos8/standby"
    #config.vm.box_url = "/vagrant/centos8_standby/package.box"
    config.vm.hostname = "pgsrv2"
    config.vm.provider "virtualbox" do |vb|
      vb.name = "pgsrv2"
      vb.memory = "1024"
    end
    config.vm.network :forwarded_port, host: 5434, guest: 5432
    config.vm.network "private_network", ip: "10.0.0.201"
end

对不起,如果它们真的是菜鸟问题,但我对 linux 和流浪者相当陌生,我一直被困在这 2 周内,我在网上发现的似乎根本不起作用。

编辑:

我制作了一个全新的流浪档案,并在设置后复制了它,现在存档命令按应有的方式工作(仍然不知道原始盒子上的问题是什么)。vagrant package

但是,我再次配置了 ssh,它仍然是一样的,我可以轻松地 ssh 进入流浪用户,所以我能够用 archive_command scing wal 文件,但仍然无法 ssh 到 postgres 中。

所以现在我唯一的问题仍然是是否有人知道为什么我无法通过 ssh 进入 postgres,或者是否有一个简单的解决方法,比如让我将 wals scs 到的文件夹以某种方式对 postgres 用户可读。

编辑1:

事实证明,是 selinux 做了一些神奇的事情,一些允许 ssh conns 流浪用户而不是 postgres 的配置,所以通过关闭它解决了这个问题:)。

PostgreSQL SSH 流浪者 CentOS8 日志传送

评论

0赞 jjanes 1/22/2021
目标接收方计算机上是否存在目录“/test”?如果该目录尚不存在,则您给出的命令将不会为您创建该目录。请注意,由于路径以斜杠开头,因此这是在文件系统的根级别,而不是相对于任何(未指定的)路径。
0赞 Dan 1/22/2021
是的,确实如此,事实上,我尝试了 scp 以查看它是否在archive_command之外工作,方法是创建一个简单的 .txt 文件并将其 SCP 化,效果很好。
0赞 jjanes 1/23/2021
ssh 服务器不会告诉 ssh 客户端失败的原因,因为这可以帮助攻击者。在服务器的 sshd 日志文件中查找更多信息(可能在打开日志记录级别之后)
0赞 Dan 1/23/2021
我尝试按照您的建议查看日志文件。这些是我登录流浪用户时生成的日志,它有效: 当我尝试通过 ssh 连接到 postgres 用户时:Jan 22 20:57:14 testserver1 sshd[10135]: Accepted publickey for vagrant from 10.0.0.202 port 45872 ssh2: RSA SHA256:fdcHqf0O54f6brRRbHfR2JVF9eORyM8++9PoD558MdMJan 22 20:57:14 testserver1 sshd[10135]: pam_unix(sshd:session): session opened for user vagrant by (uid=0)Jan 22 20:59:59 testserver1 sshd[10291]: Connection closed by authenticating user postgres 10.0.0.202 port 45880 [preauth]

答: 暂无答案