<div dir="ltr">After doing all the config (config files, passwordless ssh, firewall-cmd etc) as given in the following link, I am unable to test my setup. My OS is Ubuntu 20.04.3 LTS.<div><br></div><div><a href="https://www.pgpool.net/docs/41/en/html/example-cluster.html#EXAMPLE-CLUSTER-STRUCTURE">https://www.pgpool.net/docs/41/en/html/example-cluster.html#EXAMPLE-CLUSTER-STRUCTURE</a><br></div><div><br></div><div>All the port numbers are as listed in the example.<br></div><div><br></div><div>The part in example section: 8.3.7.1 and onwards is not working.</div><div><br></div><div>When I run on server1 (my primary): </div><div>psql -h 20.20.20.20 -p 9999 -U pgpool postgres -c "show pool_nodes"<br></div><div><span style="background-color:rgb(247,247,247);color:rgb(0,0,0)"><br></span></div><div><span style="background-color:rgb(247,247,247);color:rgb(0,0,0)">I got error:</span></div><div><span style="background-color:rgb(247,247,247);color:rgb(0,0,0)"><br></span></div><div>psql: error: connection to server at "20.20.20.20", port 9999 failed: Connection refused<br>   Is the server running on that host and accepting TCP/IP connections?<br></div><div><br></div><div>I restarted postgresql and pgpool2 services time and again.</div><div><br></div><div>pgpool2 service most recent logs:</div><div><br></div><div>server1 (current primary):</div><div>Oct 24 17:01:41 ip-10-192-10-10 pgpool[104691]: 2021-10-24 17:01:41: pid 104691: LOG:  new watchdog node connection is received from "<server1 host>:16553"<br>Oct 24 17:01:41 ip-10-192-10-10 pgpool[104691]: 2021-10-24 17:01:41: pid 104691: LOG:  new watchdog node connection is received from "<server1 host>:17577"<br>Oct 24 17:04:02 ip-10-192-10-10 pgpool[104691]: 2021-10-24 17:04:02: pid 104691: LOG:  new watchdog node connection is received from "<server2 host>:49304"<br>Oct 24 17:04:02 ip-10-192-10-10 pgpool[104691]: 2021-10-24 17:04:02: pid 104691: LOG:  new watchdog node connection is received from "<server2 host>:50328"<br>Oct 24 17:11:12 ip-10-192-10-10 pgpool[104691]: 2021-10-24 17:11:12: pid 104691: LOG:  new watchdog node connection is received from "<server3 host>:51864"<br>Oct 24 17:11:12 ip-10-192-10-10 pgpool[104691]: 2021-10-24 17:11:12: pid 104691: LOG:  new watchdog node connection is received from "<server3 host>:52888"<br></div><div><br></div><div>server2 and server3 (looks like pgpool2 service is failing):</div><div><br></div><div>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: LOG:  setting the local watchdog node name to "server3:5433 Linux ip-<server 3 host>"<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: LOG:  watchdog cluster is configured with 2 remote nodes<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: LOG:  watchdog remote node:0 on server1:9000<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: LOG:  watchdog remote node:1 on server2:9000<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: LOG:  interface monitoring is disabled in watchdog<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: LOG:  watchdog node state changed from [DEAD] to [LOADING]<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: LOG:  new outbound connection to server1:9000<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: FATAL:  Add to watchdog cluster request is rejected by node "server1:9000"<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: HINT:  check the watchdog configurations.<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125018]: 2021-10-24 17:11:12: pid 125018: LOG:  Watchdog is shutting down<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125014]: 2021-10-24 17:11:12: pid 125014: LOG:  watchdog child process with pid: 125018 exits with status 768<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125014]: 2021-10-24 17:11:12: pid 125014: FATAL:  watchdog child process exit with fatal error. exiting pgpool-II<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125019]: 2021-10-24 17:11:12: pid 125019: LOG:  setting the local watchdog node name to "server3:5433 Linux ip-<server 3 host>"<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125019]: 2021-10-24 17:11:12: pid 125019: LOG:  watchdog cluster is configured with 2 remote nodes<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125019]: 2021-10-24 17:11:12: pid 125019: LOG:  watchdog remote node:0 on server1:9000<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125019]: 2021-10-24 17:11:12: pid 125019: LOG:  watchdog remote node:1 on server2:9000<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125019]: 2021-10-24 17:11:12: pid 125019: LOG:  interface monitoring is disabled in watchdog<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125019]: 2021-10-24 17:11:12: pid 125019: LOG:  watchdog node state changed from [DEAD] to [LOADING]<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125019]: 2021-10-24 17:11:12: pid 125019: LOG:  new outbound connection to server1:9000<br>Oct 24 17:11:12 ip-10-192-12-30 pgpool[125019]: 2021-10-24 17:11:12: pid 125019: LOG:  Watchdog is shutting down<br>Oct 24 17:11:12 ip-10-192-12-30 systemd[1]: pgpool2.service: Main process exited, code=exited, status=3/NOTIMPLEMENTED<br>Oct 24 17:11:12 ip-10-192-12-30 systemd[1]: pgpool2.service: Failed with result 'exit-code'.<br></div><div><br></div><div>What steps am I missing?</div><div><br></div><div>Thank you for the assistance,</div><div>-Nirav</div><div><br></div></div>