[pgpool-general-jp: 1491] Re: Postgres10環境でregression test 008に失敗します

Kariatsumari, Kazuki ka.kariatsumari ＠ jp.fujitsu.com
2018年 1月 17日 (水) 13:12:16 JST 

狩集です。

> はい、pgpool_setup の修正は次回マイナーリリースに含まれる予定です。
わかりました、回答ありがとうございます。

以上です。宜しくお願いします。


> -----Original Message-----
> From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> Sent: Wednesday, January 17, 2018 11:55 AM
> To: Kariatsumari, Kazuki/狩集 一樹
> Cc: pgpool-general-jp ＠ sraoss.jp
> Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境でregression
> test 008に失敗します
> 
> 彭です。
> 
> > 今回のrestore_command のパス修正は、
> > 本コミュニティで反映されたものが公開される予定でしょうか。
> 
> はい、pgpool_setup の修正は次回マイナーリリースに含まれる予定です。
> 
> On Wed, 17 Jan 2018 02:46:44 +0000
> "Kariatsumari, Kazuki" <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> 
> > 狩集です。
> >
> > 回答ありがとうございます。
> >
> > > 1点目に関わらずパスの修正が必要でした。
> > >
> > > 環境によって、restore_command が必要になりました
> > 今回のrestore_command のパス修正は、
> > 本コミュニティで反映されたものが公開される予定でしょうか。
> >
> > 以上です。宜しくお願いします。
> >
> > > -----Original Message-----
> > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > Sent: Wednesday, January 17, 2018 11:00 AM
> > > To: Kariatsumari, Kazuki/狩集 一樹
> > > Cc: pgpool-general-jp ＠ sraoss.jp
> > > Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境で
> regression
> > > test 008に失敗します
> > >
> > > 彭です。
> > >
> > > > > restore_command のパスと archive_command で指定したディレクト
> リと
> > > 異
> > > > > なったので、
> > > > > それに合わせるために修正しました。
> > > > 上記の修正が必要になったのは、1点目の修正でアーカイブからリス
> トア
> > > するようになったためでしょうか。
> > > > それとも1点目の修正に関わらず、必要なものでしょうか。
> > >
> > > 1点目に関わらずパスの修正が必要でした。
> > >
> > > 環境によって、restore_command が必要になりました。
> > >
> > > ＃ローカル環境と Pgpool-II のテスト環境では regression test 008
> > > ＃のテストが失敗していませんでした。
> > >
> > > On Wed, 17 Jan 2018 01:50:35 +0000
> > > "Kariatsumari, Kazuki" <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > >
> > > > 狩集です。
> > > >
> > > > 回答ありがとうございます。
> > > >
> > > > > restore_command のパスと archive_command で指定したディレクト
> リと
> > > 異
> > > > > なったので、
> > > > > それに合わせるために修正しました。
> > > > 上記の修正が必要になったのは、1点目の修正でアーカイブからリス
> トア
> > > するようになったためでしょうか。
> > > > それとも1点目の修正に関わらず、必要なものでしょうか。
> > > >
> > > > 以上です。宜しくお願いします。
> > > >
> > > >
> > > > > -----Original Message-----
> > > > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > Sent: Wednesday, January 17, 2018 10:25 AM
> > > > > To: Kariatsumari, Kazuki/狩集 一樹
> > > > > Cc: pgpool-general-jp ＠ sraoss.jp
> > > > > Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境で
> > > regression
> > > > > test 008に失敗します
> > > > >
> > > > > 彭です。
> > > > >
> > > > > > ・1点目
> > > > > > 　Standby側でWALを適用する前にPrimary側のWALが削除され
> てい
> > > た原
> > > > > 因は、
> > > > > > 　テスト実施環境の性能不足による現象という認識で合っていま
> すで
> > > しょ
> > > > > うか。
> > > > >
> > > > > はい、ご認識の通りです。
> > > > > マシンが遅ければ、standy で WALが適用される前に、primary の WAL
> が
> > > 消
> > > > > えてしまいました。
> > > > > そのため、アーカイブからリストアする必要がありました。
> > > > >
> > > > > > ・2点目
> > > > > > 　2つ目に頂いたパッチファイルについてですが、restore_command
> > > で指定
> > > > > しているcpコマンドの
> > > > > > 　コピー対象のパスを変更したことには、何か理由があるのでし
> ょう
> > > か。
> > > > >
> > > > > restore_command のパスと archive_command で指定したディレクト
> リと
> > > 異
> > > > > なったので、
> > > > > それに合わせるために修正しました。
> > > > >
> > > > >    archive_command = 'cp %p $BASEDIR/archivedir/%f </dev/null'"
> > > > >
> > > > >
> > > > > -restore_command = 'cp $DATADIR_BASE/archivedir/pg_xlog/%f "%p"
> > > > > 2> /dev/null'
> > > > >                                                 ~~~~~~~ここが
> 間
> > > 違い
> > > > > ました
> > > > >
> > > > > +restore_command = 'cp $DATADIR_BASE/archivedir/%f "%p" 2>
> > > /dev/null'
> > > > >
> > > > > 以上、よろしくお願いします。
> > > > >
> > > > > On Wed, 17 Jan 2018 01:09:50 +0000 "Kariatsumari, Kazuki"
> > > > > <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > >
> > > > > > 狩集です。
> > > > > >
> > > > > > 頂いたパッチを適用して再実施したところ、
> > > > > > regression test 008に成功しました。ありがとうございます。
> > > > > >
> > > > > > 以下2点お伺いしたいことがあります。
> > > > > >
> > > > > > ・1点目
> > > > > > 　Standby側でWALを適用する前にPrimary側のWALが削除され
> てい
> > > た原
> > > > > 因は、
> > > > > > 　テスト実施環境の性能不足による現象という認識で合っていま
> すで
> > > しょ
> > > > > うか。
> > > > > >
> > > > > > ・2点目
> > > > > > 　2つ目に頂いたパッチファイルについてですが、restore_command
> > > で指定
> > > > > しているcpコマンドの
> > > > > > 　コピー対象のパスを変更したことには、何か理由があるのでし
> ょう
> > > か。
> > > > > >
> > > > > > 以上です。宜しくお願いします。
> > > > > >
> > > > > > > -----Original Message-----
> > > > > > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > > > Sent: Tuesday, January 16, 2018 3:08 PM
> > > > > > > To: pgpool-general-jp ＠ sraoss.jp
> > > > > > > Cc: Kariatsumari, Kazuki/狩集 一樹
> > > > > > > Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環
> 境で
> > > > > regression
> > > > > > > test 008に失敗します
> > > > > > >
> > > > > > > 彭です。
> > > > > > >
> > > > > > > restore_command のアーカイブのパスを修正しました。
> > > > > > > お手数ですが、添付のパッチを再度お試していただけますか。
> > > > > > >
> > > > > > > 以上、よろしくお願いいたします。
> > > > > > >
> > > > > > > On Mon, 15 Jan 2018 08:19:54 +0000 "Kariatsumari, Kazuki"
> > > > > > > <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > > > >
> > > > > > > > 狩集です。
> > > > > > > >
> > > > > > > > 回答ありがとうございます。
> > > > > > > > 確認を行いました。
> > > > > > > >
> > > > > > > > ・008.dbredirect/testdir/data0
> > > > > > > > 　recovery.confはありませんでしたが、テスト中にリカバ
> リを
> > > 実施
> > > > > した
> > > > > > > ためか、recovery.doneというファイルに変名されていました。
> > > > > > > >   ファイルをrestore_commandでgrepした結果が以下です。
> > > > > > > >
> > > > > > > > ---
> > > > > > > > restore_command = 'cp
> > > > > > >
> > > > >
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > > > > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > > > > > ---
> > > > > > > >
> > > > > > > > ・008.dbredirect/testdir/data1
> > > > > > > > 　recovery.confがありました。ファイルをrestore_command
> で
> > > grep
> > > > > した
> > > > > > > 結果が以下です。
> > > > > > > >
> > > > > > > > ---
> > > > > > > > restore_command = 'cp
> > > > > > >
> > > > >
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > > > > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > > > > > ---
> > > > > > > >
> > > > > > > > ・008.dbredirect/testdir/data2
> > > > > > > > 　recovery.confがありました。ファイルをrestore_command
> で
> > > grep
> > > > > した
> > > > > > > 結果が以下です。
> > > > > > > >
> > > > > > > > ---
> > > > > > > > restore_command = 'cp
> > > > > > >
> > > > >
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > > > > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > > > > > ---
> > > > > > > >
> > > > > > > > どのファイルにもrestore_command…と記載されていること
> が確
> > > 認で
> > > > > きま
> > > > > > > した。
> > > > > > > >
> > > > > > > > 以上です。宜しくお願いします。
> > > > > > > >
> > > > > > > > > -----Original Message-----
> > > > > > > > > From: Tatsuo Ishii [mailto:ishii ＠ sraoss.co.jp]
> > > > > > > > > Sent: Monday, January 15, 2018 4:48 PM
> > > > > > > > > To: pgpool-general-jp ＠ sraoss.jp; Kariatsumari, Kazuki/
> 狩
> > > 集 一
> > > > > 樹
> > > > > > > > > Subject: Re: [pgpool-general-jp: 1478] Re: Postgres10
> 環
> > > 境で
> > > > > > > regression
> > > > > > > > > test 008に失敗します
> > > > > > > > >
> > > > > > > > > 石井です。
> > > > > > > > >
> > > > > > > > > 彭さんのパッチ適用後、
> > > > > > > > >
> > > > > > > > > ・008.dbredirect/testdir/data0
> > > > > > > > > ・008.dbredirect/testdir/data1
> > > > > > > > >
> > > > > > > > > に、recovery.confがあり、そこに
> > > > > > > > >
> > > > > > > > > restore_command = ... の行はありますか？
> > > > > > > > > --
> > > > > > > > > Tatsuo Ishii
> > > > > > > > > SRA OSS, Inc. Japan
> > > > > > > > > English: http://www.sraoss.co.jp/index_en.php
> > > > > > > > > Japanese:http://www.sraoss.co.jp
> > > > > > > > >
> > > > > > > > > > 狩集です。
> > > > > > > > > >
> > > > > > > > > > 回答ありがとうございます。
> > > > > > > > > >
> > > > > > > > > > 添付して頂いたパッチを適用して試してみましたが、結
> 果に
> > > 変化
> > > > > はあ
> > > > > > > りま
> > > > > > > > > せんでした。
> > > > > > > > > > 私がpgpool_setupに施した以下の変更を戻して再実施し
> てみ
> > > まし
> > > > > たが、
> > > > > > > > > > 008.dbredirect/testdir/data0/log/フォルダ内のログフ
> ァイ
> > > ルに、
> > > > > > > > > > 第一報で申し上げたエラーが記載されており、こちらも
> 結果
> > > に変
> > > > > 化が
> > > > > > > あり
> > > > > > > > > ませんでした。
> > > > > > > > > >
> > > > > > > > > > ・施した変更
> > > > > > > > > > ---
> > > > > > > > > > echo "wal_keep_segments = 5" >> $PGCONF
> > > > > > > > > > ---
> > > > > > > > > >
> > > > > > > > > > ・008.dbredirect/testdir/data0/log/フォルダ内のログ
> ファ
> > > イル
> > > > > のエ
> > > > > > > ラー
> > > > > > > > > > ---
> > > > > > > > > > ERROR:  requested WAL segment 000000010000000000000002
> > > > > > > > > > has already been removed
> > > > > > > > > > ---
> > > > > > > > > >
> > > > > > > > > > 以上です。宜しくお願いします。
> > > > > > > > > >
> > > > > > > > > >> -----Original Message-----
> > > > > > > > > >> From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > > > > > >> Sent: Friday, January 12, 2018 1:07 PM
> > > > > > > > > >> To: Kariatsumari, Kazuki/狩集 一樹
> > > > > > > > > >> Cc: pgpool-general-jp ＠ sraoss.jp
> > > > > > > > > >> Subject: Re: [pgpool-general-jp: 1474] Postgres10
> 環境
> > > で
> > > > > > > regression
> > > > > > > > > test
> > > > > > > > > >> 008に失敗します
> > > > > > > > > >>
> > > > > > > > > >> 彭です。
> > > > > > > > > >>
> > > > > > > > > >> 環境にもよりますが、ストリーミングレプリケーション
> の
> > > standby
> > > > > が
> > > > > > > > > >> WAL 適用する前に、primary の WAL が消されてしまっ
> たの
> > > が原
> > > > > 因だ
> > > > > > > と
> > > > > > > > > >> 思います。
> > > > > > > > > >>
> > > > > > > > > >> このような事象を防ぐために、アーカイブからリストア
> でき
> > > るよ
> > > > > うに
> > > > > > > > > >> recovery.conf に restore_command='cp ... 'を追加し
> た方
> > > がい
> > > > > いで
> > > > > > > す。
> > > > > > > > > >>
> > > > > > > > > >> 添付の pgpool_setup のパッチをためしていただけます
> か。
> > > > > > > > > >>
> > > > > > > > > >> 以上、よろしくお願いいたします。
> > > > > > > > > >>
> > > > > > > > > >> On Thu, 11 Jan 2018 00:26:39 +0000 "Kariatsumari, Kazuki"
> > > > > > > > > >> <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > > > > > > >>
> > > > > > > > > >> > 狩集です。
> > > > > > > > > >> >
> > > > > > > > > >> > 回答ありがとうございます。
> > > > > > > > > >> > 自身にパスワード無しでssh接続できるようにした後、
> > > > > > > > > >> > 再度regression test 008を実施しましたが、
> > > > > > > > > >> > 状況に変化はありませんでした。
> > > > > > > > > >> >
> > > > > > > > > >> > また、008.dbredirect/testdir/pgpool_setup.logに
> エラ
> > > ーは
> > > > > あり
> > > > > > > ませ
> > > > > > > > > ん
> > > > > > > > > >> でした。
> > > > > > > > > >> >
> > > > > > > > > >> > 以上です。宜しくお願いします。
> > > > > > > > > >> >
> > > > > > > > > >> > > -----Original Message-----
> > > > > > > > > >> > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > > > > > >> > > Sent: Wednesday, January 10, 2018 3:35 PM
> > > > > > > > > >> > > To: pgpool-general-jp ＠ sraoss.jp
> > > > > > > > > >> > > Cc: Kariatsumari, Kazuki/狩集 一樹
> > > > > > > > > >> > > Subject: Re: [pgpool-general-jp: 1474] Postgres10
> > > 環境
> > > > > で
> > > > > > > > > regression
> > > > > > > > > >> test
> > > > > > > > > >> > > 008に失敗します
> > > > > > > > > >> > >
> > > > > > > > > >> > > 彭です。
> > > > > > > > > >> > >
> > > > > > > > > >> > > PostgreSQL ストリーミングレプリケーションの構
> 築で
> > > 失敗
> > > > > した
> > > > > > > ので
> > > > > > > > > はな
> > > > > > > > > >> い
> > > > > > > > > >> > > かと思います。
> > > > > > > > > >> > >
> > > > > > > > > >> > > 008.dbredirect のテストスクリプトの中で
> $PGPOOL_SETUP
> > > -m
> > > > > s
> > > > > > > -n 3
> > > > > > > > > を
> > > > > > > > > >> 実
> > > > > > > > > >> > > 行し、
> > > > > > > > > >> > > 3ノードのストリーミングレプリケーションを構成
> して
> > > いま
> > > > > す。
> > > > > > > > > >> > >
> > > > > > > > > >> > > 008.dbredirect/testdir/pgpool_setup.log に何ら
> かの
> > > エラ
> > > > > ーが
> > > > > > > 出力
> > > > > > > > > さ
> > > > > > > > > >> れた
> > > > > > > > > >> > > でしょうか。
> > > > > > > > > >> > >
> > > > > > > > > >> > > よくある原因としては、パスワードなしの ssh 設
> 定し
> > > てい
> > > > > なか
> > > > > > > った
> > > > > > > > > こと
> > > > > > > > > >> です。
> > > > > > > > > >> > > 自分自身に ssh でパスワード無しでログインでき
> るよ
> > > うに
> > > > > なっ
> > > > > > > てい
> > > > > > > > > る
> > > > > > > > > >> 必要
> > > > > > > > > >> > > があります。
> > > > > > > > > >> > >
> > > > > > > > > >> > > 以上、よろしくお願いします。
> > > > > > > > > >> > >
> > > > > > > > > >> > > On Wed, 10 Jan 2018 02:39:52 +0000 "Kariatsumari,
> Kazuki"
> > > > > > > > > >> > > <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > > > > > > >> > >
> > > > > > > > > >> > > > 狩集と申します。
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > RHEL7.3、Postgres10、pgpool-II-3.7.1環境を
> 構築
> > > し、
> > > > > > > > > >> > > > regression testを実行したところ、testing
> > > 008.dbredirect
> > > > > > > で失
> > > > > > > > > 敗
> > > > > > > > > >> しま
> > > > > > > > > >> > > した。
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > 008.dbredirect/testdir/data0/log/内のログを
> 確認
> > > した
> > > > > とこ
> > > > > > > ろ、
> > > > > > > > > 以下
> > > > > > > > > >> の記
> > > > > > > > > >> > > 述がありました。
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > 12031 2018-01-09 16:30:22 JST ERROR:  requested
> > > > > > > > > >> > > > WAL segment
> > > > > > > > > >> > > 000000010000000000000002 has already been removed
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > 上記のエラーからWALが存在しないことが失敗の
> 原因
> > > と考
> > > > > え、
> > > > > > > > > >> > > > regression test実行時にWALの値を設定するよ
> うに、
> > > > > > > > > >> > > pgpool-II-3.7.1/src/test/pgpool_setupに
> > > > > > > > > >> > > > 以下の変更を加えました。(★行を追加しました)
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > -----
> > > > > > > > > >> > > > 285                 echo "wal_level = hot_standby"
> > > >>
> > > > > > > $PGCONF
> > > > > > > > > >> > > > 286                 echo "wal_keep_segments =
> 5"
> > > >>
> > > > > $PGCONF
> > > > > > > > > ★
> > > > > > > > > >> > > > 287                 echo "max_wal_senders =
> > > > > $NUMCLUSTERS"
> > > > > > > >>
> > > > > > > > > >> $PGCONF
> > > > > > > > > >> > > > -----
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > 変更後、再度008.dbredirectを実施したところ、
> > > > > > > > > >> > > > 008.dbredirect/testdir/log/pgpool.logに以下
> のメ
> > > ッセ
> > > > > ージ
> > > > > > > が出
> > > > > > > > > 力
> > > > > > > > > >> され
> > > > > > > > > >> > > るようになりました。
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > 2018-01-09 20:50:50: pid 30748: DEBUG:  could
> > > > > > > > > >> > > > not load balance
> > > > > > > > > >> because
> > > > > > > > > >> > > of too much replication delay
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > メッセージの文面を見る限り、レプリケーション
> で遅
> > > 延が
> > > > > 発生
> > > > > > > して
> > > > > > > > > い
> > > > > > > > > >> るよ
> > > > > > > > > >> > > うです。
> > > > > > > > > >> > > > 遅延発生の原因について、ご存知のことがござい
> まし
> > > たら
> > > > > 教え
> > > > > > > て頂
> > > > > > > > > け
> > > > > > > > > >> ない
> > > > > > > > > >> > > でしょうか。
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > 以上です。宜しくお願いします。
> > > > > > > > > >> > > >
> > > > > > > > > >> > > > _______________________________________________
> > > > > > > > > >> > > > pgpool-general-jp mailing list
> > > > > > > > > >> > > > pgpool-general-jp ＠ sraoss.jp
> > > > > > > > > >> > > > http://www.sraoss.jp/mailman/listinfo/pgpool-ge
> > > > > > > > > >> > > > nera
> > > > > > > > > >> > > > l-jp
> > > > > > > > > >> > > >
> > > > > > > > > >> > >
> > > > > > > > > >> > >
> > > > > > > > > >> > > --
> > > > > > > > > >> > > Bo Peng <pengbo ＠ sraoss.co.jp> SRA OSS, Inc. Japan
> > > > > > > > > >> > >
> > > > > > > > > >> >
> > > > > > > > > >> >
> > > > > > > > > >> >
> > > > > > > > > >>
> > > > > > > > > >>
> > > > > > > > > >> --
> > > > > > > > > >> Bo Peng <pengbo ＠ sraoss.co.jp> SRA OSS, Inc. Japan
> > > > > > > > > >
> > > > > > > > > > _______________________________________________
> > > > > > > > > > pgpool-general-jp mailing list
> > > > > > > > > > pgpool-general-jp ＠ sraoss.jp
> > > > > > > > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-j
> > > > > > > > > > p
> > > > > > > >
> > > > > > > >
> > > > > > > > _______________________________________________
> > > > > > > > pgpool-general-jp mailing list pgpool-general-jp ＠ sraoss.jp
> > > > > > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> > > > > > > >
> > > > > > >
> > > > > > >
> > > > > > > --
> > > > > > > Bo Peng <pengbo ＠ sraoss.co.jp> SRA OSS, Inc. Japan
> > > > > >
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > > Bo Peng <pengbo ＠ sraoss.co.jp>
> > > > > SRA OSS, Inc. Japan
> > > > >
> > > >
> > > >
> > > >
> > >
> > >
> > > --
> > > Bo Peng <pengbo ＠ sraoss.co.jp>
> > > SRA OSS, Inc. Japan
> > >
> >
> >
> >
> 
> 
> --
> Bo Peng <pengbo ＠ sraoss.co.jp>
> SRA OSS, Inc. Japan
>

pgpool-general-jp メーリングリストの案内