pgCompare 是一個(gè)簡(jiǎn)單的實(shí)用工具，旨在簡(jiǎn)化數(shù)據(jù)比較的過(guò)程，為跨各種數(shù)據(jù)庫(kù)平臺(tái)比較數(shù)據(jù)提供一種強(qiáng)大的解決方案。

　介紹　

在不斷發(fā)展的數(shù)據(jù)管理世界中，確保多個(gè)數(shù)據(jù)庫(kù)系統(tǒng)的一致性和準(zhǔn)確性至關(guān)重要。無(wú)論您在遷移數(shù)據(jù)、同步系統(tǒng)還是執(zhí)行例行審計(jì)，跨不同數(shù)據(jù)庫(kù)平臺(tái)比較數(shù)據(jù)的能力都相當(dāng)重要。pgCompare 是一個(gè)開(kāi)源工具，旨在簡(jiǎn)化和增強(qiáng) PostgreSQL、Oracle、MySQL 和 SQL Server 數(shù)據(jù)庫(kù)之間的數(shù)據(jù)比較過(guò)程。

pgCompare 的主要功能有：

• ? 多數(shù)據(jù)庫(kù)支持：pgCompare 能夠跨四個(gè)主要數(shù)據(jù)庫(kù)系統(tǒng)（PostgreSQL、Oracle、MySQL 和 SQL Server）進(jìn)行連接和比較數(shù)據(jù)，故而能脫穎而出。這種多數(shù)據(jù)庫(kù)支持對(duì)于管理各種數(shù)據(jù)庫(kù)技術(shù)的組織相當(dāng)重要。

• ? 比較報(bào)告：pgCompare 會(huì)生成詳細(xì)的報(bào)告，突出顯示數(shù)據(jù)集之間的差異。這些報(bào)告包括有關(guān)缺失記錄、不匹配值的信息，和摘要統(tǒng)計(jì)信息，使用戶能夠快速識(shí)別和解決不一致的問(wèn)題。

• ? 存儲(chǔ)的結(jié)果：結(jié)果存儲(chǔ)在一個(gè) PostgreSQL 數(shù)據(jù)庫(kù)中，用于跟蹤比較歷史、當(dāng)前狀態(tài)和告警。

• ? 靈活的比較選項(xiàng)：用戶可以使用各種選項(xiàng)來(lái)自定義他們的比較，例如一些轉(zhuǎn)換數(shù)據(jù)和排除特定列的選項(xiàng)。這種靈活性可以為滿足特定的要求，對(duì)比較過(guò)程進(jìn)行定制化。

• ? 性能和可擴(kuò)展性：pgCompare 在構(gòu)建時(shí)考慮了性能，可高效處理大型數(shù)據(jù)集，同時(shí)將對(duì)源端和目標(biāo)端系統(tǒng)的影響降至最低。其靈活的架構(gòu)確保它可以滿足小型和大型數(shù)據(jù)集的需求。

　pgCompare 入門(mén)　

PgCompare 是一個(gè)開(kāi)源工具，任何人都可以免費(fèi)使用，并且 pgCompare 的入門(mén)非常簡(jiǎn)單。該工具可以從官方 git 倉(cāng)庫(kù)下載，用戶可以在其中找到詳細(xì)的文檔和教程，以幫助他們配置和運(yùn)行他們的第一次比較。憑借其強(qiáng)大的功能集和易用性，pgCompare 致力成為一款數(shù)據(jù)庫(kù)專業(yè)人士不可或缺的工具。

pgCompare 作為應(yīng)用程序會(huì)在您選擇的位置運(yùn)行，可以是本地機(jī)器，也可以是更靠近數(shù)據(jù)存儲(chǔ)的遠(yuǎn)程機(jī)器。pgCompare 會(huì)創(chuàng)建一個(gè)單獨(dú)的 Postgres 數(shù)據(jù)庫(kù)，用于運(yùn)行查詢以從遠(yuǎn)程數(shù)據(jù)存儲(chǔ)中獲取數(shù)據(jù)。您可在 dc_table 中為比較進(jìn)行詳細(xì)的配置。

在編譯 Java 源代碼后（有關(guān)詳細(xì)信息，請(qǐng)參閱項(xiàng)目 readme 文件），第一步是將 pgcompare.properties.sample 文件復(fù)制到 pgcompare.properties，并對(duì)存儲(chǔ)庫(kù)、目標(biāo)數(shù)據(jù)庫(kù)和源數(shù)據(jù)庫(kù)進(jìn)行必要的編輯。在屬性文件準(zhǔn)備好后，使用 pgcompare 初始化存儲(chǔ)庫(kù)。

java -jar pgcompare.jar --init

在 git 倉(cāng)庫(kù)中的 database 目錄下，有一個(gè)示例表。如果還沒(méi)有表，可以將 HR.EMP 表添加到您選擇的源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)。

執(zhí)行比較之前的最后一步是，將表注冊(cè)到 pgCompare 存儲(chǔ)庫(kù)。為此，只需在執(zhí)行 pgCompare 時(shí)，使用 discovery 標(biāo)志，后跟它應(yīng)該對(duì)其進(jìn)行檢測(cè)的模式（本例中為 hr）。

java -jar pgcompare.jar --discovery hr

要比較數(shù)據(jù)庫(kù)，您需要運(yùn)行如下操作：

java -jar pgcompare.jar --batch=0

比較操作的摘要輸出，將會(huì)在任務(wù)結(jié)束時(shí)顯示：

Reconciliation Complete: Table = emp; Equal = 21; Not Equal = 1; Missing Source = 1; Missing Target = 0
Processed 1 tables
Table Summary: Table = emp; Status = out-of-sync; Equal = 21; Not Equal = 1; Missing Source = 1; Missing Target = 0
Run Summary: Elapsed Time (seconds) = 7; Total Rows Processed = 23; Total Out-of-Sync = 2; Through-put (rows/per second) = 3

最后，如果存在有差異的行，要獲得每行的詳細(xì)信息以及進(jìn)行重新驗(yàn)證，可以使用 check 選項(xiàng)：

java -jar pgcompare.jar --batch=0 --check

在檢查執(zhí)行完后，會(huì)顯示出有關(guān)差異行的詳細(xì)信息：

Primary Key: {"eid":23}
  Out-of-Sync:  PK = {"eid": 23};  Differences = [{"LAST_NAME":{"source":"Runner","target":"Pace"}}]
Primary Key: {"eid":22}
  Out-of-Sync:  PK = {"eid": 22};  Differences = ["Missing Source"]

　pgCompare 應(yīng)用場(chǎng)景　

數(shù)據(jù)遷移

在將數(shù)據(jù)從一個(gè)數(shù)據(jù)庫(kù)平臺(tái)遷移到另一個(gè)數(shù)據(jù)庫(kù)平臺(tái)時(shí)，確保所有記錄都已準(zhǔn)確傳輸至關(guān)重要。例如，在 Oracle 到 Postgres 的遷移過(guò)程中，就可以使用此工具驗(yàn)證數(shù)據(jù)。在停用舊系統(tǒng)之前，創(chuàng)建一個(gè)驗(yàn)證數(shù)據(jù)一致性的數(shù)據(jù)驗(yàn)證任務(wù)也很有用。

數(shù)據(jù)同步

對(duì)于同時(shí)運(yùn)行多個(gè)數(shù)據(jù)庫(kù)的組織，保持這些系統(tǒng)之間的同步相當(dāng)重要。對(duì)于雙活配置的需求持續(xù)增長(zhǎng)。這些解決方案使用的邏輯復(fù)制會(huì)帶來(lái)風(fēng)險(xiǎn)。為了控制這種風(fēng)險(xiǎn)，引入了補(bǔ)償控制，pgCompare 有助于定期檢查和同步不同數(shù)據(jù)庫(kù)之間的數(shù)據(jù)。

合規(guī)遵從性

許多行業(yè)都需要定期審計(jì)，以確保數(shù)據(jù)準(zhǔn)確性和合規(guī)性。pgCompare 能提供清晰詳細(xì)的比較報(bào)告，簡(jiǎn)化了審核的過(guò)程。審計(jì)師和監(jiān)管機(jī)構(gòu)始終需要證據(jù)證明沒(méi)有出現(xiàn)數(shù)據(jù)差異。pgCompare 的輸出對(duì)于滿足此要求非常有用。

質(zhì)量保證

在開(kāi)發(fā)和測(cè)試環(huán)境中，pgCompare 可用于驗(yàn)證數(shù)據(jù)在應(yīng)用程序開(kāi)發(fā)和部署的各個(gè)階段是否保持一致。如果使用了不正確或過(guò)時(shí)的數(shù)據(jù)執(zhí)行測(cè)試，則可能會(huì)增加生產(chǎn)版本的風(fēng)險(xiǎn)。

　pgCompare 的亮點(diǎn)特性　

傳統(tǒng)的數(shù)據(jù)比較方法，通常涉及容易出錯(cuò)且需要大量維護(hù)的人工操作流程或腳本。許多解決方案依賴于比較行數(shù)，這并不能證明數(shù)據(jù)確實(shí)相同。pgCompare 通過(guò)提供可靠的自動(dòng)化解決方案，來(lái)降低錯(cuò)誤風(fēng)險(xiǎn)并節(jié)省寶貴的時(shí)間，從而徹底改變了這一過(guò)程。

• ? 效率：自動(dòng)化數(shù)據(jù)比較，減少了手動(dòng)檢查所需的時(shí)間和精力，使數(shù)據(jù)庫(kù)管理員和數(shù)據(jù)工程師能夠?qū)Ｗ⒂诟幸饬x的任務(wù)。

• ? 準(zhǔn)確性：通過(guò)利用高級(jí)算法，pgCompare 可確保精確識(shí)別差異，從而提高數(shù)據(jù)完整性。

• ? 集成：pgCompare 支持多個(gè)數(shù)據(jù)庫(kù)，可無(wú)縫集成到不同的 IT 環(huán)境中，使其成為適用于任何組織的多功能工具。

在數(shù)據(jù)準(zhǔn)確性和一致性至關(guān)重要的世界中，pgCompare 提供了一種可靠、高效且可擴(kuò)展的解決方案，用于比較 PostgreSQL、Oracle、MySQL 和 SQL Server 數(shù)據(jù)庫(kù)中的數(shù)據(jù)。無(wú)論您是數(shù)據(jù)庫(kù)管理員、數(shù)據(jù)工程師還是 IT 經(jīng)理，pgCompare 都是您需要的工具，可確保數(shù)據(jù)保持一致性和可靠性。

使用 pgCompare 擁抱數(shù)據(jù)比較的未來(lái)，并轉(zhuǎn)變您管理多數(shù)據(jù)庫(kù)環(huán)境的方式。

　了解更多　

pgCompare 項(xiàng)目