本公開涉及計算機(jī)，尤其涉及一種數(shù)據(jù)同步方法及裝置。

背景技術(shù)：

1、數(shù)據(jù)庫之間的數(shù)據(jù)同步是指將一個數(shù)據(jù)庫中的數(shù)據(jù)與另一個數(shù)據(jù)庫中的數(shù)據(jù)保持相同的過程。相關(guān)技術(shù)中，當(dāng)源端數(shù)據(jù)庫進(jìn)行大批量操作時，由于大事務(wù)同步效率低，會引發(fā)同步鏈路的性能瓶頸，造成同步中斷。同步中斷異常問題將耗費(fèi)大量時間及人力進(jìn)行問題排查與修復(fù)，嚴(yán)重影響工程效率。

技術(shù)實現(xiàn)思路

1、本公開旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

2、為此，本公開的第一個目的在于提出一種數(shù)據(jù)同步方法，以提高大事務(wù)同步效率，避免同步性能瓶頸和同步中斷，確保大批量操作時的數(shù)據(jù)同步高效進(jìn)行。

3、本公開的第二個目的在于提出一種數(shù)據(jù)同步裝置。

4、本公開的第三個目的在于提出一種電子設(shè)備。

5、本公開的第四個目的在于提出一種計算機(jī)可讀存儲介質(zhì)。

6、本公開的第五個目的在于提出一種計算機(jī)程序產(chǎn)品。

7、為達(dá)上述目的，本公開第一方面實施例提出了一種數(shù)據(jù)同步方法，包括：

8、搭建緩沖數(shù)據(jù)庫，其中，所述緩沖數(shù)據(jù)庫的類型以及版本與源端數(shù)據(jù)庫的類型以及版本相同；

9、將所述源端數(shù)據(jù)庫中的數(shù)據(jù)同步至所述緩沖數(shù)據(jù)庫，得到同步后的緩沖數(shù)據(jù)庫，其中，在將所述源端數(shù)據(jù)庫中的數(shù)據(jù)同步至所述緩沖數(shù)據(jù)庫的過程中，若任一數(shù)據(jù)同步事務(wù)對應(yīng)的數(shù)據(jù)量大于數(shù)據(jù)量閾值，則對所述任一數(shù)據(jù)同步事務(wù)對應(yīng)的同步進(jìn)程參數(shù)進(jìn)行調(diào)整，直至所述同步進(jìn)程參數(shù)滿足同步性能壓力要求；

10、將所述同步后的緩沖數(shù)據(jù)庫中的數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫。

11、可選地，所述將所述源端數(shù)據(jù)庫中的數(shù)據(jù)同步至所述緩沖數(shù)據(jù)庫，包括：

12、對所述緩沖數(shù)據(jù)庫進(jìn)行初始化處理，得到初始化后的緩沖數(shù)據(jù)庫；

13、將所述源端數(shù)據(jù)庫中的數(shù)據(jù)同步至所述初始化后的緩沖數(shù)據(jù)庫。

14、可選地，所述將所述源端數(shù)據(jù)庫中的數(shù)據(jù)同步至所述緩沖數(shù)據(jù)庫，包括：

15、根據(jù)所述源端數(shù)據(jù)庫所承載的業(yè)務(wù)系統(tǒng)特征確定目標(biāo)時間戳，其中，所述業(yè)務(wù)系統(tǒng)特征包括至少一個時間戳對應(yīng)的業(yè)務(wù)量以及數(shù)據(jù)庫負(fù)載，所述目標(biāo)時間戳對應(yīng)的業(yè)務(wù)量小于業(yè)務(wù)量閾值，所述目標(biāo)時間戳對應(yīng)的數(shù)據(jù)庫負(fù)載小于數(shù)據(jù)庫負(fù)載閾值；

16、將所述源端數(shù)據(jù)庫中目標(biāo)時間戳之前的數(shù)據(jù)全量同步至所述緩沖數(shù)據(jù)庫；

17、將所述源端數(shù)據(jù)庫中所述目標(biāo)時間戳之后的數(shù)據(jù)增量同步至所述緩沖數(shù)據(jù)庫。

18、可選地，所述將所述源端數(shù)據(jù)庫中所述目標(biāo)時間戳之后的數(shù)據(jù)增量同步至所述緩沖數(shù)據(jù)庫，包括：

19、配置所述源端數(shù)據(jù)庫與所述緩沖數(shù)據(jù)庫之間的實時同步進(jìn)程；

20、根據(jù)所述實時同步進(jìn)程將所述源端數(shù)據(jù)庫中所述目標(biāo)時間戳之后的數(shù)據(jù)增量同步至所述緩沖數(shù)據(jù)庫，其中，所述實時同步進(jìn)程中任一數(shù)據(jù)同步事務(wù)對應(yīng)的同步進(jìn)程參數(shù)滿足同步性能壓力要求。

21、可選地，所述方法還包括：

22、在根據(jù)所述實時同步進(jìn)程將所述源端數(shù)據(jù)庫中所述目標(biāo)時間戳之后的數(shù)據(jù)增量同步至所述緩沖數(shù)據(jù)庫的過程中，若所述實時同步進(jìn)程中任一數(shù)據(jù)同步事務(wù)對應(yīng)的數(shù)據(jù)量大于數(shù)據(jù)量閾值，則對所述任一數(shù)據(jù)同步事務(wù)對應(yīng)的同步進(jìn)程參數(shù)進(jìn)行迭代調(diào)整，直至所述同步進(jìn)程參數(shù)滿足同步性能壓力要求。

23、可選地，所述對所述任一數(shù)據(jù)同步事務(wù)對應(yīng)的同步進(jìn)程參數(shù)進(jìn)行迭代調(diào)整，直至所述同步進(jìn)程參數(shù)滿足同步性能壓力要求，包括：

24、獲取所述任一數(shù)據(jù)同步事務(wù)對應(yīng)的當(dāng)前同步進(jìn)程參數(shù)，并確定所述當(dāng)前同步進(jìn)程參數(shù)對應(yīng)的第一同步性能信息，其中，所述當(dāng)前同步進(jìn)程參數(shù)包括當(dāng)前事務(wù)分組和當(dāng)前事務(wù)大??；

25、對所述當(dāng)前同步進(jìn)程參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的同步進(jìn)程參數(shù)，并確定所述調(diào)整后的同步進(jìn)程參數(shù)對應(yīng)的第二同步性能信息；

26、若所述第二同步性能信息優(yōu)于所述第一同步性能信息，則根據(jù)所述調(diào)整后的同步進(jìn)程參數(shù)進(jìn)行同步壓力測試，得到第三同步性能信息；

27、若所述第三同步性能信息不滿足同步性能壓力要求，則對所述調(diào)整后的同步進(jìn)程參數(shù)進(jìn)行調(diào)整，直至得到滿足同步性能壓力要求的同步進(jìn)程參數(shù)。

28、可選地，同步性能信息包括業(yè)務(wù)性能和系統(tǒng)性能，所述同步性能壓力要求包括業(yè)務(wù)性能閾值和系統(tǒng)性能閾值，所述方法還包括：

29、若所述第三同步性能信息中的業(yè)務(wù)性能大于所述業(yè)務(wù)性能閾值，則確定所述第三同步性能信息不滿足同步性能壓力要求；或者，

30、若所述第三同步性能信息中的系統(tǒng)性能大于所述系統(tǒng)性能閾值，則確定所述第三同步性能信息不滿足同步性能壓力要求。

31、可選地，在所述得到同步后的緩沖數(shù)據(jù)庫之后，所述方法還包括：

32、設(shè)置所述同步后的緩沖數(shù)據(jù)庫對應(yīng)的回滾段保留時間，得到設(shè)置后的緩沖數(shù)據(jù)庫，其中，所述回滾段保留時間對應(yīng)的回滾表空間使用率大于回滾表空間使用率閾值。

33、可選地，所述設(shè)置所述同步后的緩沖數(shù)據(jù)庫對應(yīng)的回滾段保留時間，包括：

34、確定所述同步后的緩沖數(shù)據(jù)庫對應(yīng)的回滾數(shù)據(jù)生成速率以及回滾表空間使用率閾值；

35、根據(jù)所述回滾數(shù)據(jù)生成速率以及所述回滾表空間使用率閾值，確定回滾段保留時間；

36、在所述同步后的緩沖數(shù)據(jù)庫中設(shè)置所述回滾段保留時間。

37、為達(dá)上述目的，本公開第二方面實施例提出了一種數(shù)據(jù)同步裝置，包括：

38、數(shù)據(jù)庫搭建單元，用于搭建緩沖數(shù)據(jù)庫，其中，所述緩沖數(shù)據(jù)庫的類型以及版本與源端數(shù)據(jù)庫的類型以及版本相同；

39、數(shù)據(jù)同步單元，用于將所述源端數(shù)據(jù)庫中的數(shù)據(jù)同步至所述緩沖數(shù)據(jù)庫，得到同步后的緩沖數(shù)據(jù)庫，其中，在將所述源端數(shù)據(jù)庫中的數(shù)據(jù)同步至所述緩沖數(shù)據(jù)庫的過程中，若任一數(shù)據(jù)同步事務(wù)對應(yīng)的數(shù)據(jù)量大于數(shù)據(jù)量閾值，則對所述任一數(shù)據(jù)同步事務(wù)對應(yīng)的同步進(jìn)程參數(shù)進(jìn)行調(diào)整，直至所述同步進(jìn)程參數(shù)滿足同步性能壓力要求；

40、所述數(shù)據(jù)同步單元，還用于將所述同步后的緩沖數(shù)據(jù)庫中的數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫。

41、為達(dá)上述目的，本公開第三方面實施例提出了一種電子設(shè)備，包括：處理器，以及與處理器通信連接的存儲器；

42、存儲器存儲計算機(jī)執(zhí)行指令；

43、處理器執(zhí)行存儲器存儲的計算機(jī)執(zhí)行指令，以實現(xiàn)前述第一方面中任一項所示的方法。

44、為達(dá)上述目的，本公開第四方面實施例提出了一種計算機(jī)可讀存儲介質(zhì)，計算機(jī)可讀存儲介質(zhì)中存儲有計算機(jī)執(zhí)行指令，計算機(jī)執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)前述第一方面中任一項所示的方法。

45、為達(dá)上述目的，本公開第五方面實施例提出了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)前述第一方面中任一項所示的方法。

46、綜上，本公開提供的方法、裝置、電子設(shè)備及存儲介質(zhì)，通過搭建緩沖數(shù)據(jù)庫對源端數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫之間的數(shù)據(jù)同步進(jìn)行緩沖同步，并針對數(shù)據(jù)量大于數(shù)據(jù)量閾值的數(shù)據(jù)同步事務(wù)對應(yīng)的同步進(jìn)程參數(shù)進(jìn)行調(diào)整，可以優(yōu)化同步鏈路的性能，提高鏈路的吞吐能力和穩(wěn)定性，可以確保數(shù)據(jù)同步的可靠性，可以確保即使在大批量操作的條件下數(shù)據(jù)依然能可靠同步，不會出現(xiàn)同步數(shù)據(jù)丟失等情況，從而可以提高大批量操作下的數(shù)據(jù)同步效率，可以解決大事務(wù)同步效率低的問題，避免了同步性能瓶頸和同步中斷，確保大批量操作時的數(shù)據(jù)同步高效進(jìn)行。

47、本公開附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本公開的實踐了解到。