本申請涉及云計算與大數(shù)據(jù)，具體涉及一種數(shù)據(jù)處理方法、裝置及電子設(shè)備。

背景技術(shù)：

1、mysql是一個輕量級的關(guān)系型數(shù)據(jù)庫，被廣泛應(yīng)用。針對mysql，在高并發(fā)業(yè)務(wù)系統(tǒng)中，如果業(yè)務(wù)數(shù)據(jù)的讀寫都在主庫上，將對主庫的性能和處理能力造成巨大開銷。因此，可以對業(yè)務(wù)數(shù)據(jù)流做讀寫分離，有關(guān)寫入的流量數(shù)據(jù)由主庫(master庫)處理，而從庫(slave庫)分擔(dān)讀取的功能。在此情況下，當(dāng)業(yè)務(wù)系統(tǒng)的讀寫分?jǐn)偟街鲝膸鞎r，為了保證主從數(shù)據(jù)庫中數(shù)據(jù)的一致性，需要提交事務(wù)，mysql需要將事務(wù)日志bin-log的提交標(biāo)記寫入重做日志redo-log數(shù)據(jù)文件。

2、然而，數(shù)據(jù)庫中的存儲引擎提交事務(wù)的速度受默認(rèn)的參數(shù)配置的影響(如innodb_flush_log_at_trx_commit、sync_binlog等)，每提交一次事務(wù)就會調(diào)用同步函數(shù)fsync操作一次磁盤，當(dāng)mysql數(shù)據(jù)庫的并發(fā)量較大時，這些默認(rèn)的配置參數(shù)將會影響磁盤io寫入性能，進(jìn)而影響事務(wù)寫入速度，可能會導(dǎo)致主庫寫入數(shù)據(jù)在從庫查詢不到或查詢超時的情況，造成主從庫的數(shù)據(jù)同步發(fā)生延遲，降低磁盤寫入效率的問題。而相關(guān)技術(shù)中為解決此問題，通常需要人工干預(yù)，處理過程非常耗時。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法、裝置及電子設(shè)備，主要目的在于改善目前由于默認(rèn)參數(shù)配置，使主從數(shù)據(jù)庫同步時會存在延遲，導(dǎo)致磁盤寫入效率降低的問題。

2、第一方面，本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法，包括：

3、采集系統(tǒng)資源信息和數(shù)據(jù)庫性能指標(biāo)；

4、通過所述系統(tǒng)資源信息和所述數(shù)據(jù)庫性能指標(biāo)，檢測從數(shù)據(jù)庫與主數(shù)據(jù)庫之間是否存在同步延遲；

5、在存在同步延遲的情況下，采集磁盤壓力參數(shù)，并通過所述磁盤壓力參數(shù)判斷磁盤的讀寫壓力；

6、在判定所述磁盤的寫壓力較大的情況下，計算刷盤機(jī)制的改寫值，對數(shù)據(jù)庫的日志刷盤機(jī)制進(jìn)行改寫。

7、可選地，所述在判定所述磁盤的寫壓力較大的情況下，計算刷盤機(jī)制的改寫值，對數(shù)據(jù)庫的日志刷盤機(jī)制進(jìn)行改寫，包括：通過所述系統(tǒng)資源信息和所述數(shù)據(jù)庫性能指標(biāo)，計算所述改寫值；基于所述改寫值對重做日志和事務(wù)日志的刷盤機(jī)制進(jìn)行改寫。

8、可選地，基于所述改寫值對事務(wù)日志的刷盤機(jī)制進(jìn)行改寫，包括：讀取配置參數(shù)中事務(wù)日志刷盤機(jī)制的預(yù)設(shè)值；在所述改寫值大于所述預(yù)設(shè)值的情況下，將所述改寫值取代所述預(yù)設(shè)值，并按照所述改寫值的數(shù)量，將事務(wù)日志數(shù)據(jù)按批次存入緩存進(jìn)行刷盤。

9、可選地，基于所述改寫值對重做日志的刷盤機(jī)制進(jìn)行改寫，包括：讀取配置參數(shù)中重做日志刷盤機(jī)制的可選值；在按照所述預(yù)設(shè)值的數(shù)量，將事務(wù)日志數(shù)據(jù)按批次存入緩存進(jìn)行刷盤之后，通過二分查找算法，在所述可選值中確定對重做日志的刷盤機(jī)制的最高分值；利用所述最高分值，對重做日志的刷盤機(jī)制進(jìn)行改寫。

10、可選地，通過所述磁盤壓力參數(shù)判斷磁盤的讀寫壓力，包括：采集磁盤壓力參數(shù)；將當(dāng)前時刻的磁盤壓力參數(shù)與前一時刻的磁盤壓力參數(shù)進(jìn)行對比，若當(dāng)前時刻的磁盤壓力參數(shù)大于前一時刻的磁盤壓力參數(shù)且大于預(yù)設(shè)閾值，則判定當(dāng)前磁盤讀寫壓力較大。

11、可選地，所述采集磁盤壓力參數(shù)，包括：采集預(yù)設(shè)時間段內(nèi)每秒的磁盤操作次數(shù)和磁盤寫入次數(shù)；計算磁盤操作次數(shù)平均值和磁盤寫入次數(shù)平均值，作為當(dāng)次采集的所述磁盤壓力參數(shù)。

12、可選地，所述通過所述系統(tǒng)資源信息和所述數(shù)據(jù)庫性能指標(biāo)，檢測從數(shù)據(jù)庫與主數(shù)據(jù)庫之間是否存在同步延遲，包括：讀取當(dāng)前的日志更新點(diǎn)位和近期的日志更新點(diǎn)位；根據(jù)所述當(dāng)前的日志更新點(diǎn)位和所述近期的日志更新點(diǎn)位，計算同步延遲時間；讀取延遲監(jiān)控閾值，并利用所述同步延遲時間和所述延遲監(jiān)控閾值，計算延遲倍率；根據(jù)所述延遲倍率，判斷從數(shù)據(jù)庫與主數(shù)據(jù)庫之間是否存在同步延遲。

13、第二方面，本申請?zhí)峁┝艘环N數(shù)據(jù)處理裝置，包括：

14、采集單元，被配置為采集系統(tǒng)資源信息和數(shù)據(jù)庫性能指標(biāo)；

15、檢測單元，被配置為通過所述系統(tǒng)資源信息和所述數(shù)據(jù)庫性能指標(biāo)，檢測從數(shù)據(jù)庫與主數(shù)據(jù)庫之間是否存在同步延遲；

16、判斷單元，被配置為在存在同步延遲的情況下，采集磁盤壓力參數(shù)，并通過所述磁盤壓力參數(shù)判斷磁盤的讀寫壓力；

17、處理單元，被配置為在判定所述磁盤的寫壓力較大的情況下，計算刷盤機(jī)制的改寫值，對數(shù)據(jù)庫的日志刷盤機(jī)制進(jìn)行改寫。

18、第三方面，本申請?zhí)峁┝艘环N計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)第一方面所述的數(shù)據(jù)處理方法。

19、第四方面，本申請?zhí)峁┝艘环N電子設(shè)備，包括存儲介質(zhì)、處理器及存儲在存儲介質(zhì)上并可在處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)第一方面所述的數(shù)據(jù)處理方法。

20、借由上述技術(shù)方案，本申請?zhí)峁┑囊环N數(shù)據(jù)處理方法、裝置及電子設(shè)備，本申請首先通過檢測mysql主從數(shù)據(jù)庫服務(wù)器性能指標(biāo)，也即采集系統(tǒng)資源信息和數(shù)據(jù)庫性能指標(biāo)，進(jìn)而通過系統(tǒng)資源信息和數(shù)據(jù)庫性能指標(biāo)，檢測從數(shù)據(jù)庫與主數(shù)據(jù)庫之間是否存在同步延遲。在存在同步延遲的情況下，采集磁盤壓力參數(shù)，并通過磁盤壓力參數(shù)判斷磁盤的讀寫壓力，判定磁盤的寫壓力較大的情況下，計算刷盤機(jī)制的改寫值，對數(shù)據(jù)庫的日志刷盤機(jī)制進(jìn)行改寫。與相關(guān)技術(shù)方案中，在主從數(shù)據(jù)同步延遲大時通過人工介入的方式相比，本申請通過檢測mysql主從數(shù)據(jù)庫服務(wù)器性能指標(biāo)，在主從數(shù)據(jù)同步延遲且磁盤壓力較大的情況下，計算最優(yōu)刷盤機(jī)制的改寫值，并基于改寫值對數(shù)據(jù)庫的日志刷盤機(jī)制進(jìn)行改寫，從而提高數(shù)據(jù)寫入磁盤的效率，解決主從數(shù)據(jù)庫同步時會存在延遲導(dǎo)致磁盤寫入效率降低的問題。

21、上述說明僅是本申請技術(shù)方案的概述，為了能夠更清楚了解本申請的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本申請的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本申請的具體實施方式。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在判定所述磁盤的寫壓力較大的情況下，計算刷盤機(jī)制的改寫值，對數(shù)據(jù)庫的日志刷盤機(jī)制進(jìn)行改寫，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于所述改寫值對事務(wù)日志的刷盤機(jī)制進(jìn)行改寫，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，基于所述改寫值對重做日志的刷盤機(jī)制進(jìn)行改寫，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過所述磁盤壓力參數(shù)判斷磁盤的讀寫壓力，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述采集磁盤壓力參數(shù)，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述系統(tǒng)資源信息和所述數(shù)據(jù)庫性能指標(biāo)，檢測從數(shù)據(jù)庫與主數(shù)據(jù)庫之間是否存在同步延遲，包括：

8.一種數(shù)據(jù)處理裝置，其特征在于，包括：

9.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7中任一項所述的方法。

10.一種電子設(shè)備，包括存儲介質(zhì)、處理器及存儲在存儲介質(zhì)上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)權(quán)利要求1至7中任一項所述的方法。

技術(shù)總結(jié)
本申請公開了一種數(shù)據(jù)處理方法、裝置及電子設(shè)備，涉及云計算與大數(shù)據(jù)技術(shù)領(lǐng)域。方法包括：采集系統(tǒng)資源信息和數(shù)據(jù)庫性能指標(biāo)；通過系統(tǒng)資源信息和數(shù)據(jù)庫性能指標(biāo)，檢測從數(shù)據(jù)庫與主數(shù)據(jù)庫之間是否存在同步延遲；在存在同步延遲的情況下，采集磁盤壓力參數(shù)，并通過磁盤壓力參數(shù)判斷磁盤的讀寫壓力；在判定磁盤的寫壓力較大的情況下，計算刷盤機(jī)制的改寫值，對數(shù)據(jù)庫的日志刷盤機(jī)制進(jìn)行改寫。與相關(guān)技術(shù)方案中，主從數(shù)據(jù)同步延遲大時通過人工介入的方式相比，本申請通過計算最優(yōu)刷盤機(jī)制的改寫值，并基于改寫值對數(shù)據(jù)庫的日志刷盤機(jī)制進(jìn)行改寫，從而提高數(shù)據(jù)寫入磁盤的效率，解決主從數(shù)據(jù)庫同步時會存在延遲導(dǎo)致磁盤寫入效率降低的問題。

技術(shù)研發(fā)人員：鄧娟
受保護(hù)的技術(shù)使用者：中國移動通信集團(tuán)貴州有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21