本發(fā)明涉及藥品說明書的識別技術(shù)領(lǐng)域，具體涉及自動識別和朗讀藥品說明書的方法。

背景技術(shù)：

在中國，視障人數(shù)達1731萬，占到了世界盲人總數(shù)的18％。盲人和弱視朋友在生活中有許多的不便，讀書看報在我們普通人看來易如反掌的事情對他們來說是異常艱難。盡管如此，還是有一些盲文書籍書報可以供他們學(xué)習(xí)閱讀。可是藥品說明書一般是沒有盲文的，當(dāng)他們需要用藥的時候真的是沒有任何辦法。

目前中國老年人口已超過2億，老齡化程度進一步加深。老年人在日常生活中也經(jīng)常和藥物打交道，他們的眼睛一般不好使，而且藥品說明書上的文字一般較小，用藥對他們來說是一件頭痛的事。而今中國文盲群體超過5000萬，如何識別和閱讀藥品說明書上的文字對他們來說更是一件艱難的事。

基于以上的存在問題，本發(fā)明核心功能是給盲人、弱視群體閱讀藥品說明書并通過語音的形式讓他們獲取。當(dāng)然，此功能也能很好地應(yīng)用到老年人和文盲群體上，因為他們有共同的需求?？紤]到用戶群體的特殊性，本作品是通過語音來操作控制的，實際運行起來更加高效簡便。除此之外，本發(fā)明還添加了語音播報最新社會熱點的功能，為盲人朋友和老年人打開了一扇與外界接觸的心靈之窗。

技術(shù)實現(xiàn)要素：

為了實現(xiàn)上述技術(shù)目的，本發(fā)明提供一種自動識別和朗讀藥品說明書的方法，本發(fā)明具有識別說明書、旋轉(zhuǎn)文本校正、紙張翻轉(zhuǎn)檢測、文本翻轉(zhuǎn)檢測、獲取藥品信息、語音喚醒、語音合成、語音識別功能。

一種自動識別和朗讀藥品說明書的方法，采用具有攝像頭、處理器、語音播放模塊的識別系統(tǒng)，包括如下步驟：

（1）識別說明書，系統(tǒng)通過拍攝一張藥品說明書的圖片，自動識別國藥準(zhǔn)字并以此通過調(diào)用互聯(lián)網(wǎng)接口獲取具體藥品信息；

（2）旋轉(zhuǎn)文本校正，通過霍夫直線檢測算法實現(xiàn)基于傅里葉變換的旋轉(zhuǎn)文本校正，將拍攝得到有旋轉(zhuǎn)偏差的文本旋轉(zhuǎn)至水平；

（3）紙張翻轉(zhuǎn)檢測，通過識別藥品說明書上是否有文字來檢測紙張是否翻轉(zhuǎn)，并通過語音提示將翻轉(zhuǎn)的紙張翻轉(zhuǎn)回來；

（4）文本翻轉(zhuǎn)檢測，通過同時識別經(jīng)過旋轉(zhuǎn)文本校正的圖片和翻轉(zhuǎn)180°后得到的圖片獲取國藥準(zhǔn)字；

（5）獲取藥品信息，通過調(diào)用互聯(lián)網(wǎng)提供的藥品信息接口，上傳識別得到的國藥準(zhǔn)字并返回藥品信息；

（6）語音喚醒，通過使用語音喚醒庫設(shè)定喚醒短語，將系統(tǒng)從睡眠狀態(tài)喚醒過來；

（7）語音合成，通過使用語音合成庫，將藥品的文本信息朗讀出來。

進一步地，步驟（1）包括如下步驟：

（1.1）分析連通區(qū)域，檢測出字符區(qū)域的區(qū)域輪廓和子輪廓，集成為區(qū)塊域；

（1.2）找到塊區(qū)域，檢測出字符輪廓，得到文本行；再通過空格得到單詞；

（1.3）找文本行和單詞，采用自適應(yīng)分類器，分析單詞；進行兩次單詞分析；

（1.4）得出識別文本，識別含有模糊的空格，筆畫高度，小寫字母。

進一步地，步驟（2）包括如下步驟：

（2.1）以灰度方式讀入原文件；

（2.2）將圖像擴展到合適的尺寸以方便快速變換；

（2.3）進行DFT運算，分別計算實部和虛部；

（2.4）對數(shù)據(jù)進行適當(dāng)調(diào)整，考慮到幅度變化范圍很大，還要用log函數(shù)把數(shù)值范圍縮??；

（2.5）移動中心，DFT運算的結(jié)果低頻部分位于四角，高頻部分在中心，因此要把把低頻部分移動到中心；

（2.6）圖像校正，先將得到的傅里葉頻譜進行二值化，接下來檢測直線，然后找到符合條件的那條斜線并獲取角度，接著進行角度轉(zhuǎn)換，最后對圖像進行校正。

進一步地，步驟（1）中，還包括，精簡識別字庫，只保留關(guān)鍵字，再進行訓(xùn)練，提高識別準(zhǔn)確率和識別速度；同時也能識別國外的進口藥。張翻轉(zhuǎn)檢測，通過識別藥品說明書上是否有文字來檢測紙張是否翻轉(zhuǎn)，并通過語音提示將翻轉(zhuǎn)的紙張翻轉(zhuǎn)回來。文本翻轉(zhuǎn)檢測，通過同時識別經(jīng)過旋轉(zhuǎn)文本校正的圖片和翻轉(zhuǎn)180°后得到的圖片獲取國藥準(zhǔn)字，避免文本翻轉(zhuǎn)后識別不出正確結(jié)果。

進一步地，步驟（5）獲取藥品信息中還包括處理返回的字符串得到藥品的文本信息，為語音合成提供文件。

進一步地，還包含采用語音識別模塊，通過使用語音識別庫設(shè)定控制命令，識別語音指令。

采用上述技術(shù)方案后，本發(fā)明至少具有如下優(yōu)點和技術(shù)效果：

（1）設(shè)計新穎，關(guān)懷盲人朋友和老年人弱勢群體，具有社會責(zé)任感。通過給他們閱讀藥品說明書為切入點，實在地解決他們?nèi)粘Ｉ钪虚喿x藥品說明書的困難，具有人文關(guān)懷。

（2）以國藥準(zhǔn)字編號為文字識別的關(guān)鍵詞，很好地避免了紙張彎曲變形導(dǎo)致局部識別結(jié)果不準(zhǔn)確。而且比起漢字，字母和數(shù)字的識別準(zhǔn)確率更高，精簡字庫還能進一步提高識別速度。此識別方法十分巧妙，很好地解決所面臨的問題。

（3）考慮到盲人朋友實際操作起來并不會十分順暢，因此給本發(fā)明添加了紙張翻轉(zhuǎn)檢測、旋轉(zhuǎn)文本校正和文本翻轉(zhuǎn)檢測功能，系統(tǒng)操作起來不會有任何障礙。

（4）充分考慮到用戶群體的特殊性，本發(fā)明是通過語音控制來操作的，實際操作起來十分方便高效，應(yīng)用前景開闊。

（5）本發(fā)明還具有語音喚醒功能，當(dāng)需要使用的時候只要輕輕說出“我的小助手”即可喚醒系統(tǒng)，不需要的時候說出“退出”即可退出系統(tǒng)，系統(tǒng)工作于低功耗。

（6）本發(fā)明還具有播報社會熱點的功能，很好地為盲人朋友和老年人提供新聞信息，豐富他們的日常生活。

附圖說明

圖 1 為本發(fā)明一種自動識別和朗讀藥品說明書的方法的步驟框圖。

圖 2為本發(fā)明一種自動識別和朗讀藥品說明書的方法中識別說明書的步驟框圖。

具體實施方式

以下結(jié)合后附圖和實例對本發(fā)明的具體實施作進一步說明，但本發(fā)明的實施和保護不限于此。

如圖1所示，本實例的一種自動識別和朗讀藥品說明書的方法，采用具有攝像頭、處理器、語音播放模塊的識別系統(tǒng)，包括如下步驟：

（1）識別說明書，系統(tǒng)通過拍攝一張藥品說明書的圖片，自動識別國藥準(zhǔn)字并以此通過調(diào)用互聯(lián)網(wǎng)接口獲取具體藥品信息；

（2）旋轉(zhuǎn)文本校正，通過霍夫直線檢測算法實現(xiàn)基于傅里葉變換的旋轉(zhuǎn)文本校正，將拍攝得到有旋轉(zhuǎn)偏差的文本旋轉(zhuǎn)至水平；

（3）紙張翻轉(zhuǎn)檢測，通過識別藥品說明書上是否有文字來檢測紙張是否翻轉(zhuǎn)，并通過語音提示將翻轉(zhuǎn)的紙張翻轉(zhuǎn)回來；

（4）文本翻轉(zhuǎn)檢測，通過同時識別經(jīng)過旋轉(zhuǎn)文本校正的圖片和翻轉(zhuǎn)180°后得到的圖片獲取國藥準(zhǔn)字；

（5）獲取藥品信息，通過調(diào)用互聯(lián)網(wǎng)提供的藥品信息接口，上傳識別得到的國藥準(zhǔn)字并返回藥品信息；

（6）語音喚醒，通過使用語音喚醒庫設(shè)定喚醒短語，將系統(tǒng)從睡眠狀態(tài)喚醒過來；

（7）語音合成，通過使用語音合成庫，將藥品的文本信息朗讀出來。

作為實例，利用文本旋轉(zhuǎn)15°后的照片進行測試，可以看出經(jīng)過旋轉(zhuǎn)文本校正，圖片已經(jīng)旋轉(zhuǎn)至水平放置，能夠很好地確保后續(xù)識別說明書的準(zhǔn)確性。

如圖2，步驟（1）包括如下步驟：

（1.1）分析連通區(qū)域，檢測出字符區(qū)域的區(qū)域輪廓和子輪廓，集成為區(qū)塊域；

（1.2）找到塊區(qū)域，檢測出字符輪廓，得到文本行；再通過空格得到單詞；

（1.3）找文本行和單詞，采用自適應(yīng)分類器，分析單詞；進行兩次單詞分析；

（1.4）得出識別文本，識別含有模糊的空格，筆畫高度，小寫字母。

步驟（2）包括如下步驟：

（2.1）以灰度方式讀入原文件；

（2.2）將圖像擴展到合適的尺寸以方便快速變換；

（2.3）進行DFT運算，分別計算實部和虛部；

（2.4）對數(shù)據(jù)進行適當(dāng)調(diào)整，考慮到幅度變化范圍很大，還要用log函數(shù)把數(shù)值范圍縮小；

（2.5）移動中心，DFT運算的結(jié)果低頻部分位于四角，高頻部分在中心，因此要把把低頻部分移動到中心；

（2.6）圖像校正，先將得到的傅里葉頻譜進行二值化，接下來檢測直線，然后找到符合條件的那條斜線并獲取角度，接著進行角度轉(zhuǎn)換，最后對圖像進行校正。

步驟（1）中，還包括，精簡識別字庫，只保留關(guān)鍵字，再進行訓(xùn)練，提高識別準(zhǔn)確率和識別速度；同時也能識別國外的進口藥。張翻轉(zhuǎn)檢測，通過識別藥品說明書上是否有文字來檢測紙張是否翻轉(zhuǎn)，并通過語音提示將翻轉(zhuǎn)的紙張翻轉(zhuǎn)回來。文本翻轉(zhuǎn)檢測，通過同時識別經(jīng)過旋轉(zhuǎn)文本校正的圖片和翻轉(zhuǎn)180°后得到的圖片獲取國藥準(zhǔn)字，避免文本翻轉(zhuǎn)后識別不出正確結(jié)果。

作為實例，為了便于拍攝照片，拍攝得到的原始圖片文字并不是水平放置的。為了正確識別，需要將照片順時針旋轉(zhuǎn)90°后才可以進行識別。由于本作品中只需要識別出國藥準(zhǔn)字的編號，因此在字庫中只添加了阿拉伯?dāng)?shù)字“0-9”，大寫字母“H、Z、S、B、T、F、J”，和漢字“藥名稱成分性狀功能主治法量不良反應(yīng)禁忌注意事項物相互作用貯藏包裝有效期執(zhí)行標(biāo)批準(zhǔn)文號說明書修期生產(chǎn)企業(yè)國準(zhǔn)字”。盡管識別出的信息看似沒有邏輯，其實這樣做有以下兩點好處。優(yōu)點一：字庫小，識別速度快；優(yōu)點二：限定關(guān)鍵詞，相當(dāng)于做了一層過濾，提高了識別準(zhǔn)確率。用本次方法訓(xùn)練得到的字庫進行識別，識別一張說明書只要5s左右，而用默認的中文字庫進行識別則要1min左右，識別速度大大提高。而且本作品只要識別匹配國藥準(zhǔn)字的編號，由結(jié)果可以看出已經(jīng)很好地識別出“準(zhǔn)字Z44022935”，因而下面的操作可以通過“Z44022935”參數(shù)調(diào)用云端接口獲取藥品的詳細信息。

通過調(diào)用互聯(lián)網(wǎng)所提供的藥品信息接口，返回“加味藿香正氣丸”的藥品信息?？梢钥闯龇祷氐脑夹畔⑹荍SON字符串，并且含有許多符號，因此要經(jīng)過處理后才能將文字讀出來。這里用到了正則表達式，分別將原始信息處理成查看用的和給語音合成程序用的文本?？梢钥吹贸鎏幚斫Y(jié)果良好，而且處理速度也十分快。