文字識(shí)別技術(shù)在智慧教育中的應(yīng)用與思考

李進(jìn)豪

（1.廣東省海洋工程職業(yè)技術(shù)學(xué)校，廣州 510320；2.廣東生態(tài)工程職業(yè)學(xué)院，廣州 510520）

0 引言

隨著人工智能理論和技術(shù)的日益成熟，其應(yīng)用正日趨普及化，并為教育教學(xué)改革帶來一系列的創(chuàng)新應(yīng)用。調(diào)研表明，在教育教學(xué)過程中，教育工作者經(jīng)常需要對(duì)大量的文字、圖片等原始資料進(jìn)行處理，以便獲取教育教學(xué)管理或課堂教學(xué)等所需的信息。為了減輕教育工作者的常規(guī)工作量和提高工作效率，基于文字識(shí)別技術(shù)的智能應(yīng)用在教育教學(xué)過程中越來越多，其應(yīng)用優(yōu)化了教育過程和教學(xué)方式，助力教育實(shí)現(xiàn)了跨越式發(fā)展。

1 問題的提出

1.1 素材收集

作為廣東省教師信息技術(shù)應(yīng)用能力提升工程2.0專項(xiàng)科研課題主持人，在多技術(shù)融合應(yīng)用的推進(jìn)過程中，我們發(fā)現(xiàn)“素材收集”工作是每一位教育工作者都必須面對(duì)的，其工作量相對(duì)來說是較大的，耗費(fèi)了大量的時(shí)間與精力。調(diào)研表明，每一位教育工作者都期望能有智能小助手來協(xié)助處理一些枯燥、流程化的工作，把自己從“低效的工作”中解脫出來。例如，紙質(zhì)教材文字提取、外景拍攝圖片文字提取等。因此，基于文字識(shí)別技術(shù)的批量圖片文字智能提取是一項(xiàng)非常有意義的研究工作，有較強(qiáng)的實(shí)用價(jià)值，有利于助推多技術(shù)融合應(yīng)用的普及化。

1.2 自動(dòng)閱卷

作為廣東省職業(yè)教育名師工作室主持人（信息技術(shù)方向），有助推廣東省智慧教育前行的職責(zé)。在智慧教育的推進(jìn)過程中，我們發(fā)現(xiàn)隨著“翻轉(zhuǎn)課堂”教學(xué)模式的普及化，越來越多的有效互動(dòng)反饋都是基于測(cè)驗(yàn)（成果導(dǎo)向）來實(shí)現(xiàn)的。在測(cè)驗(yàn)中，我們需要處理大量的原始資料，以提取有效信息。對(duì)于職業(yè)教育來說，技能的培養(yǎng)是重中之重，而技能一般是需要學(xué)生親自動(dòng)手去操作的，其評(píng)價(jià)并不能用簡(jiǎn)單的文字題目來實(shí)現(xiàn)。例如，信息技術(shù)類技能測(cè)試的過程中，核心結(jié)果很多都是以圖片形式呈現(xiàn)，其反饋不是文字描述可以替代的。因此，基于文字識(shí)別技術(shù)智能提取圖片中的關(guān)鍵信息點(diǎn)是一項(xiàng)非常有價(jià)值的工作，有較高的研究價(jià)值，有利于助推智慧教育的大眾化。

2 基于Python的文字識(shí)別技術(shù)

2.1 文字識(shí)別技術(shù)

文字識(shí)別技術(shù)是指利用計(jì)算機(jī)自動(dòng)識(shí)別字符的技術(shù)，是模式識(shí)別應(yīng)用的一個(gè)重要領(lǐng)域。一般包括文字信息的采集、信息的分析與處理、信息的分類判別等幾個(gè)部分。

2.2 基于Python提取圖片文字的基本原理

（1）調(diào)用一種高效的文字識(shí)別技術(shù)。

（2）以二進(jìn)制格式打開一個(gè)圖片文件。

（3）讀取圖片文件的全部內(nèi)容。

（4）基于“OCR識(shí)別算法”識(shí)別文字。

（5）輸出圖片上的所有可識(shí)別文字。

2.3 一種支持限量免費(fèi)使用的文字識(shí)別技術(shù)

2.3.1 百度智能云通用文字識(shí)別

基于業(yè)界領(lǐng)先的深度學(xué)習(xí)技術(shù)，提供多場(chǎng)景、多語種、高精度的整圖文字檢測(cè)和識(shí)別服務(wù)，基于接口支持限量的免費(fèi)使用（免費(fèi)賬號(hào)）。如果需要獲得更多的技術(shù)支持，可使用付費(fèi)賬號(hào)。

2.3.2 核心技術(shù)

（1）調(diào)用AipOcr。

from aip import AipOcr

（2）打開圖片文件（二進(jìn)制）。

with open（mypicfilename,′rb′）as myf:

（3）讀取圖片文件的信息。

myimg=myf.read（）

（4）識(shí)別文字（調(diào)用接口函數(shù)）。

mymsg=client.basicGenera（lmyimg）

（5）循環(huán)獲取所有的文字。

for i in mymsg.ge（t′words_result′）:

myxx=myxx+i.ge（t′words′）

3 應(yīng)用案例1：素材收集之文字獲取

3.1 需求

在基于多技術(shù)融合的教育教學(xué)過程中，我們常需要批量提取紙質(zhì)教材的文字、批量提取外景拍攝圖片的文字等。例如，提取已經(jīng)拍攝好的30張外景圖片中的文字，并按指定的順序合成為一個(gè)文本文件（或docx文檔）。

需求來源：名師工作室專項(xiàng)課題（基于Python的文字自動(dòng)識(shí)別系統(tǒng)的研究）。

3.2 基本原理

3.2.1 基礎(chǔ)工作

基于掃描或拍攝將需要提取文字的圖片按一定的順序排序（此順序一般將是批量識(shí)別的順序，會(huì)將影響文件中的文字順序），并復(fù)制到文字識(shí)別小程序的指定文件夾（例如input文件夾）。

3.2.2 智能提取

（1）按順序智能讀取每一張圖片。

（2）基于Python 的文字識(shí)別技術(shù)識(shí)別圖片中的所有文字。

（3）以追加模式寫入指定文件夾中的文件中（例如output文件夾）。

3.2.3 后期編輯

在文字處理軟件中讀取文件中的所有文字，核查并編輯即可完成文字素材的獲取。

3.3 基于Python的核心代碼

3.3.1 調(diào)用AipOcr

3.3.2 循環(huán)讀取指定文件夾下的所有圖片文件

3.3.3 識(shí)別所有的文字

3.4 應(yīng)用案例

3.4.1 圖片（文件名：環(huán)山徑簡(jiǎn)介.jpg）

圖1 環(huán)山徑簡(jiǎn)介

3.4.2 文字識(shí)別結(jié)果（文件名：環(huán)山徑簡(jiǎn)介.txt）

圖2 文字識(shí)別結(jié)果

3.5 思考

（1）為了提升圖片的文字識(shí)別正確率，需要盡可能提高圖片的清晰度與可辨認(rèn)性。必要時(shí)，建議使用圖片處理軟件（例如Photoshop）對(duì)圖片進(jìn)行預(yù)處理。

（2）執(zhí)行接口函數(shù)basicGenera（l）時(shí)，由于存在網(wǎng)絡(luò)延時(shí)，因此有時(shí)會(huì)因?yàn)闊o法及時(shí)返回結(jié)果而導(dǎo)致程序中的后續(xù)語句出錯(cuò)。建議：在該語句之后使用延時(shí)語句time.sleep（）解決。

（3）如果一次需要識(shí)別多個(gè)“批量圖片”，而且需要等待的時(shí)間較長。建議：將不同的“批量圖片”放在不同的文件夾中來實(shí)現(xiàn)。

（4）如果需要將識(shí)別結(jié)果直接保存為docx 格式，則將打開txt文件改為打開docx文件，其原理相似。

（5）百度智能云通用文字識(shí)別的免費(fèi)使用次數(shù)對(duì)于普通教學(xué)應(yīng)用是足夠的（非營利性質(zhì)）。特殊的應(yīng)用場(chǎng)景，如果有需要，可采用付費(fèi)模式解決。

（6）如果涉及保密信息，不建議使用調(diào)用“接口”的免費(fèi)自動(dòng)文字識(shí)別功能。

4 應(yīng)用案例2：自動(dòng)閱卷之圖片關(guān)鍵信息點(diǎn)智能提取

4.1 需求

職業(yè)教育教學(xué)過程中的技能測(cè)試，測(cè)試的結(jié)果很多都不是可以用文字描述來替代的。例：《信息技術(shù)》課程的文檔操作之“查找與替換”，我們需要知道的是學(xué)生的操作過程，而該操作過程的核心結(jié)果用截圖的形式來呈現(xiàn)是比較科學(xué)的。為了實(shí)現(xiàn)自動(dòng)閱卷，我們可以通過提取圖片的關(guān)鍵信息點(diǎn)來判斷學(xué)生的操作是否正確。如果有需要，可以通過判斷多張圖片（系列操作的圖片）來確認(rèn)，以提高自動(dòng)閱卷的可靠性。

需求來源：名師工作室專項(xiàng)課題（基于Python的自動(dòng)閱卷系統(tǒng)的研究）。

4.2 基本原理

4.2.1 基礎(chǔ)工作

（1）每一位學(xué)生用自己的“姓名+學(xué)號(hào)”創(chuàng)建一個(gè)文件夾，所有操作截圖（技能點(diǎn)）均按測(cè)試指定的文件名保存（文件名錯(cuò)誤，視為0分）。

（2）教師設(shè)定自動(dòng)閱卷時(shí)每一個(gè)技能點(diǎn)（操作截圖）所需要判斷的關(guān)鍵信息點(diǎn)，存放在參考答案的文件中（例如xlsx文件）。

（3）將學(xué)生的考試文件夾合并后存放在自動(dòng)閱卷小程序指定的文件夾中（例如ksinput）。

4.2.2 自動(dòng)閱卷

（1）自適應(yīng)讀取學(xué)生文件下的每一個(gè)文件（操作截圖）。

（2）判斷文件名是否為有效文件名。如果文件名不是參考答案中需要檢測(cè)的文件，則視為無效文件。

（3）智能判斷。如果文件名是參考答案中需要檢測(cè)的文件，則自動(dòng)提取該操作截圖的關(guān)鍵信息點(diǎn)并與參考答案中的關(guān)鍵信息點(diǎn)相比較。如果完全一致，則認(rèn)為該技能點(diǎn)可以得分，否則視為0分。

（4）循環(huán)讀取并完成對(duì)所有文件的智能判斷，累計(jì)得分即為學(xué)生本次技能測(cè)試的成績。

（5）將成績保存在指定的考試成績文件中。

（6）按上述原理，循環(huán)讀取所有學(xué)生的文件，即完成自動(dòng)閱卷。

4.2.3 后期工作

根據(jù)需要處理考試成績文件。若有規(guī)范性要求，則可使用Python 附加小程序來處理。例如：成績排序、成績分析等。

4.3 基于Python的核心代碼

4.3.1 提取圖片關(guān)鍵信息

核心代碼：與應(yīng)用案例1相同。

注意事項(xiàng)：如果需要識(shí)別的信息較多且沒有專項(xiàng)經(jīng)費(fèi)支持（校內(nèi)使用，非營利性質(zhì)），在允許的情況下可申請(qǐng)多個(gè)百度智能云通用文字識(shí)別賬號(hào)（免費(fèi)賬號(hào)）；有可能的情況下，建議使用付費(fèi)賬號(hào)，以便獲得更多的技術(shù)支持。

4.3.2 判斷圖片文件是否為有效文件

4.4 應(yīng)用案例

4.4.1 圖片（文件名：查找與替換.jpg）

圖3 查找與替換

4.4.2 關(guān)鍵信息點(diǎn)（9個(gè)）

查找與替換、查找內(nèi)容、工作室、替換為、名師工作室、替換、全部替換、查找下一處、取消。

4.4.3 智能提取結(jié)果（文件名：查找與替換.txt）

圖4 智能提取結(jié)果

4.5 思考

（1）自動(dòng)閱卷小程序的可靠性主要依賴于技能點(diǎn)之“操作截圖”選擇的合理性和“關(guān)鍵信息點(diǎn)”選擇的科學(xué)性。

（2）因?yàn)樗械膱D片均來源于截圖，其文字識(shí)別的正確率較高，無需對(duì)圖片進(jìn)行預(yù)處理。建議：學(xué)生規(guī)范化操作（截圖），以免因?yàn)樽R(shí)別問題而導(dǎo)致成績存在爭(zhēng)議。

（3）建議：“操作截圖”界面上盡量有一些標(biāo)志性的文字，以提升自動(dòng)閱卷的可信度。

（4）建議：在真正使用前，教師對(duì)所有的題目進(jìn)行一次模擬操作，在生成技能點(diǎn)“操作截圖”之后進(jìn)行一次“嘗試性”自動(dòng)閱卷，以保證技能點(diǎn)“操作截圖”選擇的合理性和“關(guān)鍵信息點(diǎn)”選擇的科學(xué)性。

（5）基于文字識(shí)別有時(shí)可能存在不可預(yù)測(cè)性。建議：在模擬操作的基礎(chǔ)上，對(duì)閱卷時(shí)所需的“關(guān)鍵信息點(diǎn)”進(jìn)行優(yōu)化，以彌補(bǔ)文字識(shí)別可能存在的偏差。

（6）自動(dòng)閱卷對(duì)文件名的要求較高。建議：文件名盡可能使用大寫字母，盡量避免使用有“爭(zhēng)議性”的字符。

（7）Python 支持對(duì)多種類型文件的“強(qiáng)”讀寫功能。以docx 文檔為例，除了可以讀取文件的內(nèi)容外，還可以讀取其文檔格式。因此，在自動(dòng)閱卷過程中，若有需要可以直接讀取文件的相關(guān)信息，輔以判斷操作結(jié)果的正確性。

（8）如果需要將自動(dòng)閱卷小程序發(fā)放到學(xué)生端，則可以將參考答案做加密的預(yù)處理。

5 實(shí)踐效果分析

5.1 素材收集

5.1.1 應(yīng)用場(chǎng)景

（1）案例。30 張圖片，每張圖片平均約200個(gè)漢字，合計(jì)約6000個(gè)漢字。

（2）人工錄入（某教學(xué)團(tuán)隊(duì)平均速度）。錄入速度每分鐘約50個(gè)漢字。

（3）自動(dòng)識(shí)別（文字識(shí)別小程序）。每張圖片約2秒。

5.1.2 效果分析

（1）人工錄入。理論上所需時(shí)間約7200 秒，實(shí)際時(shí)間會(huì)更長。

（2）自動(dòng)識(shí)別。理論上所需時(shí)間約60秒，實(shí)際時(shí)間相近。

（3）效果分析。在素材收集方面，文字自動(dòng)識(shí)別技術(shù)的應(yīng)用是非常有效的，有助于提升教師的幸福感和成就感。

5.2 自動(dòng)閱卷

5.2.1 應(yīng)用場(chǎng)景

（1）案例。30 位學(xué)生，每位學(xué)生有20 張圖片，合計(jì)600張圖片。

（2）人工閱卷（某教學(xué)團(tuán)隊(duì)平均速度）。每張圖片平均需要10秒（含簡(jiǎn)易成績錄入等）。

（3）自動(dòng)識(shí)別（自動(dòng)閱卷小程序）。每張圖片約2秒。

5.2.2 效果分析

（1）人工閱卷。理論上所需時(shí)間約6000 秒，實(shí)際時(shí)間會(huì)更長。

（2）自動(dòng)閱卷。理論上所需時(shí)間約1200 秒，實(shí)際時(shí)間相近。

（3）效果分析。在閱卷方面，文字自動(dòng)識(shí)別技術(shù)的應(yīng)用同樣是非常有效的。但由于閱卷過于標(biāo)準(zhǔn)化，在個(gè)性化評(píng)分方面略有不足。

6 結(jié)語

在智慧教育中應(yīng)用文字識(shí)別技術(shù)，有利于提高工作效率，有利于開啟智慧教育的創(chuàng)新模式。文中提及的代碼全部在“Office 2016+Python 3.8.3”環(huán)境下調(diào)試通過，并應(yīng)用于實(shí)際工作中，效果好。