基于YOLO的簡譜自動識別

基金項目：2023年江蘇省大學生創(chuàng)新創(chuàng)業(yè)項目；項目編號：202313571010Z。

作者簡介：李少春（2002— ），男，本科生；研究方向：深度學習，機械電子工程。

摘要：隨著人工智能和計算機視覺的快速發(fā)展，樂譜識別已成為音樂信息識別領(lǐng)域的熱點研究話題之一。文章基于YOLO算法實現(xiàn)了吉他簡譜的自動識別，通過識別譜面上的音符坐標，實現(xiàn)輸入樂譜與檢索庫樂譜集的匹配?；赮OLO模型的處理能力和匹配效果，文章提出了基于YOLO的簡譜自動識別方法，建立了音符坐標匹配模型。對簡譜識別和匹配的仿真結(jié)果表明，該方法在準確性和效率上表現(xiàn)出色，驗證了該方法在音樂信息檢索和簡譜識別方面的有效性。

關(guān)鍵詞：簡譜；識別；YOLO；匹配

中圖分類號：TP29" 文獻標志碼：A

0" 引言

樂譜是音樂作品的重要表達形式之一，以可視化的方式記錄音樂的旋律、和聲以及節(jié)奏。在音樂學習和創(chuàng)作中，樂譜的獲取和分析至關(guān)重要。然而，傳統(tǒng)的樂譜識別和匹配方式依賴人工操作，效率較低，容易受到人為主觀因素的影響。因此，開發(fā)一種高效、準確、客觀的簡譜自動識別方法具有重要的實際意義。

隨著計算機視覺和深度學習技術(shù)的不斷發(fā)展，基于深度學習的目標檢測算法在許多領(lǐng)域得到了廣泛的研究和應用［1］。YOLO（You Only Look Once）是其中一種基于深度學習的目標檢測模型，憑借快速準確的特性而備受關(guān)注。YOLO檢測算法具有泛用性高、誤檢率低且檢測速度快等優(yōu)點［2］。本研究旨在探索基于YOLOv5的簡譜自動識別方法，通過識別譜面上的音符坐標，實現(xiàn)輸入樂譜和檢索庫樂譜集的匹配；通過對多個數(shù)據(jù)集進行測試和對比，驗證了該方法在簡譜識別和音樂信息檢索中的有效性和優(yōu)勢。結(jié)果表明，該方法在識別準確性和運行效率方面均表現(xiàn)出色，為簡譜處理和音樂信息檢索提供了一種新的解決方案。

1" YOLO模型介紹

YOLOv5是在YOLO系列算法的基礎上進行了改進和優(yōu)化，性能和精度都有了極大的提升［3］。在YOLOv5中，每一層都能將每一個物體的位置和類別進行分類。每個網(wǎng)絡層都能檢測出不同大小的物體，并逐層檢測出大物體，然后在這些檢測框中繼續(xù)檢測出較小的物體。YOLOv5將每個檢測框分解成9個框，每個框具有不同的預測結(jié)果，檢測到物體時會返回物體的大小、位置和類別。

在網(wǎng)絡架構(gòu)中，YOLOv5使用了標準的CNN，能夠通過C接口API從多層網(wǎng)絡中抽取特征。這種方法使檢測到的物體的整體框架結(jié)構(gòu)更加穩(wěn)定，且能夠正確預測物體的大小、位置信息和類別。此外，YOLOv5工作原理是基于卷積神經(jīng)網(wǎng)絡、網(wǎng)格視角和多尺度預測技術(shù)的目標檢測技術(shù)，快速準確地檢測目標物體［4］。

此外，YOLOv5沿用了YOLO系列的多尺度預測設計［5］，以更好地抓取物體的最佳大小。通過多尺度預測，網(wǎng)絡會選擇從較小物體到較大物體的路徑，從而更好地捕捉物體，更準確地計算物體的尺寸，并且在檢測時使用較大的網(wǎng)格。

2" 簡譜識別訓練過程

為了不干擾根目錄下的文件管理，可以在根目錄下單獨創(chuàng)建一個名為“guitar”的文件夾。在該文件夾內(nèi)，文件和文件夾應按照以下結(jié)構(gòu)命名：

（1）一個名為“images”的文件夾，用于存儲訓練和測試照片。該文件夾下應分別包含名為“train”和“test”的子文件夾，用于保存相應的訓練和測試照片。

（2）創(chuàng)建一個名為“l(fā)abels”的文件夾，用于存儲訓練和測試標注文件。請注意，YOLO只支持.txt文件格式的標注集。

2.1" 修改配置文件

首先，將-yolov5/data/coco128.yaml-文件復制并粘貼到-guitar-目錄下，并將文件名更改為-guitar_parameter.yaml-。其次，需調(diào)整參數(shù)-nc-和-names-。其中，-nc-表示標簽數(shù)量，-names-是標簽名稱。此外，-path-參數(shù)應設置為項目根目錄的絕對路徑，而-train-參數(shù)應指向-guitar-文件夾下的相對路徑。對于驗證集（-val-），可以使用與訓練集相同的路徑。

將yolov5/models/yolov5x.yaml復制、粘貼至guitar目錄下，更名為guitar_model.yaml，只將如下的nc修改為訓練集種類即可。由于在樂譜識別的例子中有不定量的標簽，故設置音符數(shù)量的最大值為40。

為了縮短網(wǎng)絡的訓練時間并提高模型精度，通常使用預訓練權(quán)重進行網(wǎng)絡訓練［6］。YOLOv5版本5.0提供了多種預訓練權(quán)重，用戶可以根據(jù)不同需求選擇不同版本的權(quán)重［7］。通過了解權(quán)重的名稱和大小信息，可以預見，權(quán)重越大，訓練出來的精度可能越高，但檢測速度可能會變慢。

2.2" 收集訓練圖像并處理

收集簡譜圖像數(shù)據(jù)集并對其進行標注，包括為每個簡譜圖像中的音符和休止符標注邊界框和類別標簽。此過程需要大量簡譜圖像，并對圖像文件進行重新命名，利用-labelme-工具對圖像進行標注，將標注結(jié)果存儲在-images-文件夾中。通常，訓練大約100張單行譜面圖像可以獲得較好的效果，這是由YOLO的識別原理和圖像分割的特性導致的。

3" 識別過程

3.1" 環(huán)境配置

本文使用Python編程語言以及YOLOv5代碼庫提供的解析器來處理命令行參數(shù)，以靈活配置模型訓練、驗證和測試的流程。根據(jù)YOLOV5官網(wǎng)的運行環(huán)境要求，Python版本為3.7。

為了使程序能夠接受靈活的參數(shù)配置，本文使用Python中的argparse庫提供的ArgumentParser（）類來創(chuàng)建參數(shù)解析器，使用YOLOv5模型進行目標檢測任務的程序設計［8］。通過使用Python編程語言和argparse庫提供的參數(shù)解析器，能夠靈活配置模型的訓練、驗證和測試流程，以滿足不同任務和數(shù)據(jù)集的需求。

參數(shù)解析器的設計和使用介紹向讀者展示了定義和解析各種命令行參數(shù)的方法，包括模型權(quán)重路徑、模型配置文件路徑、數(shù)據(jù)集配置文件路徑等。這些參數(shù)的靈活配置使得用戶可以輕松地調(diào)整模型的超參數(shù)和訓練設置，以獲得最佳的檢測性能。

3.2" 識別結(jié)果

簡譜的識別過程主要涉及以下幾個關(guān)鍵步驟：首先，需要準備簡譜圖像數(shù)據(jù)集，包括不同樂曲的簡譜圖像樣本。這些樣本應該覆蓋各種樂器、不同音符類型和大小的情況，并且標注對應的簡譜位置和類別信息。其次，在選擇模型時，本文采用YOLOv5作為簡譜識別的目標檢測模型。YOLOv5具有較高的檢測精度和較快的推理速度，在保證識別效果的同時能夠滿足實時性的要求。同時，利用準備好的簡譜圖像數(shù)據(jù)集，對YOLOv5模型進行訓練。在訓練過程中，通過反向傳播算法不斷調(diào)整模型的參數(shù)，使其能夠準確地檢測簡譜中的音符、符號和其他元素。再次，對YOLOv5模型進行調(diào)優(yōu)，以提高模型在簡譜數(shù)據(jù)上的識別性能。這包括調(diào)整模型的輸入大小、網(wǎng)絡結(jié)構(gòu)、學習率等超參數(shù)，并進行合適的數(shù)據(jù)增強操作。在簡譜識別的推理過程中，本文將訓練好的YOLOv5模型應用于待識別的簡譜圖像上。模型將對圖像進行前向傳播，生成預測結(jié)果，包括檢測到的音符位置和類別。通過分析預測結(jié)果，本文可以得到簡譜中每個音符的位置坐標和對應的音高信息。最后，本文可以對模型輸出的預測結(jié)果進行后處理，包括去除重復檢測、合并相鄰音符、校正位置偏差等操作，以提高識別結(jié)果的準確性和穩(wěn)定性。

通過以上步驟，本文可以實現(xiàn)基于YOLOv5模型的簡譜識別，識別結(jié)果如圖1所示。

簡譜識別完成后，接下來的關(guān)鍵步驟是將識別得到的簡譜信息輸出，以便后續(xù)單片機程序?qū)喿V進行解析和演奏。這一過程包括以下幾個環(huán)節(jié)。

首先，從YOLOv5模型的輸出結(jié)果中提取識別到的音符信息。這些信息包括音符的位置坐標、音高、音符類型（如音符、休止符、調(diào)號等）等。其次，根據(jù)識別到的音符信息，對簡譜圖像進行解析。這一步驟包括將音符位置映射到簡譜坐標系中，識別音符類型和時值，確定音符之間的時序關(guān)系和音高關(guān)系等。最后，將解析得到的簡譜信息存儲在合適的數(shù)據(jù)結(jié)構(gòu)中，以便后續(xù)的單片機程序進行讀取和處理。通?？梢允褂脭?shù)組、鏈表或其他數(shù)據(jù)結(jié)構(gòu)來存儲簡譜信息。每個音符對應一個數(shù)據(jù)結(jié)構(gòu)對象，包括音符類型、音高、時值、起始位置等屬性。

4" 結(jié)語

本文實現(xiàn)了基于YOLOv5的簡譜自動識別。該方法不僅有效提高了簡譜的識別效率和準確性，還為音樂信息檢索和簡譜處理提供了一種創(chuàng)新的解決方案。結(jié)果表明，該方法具有較高的識別效率和準確性，可在各種音樂應用場景中發(fā)揮作用，為后續(xù)的音樂信息檢索提供了堅實的基礎。

未來的研究中，研究人員可以繼續(xù)探索將這種方法應用于其他樂器的樂譜識別，從而進一步提升音樂學習和創(chuàng)作的效率。通過持續(xù)優(yōu)化算法和模型，期待在音樂領(lǐng)域創(chuàng)造更多智能化、自動化的解決方案，為" 音樂產(chǎn)業(yè)和音樂教育的發(fā)展作出貢獻。

參考文獻

［1］孫孚斌，朱兆優(yōu)，陳思超，等.基于改進YOLOv5的人臉檢測算法［J］.機電工程技術(shù)，2023（2）：172-176.

［2］高駿一，鄭榜貴，王穎雪，等.基于YOLOv5的超市自動取貨機器人設計與實現(xiàn)［J］.計算機時代，2023（11）：22-27，33.

［3］朱瑞鑫，楊福興.運動場景下改進YOLOv5小目標檢測算法［J］.計算機工程與應用，2023（10）：196-203.

［4］米佳豪，蔣權(quán).基于葉片數(shù)量與類別占比的香蕉樹長勢檢測［J］.現(xiàn)代信息科技，2023（23）：106-110，115.

［5］張明.基于YOLOv5算法的觀影人數(shù)檢測模型探索［J］.現(xiàn)代電影技術(shù)，2022（2）：42-46.

［6］汪陽.中藥飲片的智能檢測分類［D］.阜陽：阜陽師范大學，2023.

［7］付嬈.不確定背景下深基坑施工進度智能化動態(tài)預測研究［D］.哈爾濱：哈爾濱工業(yè)大學，2022.

［8］鄭楚偉，林輝.基于Swin Transformer的YOLOv5安全帽佩戴檢測方法［J］.計算機測量與控制，2023（3）：15-21.

（編輯" 王雪芬）

Automatic recognition of simplified notation based on YOLO

LI" Shaochun， HUANG" Ye， WU" Yang

（School of Intelligent Equipment Engineering， Wuxi Taihu University， Wuxi 214064， China）

Abstract：" With the rapid development of artificial intelligence and computer vision technology， music recognition has become one of the hot research topics in the field of music information retrieval and recognition. Based on YOLO algorithm， this paper studies and realizes the automatic recognition method of guitar simple score. By recognizing the note coordinates on the spectrum surface， the input score can be matched with the score set in the retrieval library. Methods considering the processing power of YOLO model and the effect of matching algorithm， an automatic recognition method based on YOLO is proposed， and a matching model of note coordinates is established. The simulation results show that this method is excellent in accuracy and efficiency， and the correctness and effectiveness of this method in music information retrieval and recognition of simplified music processing are verified.

Key words： numbered musical notation; recognition; YOLO; matching