基于自組織神經(jīng)網(wǎng)絡(luò)的科技成果轉(zhuǎn)移預(yù)測(cè)模型與仿真

王春嬉， 甘娟， 馬龍

(西安航空學(xué)院 經(jīng)濟(jì)管理學(xué)院，陜西 西安 710077)

0 引言

近年來(lái)，我國(guó)對(duì)于科技創(chuàng)新的支持力度不斷加大?？茖W(xué)技術(shù)是第一生產(chǎn)力，全方位提升科技創(chuàng)新的各個(gè)流程對(duì)于我國(guó)科技興國(guó)的戰(zhàn)略具有重要意義。隨著科技產(chǎn)業(yè)的規(guī)范化，科技項(xiàng)目、成果的轉(zhuǎn)化效率受到了更多的重視。與基礎(chǔ)研究不同，一個(gè)科技成果只有創(chuàng)造出社會(huì)和經(jīng)濟(jì)效益才有更大的研究?jī)r(jià)值。因此需要將科技成果的轉(zhuǎn)移預(yù)測(cè)進(jìn)行前置，在科技項(xiàng)目立項(xiàng)前就進(jìn)行完備的可行性評(píng)估，保證科技項(xiàng)目的實(shí)用價(jià)值[1-6]。據(jù)統(tǒng)計(jì)，我國(guó)每年均會(huì)產(chǎn)生大量的科技論文、科學(xué)專利。然而與發(fā)達(dá)國(guó)家相比，我國(guó)的專利轉(zhuǎn)化率僅有10%，遠(yuǎn)低于歐美發(fā)達(dá)國(guó)家50%-60%。大量的科技成果僅僅停留在理論研究階段，嚴(yán)重脫離社會(huì)生產(chǎn)實(shí)際，因此迫切需要提高科技成果的轉(zhuǎn)化效率[7-13]。

綜合以上分析，本文結(jié)合科技成果轉(zhuǎn)移的流程與當(dāng)前的科技產(chǎn)業(yè)發(fā)展背景，提取了影響科技成果轉(zhuǎn)移效率的相關(guān)影響變量。基于自組織神經(jīng)網(wǎng)絡(luò)構(gòu)建科技成果轉(zhuǎn)移效率的預(yù)測(cè)模型，然后搜集主流的科技行業(yè)實(shí)際科技項(xiàng)目相關(guān)數(shù)據(jù)進(jìn)行模型的效果仿真[14-16]。

1 理論基礎(chǔ)

1.1 自組織神經(jīng)網(wǎng)絡(luò)

對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元及隱藏層的數(shù)目均是固定的，訓(xùn)練過程中只會(huì)改變模型前向傳播的權(quán)重和偏置；此外，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)對(duì)于高特征維度的訓(xùn)練任務(wù)適應(yīng)性較差，會(huì)因?yàn)檩斎胩卣骶S度的增長(zhǎng)造成網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化以及網(wǎng)絡(luò)的過擬合。因此對(duì)于高維數(shù)據(jù)的輸入需要首先完成到低維空間的映射，以降低網(wǎng)絡(luò)的復(fù)雜度。自組織神經(jīng)網(wǎng)絡(luò)(SOM)既可以保留樣本之間的拓?fù)溆成?，又能夠降低輸入特征空間的維度，其內(nèi)部連接如圖1所示。

圖1 自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖1給出了一個(gè)二維輸入，3×3輸出的自組織神經(jīng)網(wǎng)絡(luò)。在SOM網(wǎng)絡(luò)中，其關(guān)鍵步驟包含2步：首先是數(shù)據(jù)信號(hào)沿著神經(jīng)元和神經(jīng)的正向傳播。通過正向傳播，網(wǎng)絡(luò)得到當(dāng)前輸入樣本下的輸出值；其次是誤差的反向傳播，每一次的正向傳播后，網(wǎng)絡(luò)會(huì)比對(duì)實(shí)際輸出與期望輸出，將誤差反饋至神經(jīng)元和神經(jīng)，進(jìn)行傳播參數(shù)的調(diào)整。因此，SOM網(wǎng)絡(luò)訓(xùn)練的關(guān)鍵在于傳播參數(shù)的調(diào)整策略的獲取。

對(duì)于d維數(shù)據(jù)，當(dāng)SOM網(wǎng)絡(luò)的輸出維含有M=m×m個(gè)神經(jīng)元，則每個(gè)維度的數(shù)據(jù)均要對(duì)應(yīng)一個(gè)權(quán)重向量。此時(shí)，權(quán)重向量的維度也為d，M則可表示為式(1)。

W={wi|wi∈Rd,i=1,…,M}

(1)

SOM網(wǎng)絡(luò)經(jīng)過多次迭代進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，每一次迭代均包含競(jìng)爭(zhēng)、合作2個(gè)過程。通過競(jìng)爭(zhēng)找到最佳匹配單元為式(2)。

(2)

其中，x(t)代表第t次迭代的輸入。競(jìng)爭(zhēng)完成后，對(duì)最佳匹配單元和鄰域的神經(jīng)元權(quán)重進(jìn)行調(diào)整，實(shí)現(xiàn)網(wǎng)絡(luò)的自組織為式(3)。

wi(t+1)=wi(t)+hci(t)[x(t)-wi(t)]

(3)

式中，用hci(t)定義該神經(jīng)元鄰域內(nèi)用于保存拓?fù)潢P(guān)系的更新機(jī)制。對(duì)于二維網(wǎng)格，其鄰域范圍如圖2所示。

圖2 二維網(wǎng)格的合作示意圖

圖中，圓形區(qū)域內(nèi)的神經(jīng)元即為最佳神經(jīng)元的合作神經(jīng)元。本文的更新機(jī)制采用的是高斯函數(shù)，即式(4)。

(4)

自組織網(wǎng)絡(luò)在訓(xùn)練過程中不斷調(diào)整每個(gè)節(jié)點(diǎn)連接的權(quán)值，從而篩選出更多的獲勝神經(jīng)元。并通過合作保持獲勝神經(jīng)元在與鄰域內(nèi)其他神經(jīng)元的聯(lián)系，從而保證網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)穩(wěn)定。

1.2 SOM誤差反向傳播訓(xùn)練

自組織神經(jīng)網(wǎng)絡(luò)通常采用1.1中所述的自適應(yīng)過程進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。這一訓(xùn)練過程具有較好的抗干擾性和輸出結(jié)果的穩(wěn)定性，但計(jì)算復(fù)雜度較高，模型的輸出結(jié)果在輸入模式較少時(shí)與輸入樣本的輸入順序相關(guān)性較高。因此為了獲得網(wǎng)絡(luò)參數(shù)的最優(yōu)調(diào)整策略，本文引入了誤差的反向傳播算法，輔助網(wǎng)絡(luò)的訓(xùn)練。對(duì)于神經(jīng)網(wǎng)絡(luò)，其輸出層的輸出可記為式(5)。

ok=f(netk),k=1,2,3,…,l

(5)

其中,netk為式(6)。

(6)

在神經(jīng)網(wǎng)絡(luò)的隱藏層為式(7)。

yj=f(netj),j=1,2,…,m

(7)

其中,netj為式(8)。

(8)

在誤差反向傳播時(shí)，對(duì)于輸入向量[x1,x2,x3,…,xp]，結(jié)合其訓(xùn)練樣本存在理想的輸入目標(biāo)向量[d1,d2,d3,…,dp]。在網(wǎng)絡(luò)的正向傳播下，網(wǎng)絡(luò)存在輸出值(xp，yp)。此時(shí)，可以得到網(wǎng)絡(luò)的實(shí)際輸出和訓(xùn)練樣本的理想輸出均方差為式(9)。

(9)

對(duì)于網(wǎng)絡(luò)的每一個(gè)訓(xùn)練樣本，計(jì)算其均方差，可得到整個(gè)網(wǎng)絡(luò)的總誤差為式(10)。

(10)

根據(jù)梯度下降準(zhǔn)則，對(duì)于權(quán)值向量ωsp則有式(11)。

(11)

根據(jù)誤差的反向傳播，在輸出層和隱藏層對(duì)權(quán)值進(jìn)行修正，記t為模型訓(xùn)練的迭代次數(shù)，則輸出層為式(12)。

(12)

(13)

(14)

同理，可得到隱藏層的權(quán)重調(diào)整計(jì)算式為式(15)。

(15)

(16)

(17)

2 方法實(shí)現(xiàn)

2.1 評(píng)價(jià)指標(biāo)體系構(gòu)建

科技項(xiàng)目是高新技術(shù)企業(yè)的核心生產(chǎn)力，提前評(píng)估科技成果的轉(zhuǎn)移效率對(duì)于高新企業(yè)進(jìn)行項(xiàng)目前期投入與后期融資具有重要意義。為了合理評(píng)估科技項(xiàng)目的轉(zhuǎn)移效率，需要構(gòu)建合理的評(píng)價(jià)體系。本文從我國(guó)風(fēng)險(xiǎn)投資的發(fā)展現(xiàn)狀出發(fā)，結(jié)合科技項(xiàng)目評(píng)估的前期、中期、后期及跟蹤評(píng)價(jià)4個(gè)流程。從科技成果項(xiàng)目本身、承擔(dān)科技成果項(xiàng)目的企業(yè)能力、科技項(xiàng)目的經(jīng)濟(jì)可行性和成果項(xiàng)目管理團(tuán)隊(duì)4個(gè)角度，建立了預(yù)測(cè)評(píng)價(jià)體系如圖3所示。

(a)

根據(jù)圖3可知，在使用自組織神經(jīng)網(wǎng)絡(luò)進(jìn)行成果的轉(zhuǎn)移預(yù)測(cè)時(shí)，采用分級(jí)的指標(biāo)體系，共包括4個(gè)一級(jí)指標(biāo)和14個(gè)二級(jí)指標(biāo)。在劃分一級(jí)指標(biāo)時(shí)，從科技項(xiàng)目的風(fēng)險(xiǎn)、項(xiàng)目承擔(dān)企業(yè)的經(jīng)營(yíng)績(jī)效、項(xiàng)目經(jīng)濟(jì)可行性、項(xiàng)目管理團(tuán)隊(duì)水平4個(gè)角度出發(fā)；在劃分二級(jí)指標(biāo)時(shí)共包含R0-R3、Q0-Q2、W0-W3、T0-T2等14個(gè)輸入特征。

結(jié)合這些輸入特征，本文進(jìn)行模型訓(xùn)練和測(cè)試樣本的搜集。文中獲取、統(tǒng)計(jì)2013—2019年之間航空、生物、計(jì)算機(jī)、芯片、電子、通信6個(gè)行業(yè)75家企業(yè)的724個(gè)科技成果從立項(xiàng)到發(fā)布過程中的各項(xiàng)投入及獲利情況，并對(duì)這些企業(yè)的生產(chǎn)經(jīng)營(yíng)狀況與承擔(dān)科技項(xiàng)目運(yùn)營(yíng)的團(tuán)隊(duì)進(jìn)行統(tǒng)計(jì)，將這些數(shù)據(jù)作為模型訓(xùn)練和測(cè)試的樣本集。

2.2 仿真環(huán)境設(shè)計(jì)

基于以上的數(shù)據(jù)集和模型，對(duì)算法的仿真環(huán)境與模型參數(shù)進(jìn)行設(shè)計(jì)。由于本文在模型仿真時(shí)涉及的數(shù)據(jù)集規(guī)模較小，對(duì)于計(jì)算機(jī)硬件的水平要求較低。文中使用的模型仿真環(huán)境如表1所示。

表1 算法仿真環(huán)境

對(duì)于自組織神經(jīng)網(wǎng)絡(luò)需要結(jié)合模型的訓(xùn)練數(shù)據(jù)集的規(guī)模、輸入的特征數(shù)、輸出結(jié)果合理設(shè)置模型的參數(shù)。其中，最重要的參數(shù)包括權(quán)值的調(diào)整策略、學(xué)習(xí)率、鄰域函數(shù)等。網(wǎng)絡(luò)的建立包括排序和收斂?jī)蓚€(gè)階段，通常將前1 000次訓(xùn)練作為排序階段。經(jīng)過排序階段將神經(jīng)元之間的連接權(quán)值置為有序；然后在收斂階段降低模型的學(xué)習(xí)率，直至接近于0，以保證模型的訓(xùn)練誤差穩(wěn)定在可接受的范圍內(nèi)。結(jié)合自組織網(wǎng)絡(luò)的訓(xùn)練特性以及本文模型的應(yīng)用場(chǎng)景，文中模型的訓(xùn)練參數(shù)設(shè)置如表2所示。

表2 自組織網(wǎng)絡(luò)參數(shù)設(shè)置

2.3 算法仿真結(jié)果

本文以科技成果轉(zhuǎn)化后的實(shí)際社會(huì)收益作為評(píng)估模型的預(yù)測(cè)效率輸出結(jié)果，以模型的預(yù)測(cè)誤差作為模型性能的評(píng)價(jià)指標(biāo)。為了對(duì)比不同模型間的性能，本文實(shí)驗(yàn)部分的仿真環(huán)境采用機(jī)器學(xué)習(xí)算法中經(jīng)典的訓(xùn)練樣本和測(cè)試樣本以2.5∶1的比例來(lái)劃分?jǐn)?shù)據(jù)集。在仿真過程中，使用全部樣本中524個(gè)項(xiàng)目作為模型的訓(xùn)練樣本，使用剩余200個(gè)項(xiàng)目作為模型的測(cè)試樣本。

為了更優(yōu)的評(píng)估算法的性能，本文選擇當(dāng)前科技成果評(píng)估中常用的模糊分析算法作為對(duì)比評(píng)價(jià)算法。模糊分析算法與文中算法在不同行業(yè)中對(duì)于科技成果預(yù)測(cè)的誤差如表3所示。

從表3可以看出，本文算法在預(yù)測(cè)誤差上較模糊分析法有較大程度的優(yōu)化?？萍柬?xiàng)目的平均相對(duì)誤差來(lái)看，模糊分析法的平均誤差為13.72%，文中算法誤差為7.31%，降低了6.41%。從行業(yè)類別來(lái)看，兩個(gè)算法對(duì)于航空業(yè)的預(yù)測(cè)精度最高，對(duì)于計(jì)算機(jī)、芯片行業(yè)預(yù)測(cè)精度較低。從行業(yè)發(fā)展的角度看，航空業(yè)雖為高科技行業(yè)，但行業(yè)發(fā)展較為成熟、科技成果的評(píng)價(jià)體系較為完善?？萍汲晒酁檎笮推髽I(yè)直接參與，本身就有較高的成果轉(zhuǎn)換率，因此具有更高的預(yù)測(cè)精度；而計(jì)算機(jī)、芯片行業(yè)是朝陽(yáng)產(chǎn)業(yè)，其科技產(chǎn)品創(chuàng)新性較強(qiáng)，需要更多的時(shí)間接受市場(chǎng)的檢驗(yàn)。

表3 算法誤差統(tǒng)計(jì)(按行業(yè))

為了評(píng)估科技成果轉(zhuǎn)移效率隨著時(shí)間的變化情況，本文將訓(xùn)練、測(cè)試樣本按照成果轉(zhuǎn)移的年份進(jìn)行了統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表4和圖4所示。

表4 算法誤差統(tǒng)計(jì)(按年份)

圖4 算法誤差隨年份變化

從表4和圖4可以看出，本文算法在按年份統(tǒng)計(jì)時(shí)，誤差也優(yōu)于模糊評(píng)價(jià)法。從年份的變化來(lái)看，科技項(xiàng)目的轉(zhuǎn)化成果預(yù)測(cè)精度逐年降低。這說明隨著科技項(xiàng)目的投入增大，整個(gè)科技行業(yè)更加重視對(duì)于科技項(xiàng)目的調(diào)研、風(fēng)險(xiǎn)評(píng)估，這意味著整個(gè)高科技產(chǎn)業(yè)在向好的方向發(fā)展。

3 總結(jié)

科技成果的轉(zhuǎn)移是科技項(xiàng)目落地、產(chǎn)生社會(huì)價(jià)值的重要一環(huán)，本文從科技成果項(xiàng)目本身、承擔(dān)科技成果項(xiàng)目的企業(yè)能力、科技項(xiàng)目的經(jīng)濟(jì)可行性和成果項(xiàng)目管理團(tuán)隊(duì)管理水平等多個(gè)角度建立了科技成果的評(píng)估體系，基于自組織神經(jīng)網(wǎng)絡(luò)對(duì)科技成果的轉(zhuǎn)移效率進(jìn)行預(yù)測(cè)。從預(yù)測(cè)精度看，文中的預(yù)測(cè)值較現(xiàn)有的模糊評(píng)價(jià)算法有明顯的提升，可以為科技項(xiàng)目提供可靠、有效的可行性評(píng)估。