提示工程師的工作方法研究

傅瑞明

中博信息技術(shù)研究院有限公司

0 引言

隨著人工智能技術(shù)的快速發(fā)展，生成式人工智能（Generative AI）已成為備受關(guān)注的研究方向。借助大量數(shù)據(jù)和強(qiáng)大的算力，生成式人工智能可以學(xué)習(xí)數(shù)據(jù)中的聯(lián)合概率分布，并根據(jù)用戶的輸入或提示生成全新的內(nèi)容。這種技術(shù)在文學(xué)、音樂、圖像、視頻、游戲等領(lǐng)域展現(xiàn)出了強(qiáng)大的能力和潛力，為數(shù)字內(nèi)容生產(chǎn)帶來(lái)了革命性的變化。

語(yǔ)言模型是生成式人工智能的關(guān)鍵技術(shù)之一，在自然語(yǔ)言處理（NLP）中扮演著重要角色，可以應(yīng)用于機(jī)器翻譯、文本摘要、問答系統(tǒng)等任務(wù)。近年來(lái)，隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的發(fā)展，預(yù)訓(xùn)練語(yǔ)言模型也取得了顯著進(jìn)步。其中，GPT（Generative Pre-trained Transformer）是一種基于Transformer架構(gòu)的自回歸語(yǔ)言模型，具有強(qiáng)大的生成能力和多技能特性。

然而，要充分利用大語(yǔ)言模型的潛力并不容易。由于市面上大語(yǔ)言模型能力參差不齊，邏輯推理能力普遍較弱，其輸出也可能存在錯(cuò)誤、偏差、不一致或不合理的情況。因此，如何與模型進(jìn)行有效交互，通過設(shè)計(jì)合適的輸入或提示，引導(dǎo)模型生成期望的內(nèi)容或完成特定的任務(wù)，成為一個(gè)重要而具有挑戰(zhàn)性的問題。

提示工程師（Prompt Engineer）的角色應(yīng)運(yùn)而生。提示工程師需要通過深入研究AI 技術(shù)和NLP 領(lǐng)域，掌握大模型的工作原理和機(jī)制，分析所要解決的問題，并設(shè)計(jì)合適的輸入或提示，使模型生成期望的內(nèi)容或完成特定的任務(wù)。如何將業(yè)務(wù)工作流與模型的生成能力結(jié)合，將會(huì)成為從事模型研究人員和懂業(yè)務(wù)人員的工作重點(diǎn)。

大語(yǔ)言模型行業(yè)落地需要的是將企業(yè)業(yè)務(wù)邏輯與模型能力結(jié)合，但目前模型很難具備該方面的能力。因此，尋找到高效快捷、具備性價(jià)比的模型落地方式是企業(yè)的當(dāng)務(wù)之急。

本文旨在探討提示工程師的工作方法，從而提高與大模型的交互效率和生成結(jié)果的質(zhì)量，避開模型訓(xùn)練微調(diào)這種大資源投入的方式，也為企業(yè)落地大模型應(yīng)用提供更簡(jiǎn)單、低成本的思路。本文介紹的提示工程師的工作流程和方法，包括輸入設(shè)計(jì)、Prompt 編寫、輸出分析等環(huán)節(jié)，并結(jié)合案例對(duì)提示語(yǔ)編寫進(jìn)行分析和說(shuō)明。最后，本文將對(duì)未來(lái)的研究方向進(jìn)行展望，并提出一些建議，以便更好地應(yīng)用生成式人工智能技術(shù)。本文的研究意義在于，通過深入研究提示工程師的工作方法，可以幫助人們更好地理解生成式人工智能技術(shù)，運(yùn)用到日常文案編寫、決策推斷等工作中，低成本發(fā)掘適用于企業(yè)自身的應(yīng)用場(chǎng)景。

1 工作流程和方法

1.1 輸入設(shè)計(jì)

輸入設(shè)計(jì)是ChatGPT 模型生成內(nèi)容的重要前提，直接決定了輸出結(jié)果。在此階段，工程師需明確生成內(nèi)容的目標(biāo)和預(yù)期效果，并選擇適當(dāng)?shù)妮斎胄问胶徒Y(jié)構(gòu)。首先，確定生成內(nèi)容的類型和風(fēng)格，如文本、圖像、音頻等，考慮使用場(chǎng)景和目標(biāo)受眾。其次，設(shè)計(jì)問題式或情境式輸入，以便引導(dǎo)模型生成相應(yīng)內(nèi)容。注意輸入簡(jiǎn)潔、準(zhǔn)確，避免冗余信息和歧義。充分考慮用戶需求和背景，提供詳盡信息。同時(shí)，激發(fā)模型生成能力和想象力，給予創(chuàng)意和啟發(fā)性地輸入。

1.2 Prompt 編寫

Prompt 編寫是提示工程師的核心技能之一，它直接關(guān)系到ChatGPT 生成內(nèi)容的質(zhì)量和效果。Prompt 是指一段描述或指令，用于引導(dǎo)模型生成特定的內(nèi)容。編寫過程需要充分理解模型的結(jié)構(gòu)和運(yùn)作原理，同時(shí)考慮到生成內(nèi)容的語(yǔ)境和風(fēng)格，以設(shè)計(jì)出高效、精準(zhǔn)的提示詞。在編寫過程中，提示工程師需要注意以下幾點(diǎn)：首先，提示詞需要具有一定的啟發(fā)性和創(chuàng)意，可以通過隨機(jī)性、模糊性、對(duì)比性等手段，激發(fā)大語(yǔ)言模型的創(chuàng)造力和想象力；其次，需要考慮到生成內(nèi)容的多樣性和適應(yīng)性，通過增加變量、增強(qiáng)上下文等手段，提高生成內(nèi)容的質(zhì)量和可用性；最后，提示詞需要避免歧義和誤導(dǎo)，確保生成內(nèi)容符合用戶的期望和要求。

在Prompt 編寫過程中，提示工程師可以借助一些工具和使用一些技巧，如模板式Prompt、抽象式Prompt、可調(diào)節(jié)Prompt 等。其中，模板式是指根據(jù)不同任務(wù)和場(chǎng)景設(shè)計(jì)出的固定格式的提示詞，如“給我寫一篇介紹某個(gè)主題的文章”；抽象式是指通過給出一些關(guān)鍵詞或描述，讓模型自行生成相應(yīng)的內(nèi)容，如“生成一篇關(guān)于旅游的文章”；可調(diào)節(jié)是指通過調(diào)整提示詞中的變量和參數(shù)，來(lái)控制生成內(nèi)容的多樣性和適應(yīng)性，如“生成一篇關(guān)于食品安全的文章，其中關(guān)鍵詞為__，語(yǔ)氣為__”。

1.3 輸出分析

輸出分析是評(píng)估和優(yōu)化大語(yǔ)言模型生成內(nèi)容的關(guān)鍵步驟，以提升內(nèi)容質(zhì)量和效率。在此階段，工程師需對(duì)生成內(nèi)容進(jìn)行人工評(píng)估，優(yōu)化其質(zhì)量和適用性。評(píng)估包括語(yǔ)法、語(yǔ)義正確性，相關(guān)性、準(zhǔn)確性以及流暢性和可讀性。評(píng)估可借助人工、自動(dòng)和A/B 測(cè)試等方法。人工評(píng)估利用專家或用戶反饋調(diào)整生成內(nèi)容；自動(dòng)評(píng)估則運(yùn)用自然語(yǔ)言處理工具和算法，如語(yǔ)言模型評(píng)估、語(yǔ)義相似度等；A/B 測(cè)試則對(duì)比不同版本的內(nèi)容，結(jié)合數(shù)據(jù)分析和用戶反饋，選出最佳生成策略和模型參數(shù)。

綜上所述，輸入設(shè)計(jì)、Prompt 編寫和輸出分析是提示工程師工作流程的三個(gè)核心步驟，他們需要充分理解大模型的結(jié)構(gòu)和運(yùn)作原理，同時(shí)考慮到生成內(nèi)容的語(yǔ)境和風(fēng)格，以設(shè)計(jì)出高效、精準(zhǔn)的Prompt 和生成策略，從而提高生成內(nèi)容的質(zhì)量和效率。這些步驟需要不斷地進(jìn)行迭代和調(diào)整，以逐步優(yōu)化和改善生成內(nèi)容的質(zhì)量和可用性。除此之外，還需要考慮用戶的隱私和安全問題，確保生成內(nèi)容不會(huì)泄露敏感信息或?qū)τ脩粼斐蓚?。因此，在設(shè)計(jì)和使用模型時(shí)，需要遵循相關(guān)的倫理和法律規(guī)定，保護(hù)用戶的權(quán)益和利益。

2 提示語(yǔ)案例分析

提示詞工程的核心是提示詞編寫，提示詞作為模型輸入可以很大程度上影響最終生成的效果，在文生圖方面尤為明顯。在與大語(yǔ)言模型交互的時(shí)候通常有兩種方式：一種是基于預(yù)訓(xùn)練的大語(yǔ)言模型的能力，通過預(yù)測(cè)下一個(gè)最高概率出現(xiàn)的詞生成內(nèi)容；另一種是要求大語(yǔ)言模型遵循指令產(chǎn)出內(nèi)容。前者適用于生成單輪問答以及文本創(chuàng)作；后者生成內(nèi)容的質(zhì)量往往取決于模型預(yù)訓(xùn)練語(yǔ)料的質(zhì)量，如果在語(yǔ)料中沒有進(jìn)行思維鏈引導(dǎo)，那模型的邏輯性和推理能力會(huì)較弱，就可以通過提示詞來(lái)引導(dǎo)模型進(jìn)行推理。提示詞在挖掘模型能力上呈現(xiàn)出通用性，可制作成為模板供用戶選擇，從而覆蓋大多數(shù)任務(wù)。

提示詞編寫具備一定的技巧，這種技巧來(lái)源于訓(xùn)練語(yǔ)料的特點(diǎn)以及模型算法設(shè)計(jì)，可以總結(jié)為兩個(gè)書寫原則。

2.1 兩個(gè)書寫原則

第一個(gè)原則是要書寫清晰而具體的指令。注意這里的清晰不等于簡(jiǎn)短，因?yàn)橥ǔＧ闆r下更長(zhǎng)的提示會(huì)包含更清晰的模型背景，這些將會(huì)影響輸出內(nèi)容的細(xì)節(jié)性和相關(guān)性。為了能夠?qū)懗龇锨逦唧w原則的提示，可以利用以下4 種策略：

策略1：使用分隔符和標(biāo)點(diǎn)符號(hào)。符號(hào)可以是：```，"""， ＜ ＞， ＜標(biāo)簽＞，＜/標(biāo)簽＞，“”，‘’。如圖1 所示。

圖1 符號(hào)劃分待處理文字的范圍

需要注意，被處理的文本中不能出現(xiàn)矛盾的指令，否則處理結(jié)果將無(wú)法正常輸出。如圖2 所示。

圖2 指令沖突

策略2：要求生成結(jié)構(gòu)化輸出。輸出格式可以是HTML、JSON等，這樣可以方便讀取并寫入字典或列表中。如圖3所示。

策略3：檢查是否滿足條件。通過設(shè)置條件來(lái)檢查文本是否符合特定要求，這在模型分析方案可行性中十分重要。如圖4、圖5 所示。

圖4 步驟歸納

圖5 識(shí)別是否存在步驟

從圖4、圖5 結(jié)果中可以看出模型能夠自主判斷文本中是否存在步驟流程，該功能可以用于檢查步驟上是否存在缺失或邏輯錯(cuò)誤。該部分邏輯判斷能力源自訓(xùn)練語(yǔ)料中包含的邏輯文本，若語(yǔ)料中含有邏輯鏈結(jié)構(gòu)，則模型本身推理能力較好。

策略4：少樣本提示。通過給出正確的示例來(lái)指導(dǎo)模型如何工作。如圖6 所示。

圖6 學(xué)習(xí)樣本

第二個(gè)原則是給模型時(shí)間去“思考”。如果模型因?yàn)槟承┤狈ο嚓P(guān)性的過程而給出錯(cuò)誤結(jié)論，則需要重新構(gòu)造思維鏈來(lái)幫助模型得出最終結(jié)論。另外一個(gè)導(dǎo)致模型給出不準(zhǔn)確結(jié)論的原因是給模型處理的問題過于復(fù)雜，并且要求在短時(shí)間內(nèi)或以少量字?jǐn)?shù)生成，這樣會(huì)導(dǎo)致模型做出錯(cuò)誤的推測(cè)。同理人類，如果向一個(gè)人提出一個(gè)復(fù)雜的數(shù)學(xué)問題，并且僅給出少量時(shí)間來(lái)解題，很難保證答案的準(zhǔn)確率。

以下是遵循這個(gè)原則的2 種策略：

策略1：指定步驟完成任務(wù)。如圖7 所示。

圖7 分步驟完成指定任務(wù)

策略2：在獲得最終結(jié)論前指導(dǎo)模型給出自己的結(jié)論。模型通常會(huì)在解決數(shù)學(xué)問題時(shí)不列出步驟而直接給出答案，這些答案往往是錯(cuò)誤的。如圖8 所示，問題的正確答案為“360x+100000”，但是對(duì)于“450x+100000”的答案，模型給

圖8 模型直接給出錯(cuò)誤答案

出的是正確評(píng)價(jià)，但這個(gè)問題在圖9中通過步驟引導(dǎo)得以解決。

按照步驟進(jìn)行問題解決是目前挖掘AI 能力的有效方法。通過分析問題并逐步執(zhí)行相關(guān)步驟，我們可以有效地解決復(fù)雜的任務(wù)和挑戰(zhàn)?？茖W(xué)設(shè)計(jì)步驟往往基于兩個(gè)關(guān)鍵方面：

累積經(jīng)驗(yàn)：經(jīng)驗(yàn)是指在實(shí)踐中積累的知識(shí)和見解。通過不斷嘗試和實(shí)踐，我們可以發(fā)現(xiàn)哪些步驟和方法在解決問題時(shí)更加有效。經(jīng)驗(yàn)可以來(lái)自個(gè)人經(jīng)歷、領(lǐng)域?qū)＜业慕ㄗh以及先前解決類似問題的案例研究。通過反思和總結(jié)過去的經(jīng)驗(yàn)，我們可以識(shí)別出成功的模式和實(shí)踐，從而更好地設(shè)計(jì)步驟。

明文規(guī)定：明文規(guī)定是基于先前的知識(shí)和指導(dǎo)準(zhǔn)則來(lái)制定的詳細(xì)步驟說(shuō)明。這些規(guī)定可以包括行業(yè)標(biāo)準(zhǔn)、最佳實(shí)踐、操作手冊(cè)或培訓(xùn)材料等。明文規(guī)定提供了一種統(tǒng)一和標(biāo)準(zhǔn)化的方法，幫助我們規(guī)范和系統(tǒng)化地設(shè)計(jì)解決問題的步驟。這些規(guī)定可以是通用的，也可以是特定領(lǐng)域或任務(wù)的定制指導(dǎo)。

在科學(xué)設(shè)計(jì)步驟時(shí)，經(jīng)驗(yàn)和明文規(guī)定相互補(bǔ)充。經(jīng)驗(yàn)提供了實(shí)踐中獲得的直覺和洞察力，而明文規(guī)定提供了系統(tǒng)和結(jié)構(gòu)化的指導(dǎo)。通過結(jié)合兩者，我們可以設(shè)計(jì)出更加全面、可靠和有效的解決問題的步驟。

2.2 迭代

迭代式開發(fā)提示語(yǔ)是將一個(gè)主意從構(gòu)想到落地的主要途徑，主要包含的周期依次是：提出主意、完成提示（代碼或數(shù)據(jù)）編寫、實(shí)驗(yàn)獲得結(jié)果以及錯(cuò)誤分析。如圖10 所示。

圖10 迭代式提示開發(fā)

首先寫出清晰具體的提示供模型生成結(jié)果，再分析生成結(jié)果是否達(dá)到預(yù)期，往往第一次生成內(nèi)容只能達(dá)到預(yù)期的30%。根據(jù)結(jié)果中不滿意的地方進(jìn)行方案設(shè)計(jì)的完善以及提示語(yǔ)優(yōu)化，最終重復(fù)整個(gè)過程數(shù)次，直至達(dá)到方案的應(yīng)用要求。圖11 為根據(jù)一個(gè)椅子產(chǎn)品的概況建立產(chǎn)品描述的過程。

圖11 產(chǎn)品描述

若生成的內(nèi)容篇幅過于冗長(zhǎng)，不符合簡(jiǎn)潔描述要求，那么可以通過提示限制輸出內(nèi)容長(zhǎng)度來(lái)獲得更高的概括水平，例如要求輸出精簡(jiǎn)到50 字，結(jié)果如圖12 所示。

圖12 生成50 字描述

接著讓模型模擬生成其他兩種型號(hào)的椅子，如圖13 所示。

圖13 模擬生成

將三款椅子進(jìn)行應(yīng)用場(chǎng)景指向型比較，選擇出最佳產(chǎn)品并給出選擇緣由，如圖14 所示。

圖14 產(chǎn)品比較

這種利用AI 來(lái)進(jìn)行輔助決策的方法，適用于在給定條件下在多種方案中做出選擇，這需要建立評(píng)判標(biāo)準(zhǔn)來(lái)保證一定的公平性，通常需要將大量相關(guān)語(yǔ)料給模型進(jìn)行訓(xùn)練，獲得相對(duì)垂直的生成能力。雖然可能會(huì)引發(fā)一系列社會(huì)層面問題，如在醫(yī)療、法律、金融領(lǐng)域的垂直應(yīng)用中可能出現(xiàn)安全問題，但是樂觀來(lái)看，這有利于幫助非專業(yè)人群從專業(yè)角度做出決策。

3 展望

通過使用提示語(yǔ)書寫來(lái)指導(dǎo)模型執(zhí)行重復(fù)勞動(dòng)、做出決策和進(jìn)行模擬實(shí)驗(yàn)，這種方法將對(duì)未來(lái)各行各業(yè)的生產(chǎn)方式產(chǎn)生深遠(yuǎn)影響。提示語(yǔ)書寫將為企業(yè)業(yè)務(wù)邏輯與模型能力結(jié)合提供了一種方式，具有很高的價(jià)值，通過固化提示詞模板來(lái)與模型交互，一定程度上也簡(jiǎn)化了用戶操作，也有助于數(shù)據(jù)的合理使用。未來(lái)的編程語(yǔ)言很可能會(huì)變成人們?nèi)粘?duì)話的語(yǔ)言，只需要通過語(yǔ)言描述，人工智能就能將項(xiàng)目轉(zhuǎn)化為現(xiàn)實(shí)。

4 結(jié)束語(yǔ)

本文旨在探討提示工程師如何通過Prompt 書寫來(lái)改進(jìn)工作效率和生成內(nèi)容質(zhì)量。我們討論了輸入設(shè)計(jì)的重要性，強(qiáng)調(diào)了輸出分析的關(guān)鍵作用，同時(shí)通過深入研究和實(shí)踐，我們發(fā)現(xiàn)提示詞書寫是提高大語(yǔ)言模型性能和響應(yīng)能力的有效方法。未來(lái)，隨著技術(shù)的進(jìn)一步發(fā)展和普及，提示工程師將在不斷優(yōu)化和創(chuàng)新的過程中發(fā)揮更重要的作用。這將為自然語(yǔ)言處理和人工智能領(lǐng)域帶來(lái)更多機(jī)遇和挑戰(zhàn)。我們鼓勵(lì)研究者和工程師們?cè)谔崾竟こ讨谐掷m(xù)探索，以推動(dòng)這一領(lǐng)域的進(jìn)步和應(yīng)用。