天眼查顯示，上海燧原科技股份有限公司“一種大語言模型中的推測性解碼方法、裝置、設備及介質”專利公布，申請公布日為2024年10月1日，申請公布號為CN118734970A。

本發(fā)明實施例公開了一種大語言模型中的推測性解碼方法、裝置、設備及介質。該方法包括：在內存中讀取歷史文本信息，并傳輸至計算單元；在計算單元中執(zhí)行：將歷史文本信息輸入至預設長度預測器，得到推理長度；將推理長度以及歷史文本信息輸入至預設推測性解碼模型，得到與推理長度相同個數的預測文本信息；將歷史文本信息輸入至大語言模型中，得到大語言模型輸出的目標文本信息；將歷史文本信息、目標文本信息以及各預測文本信息輸入至大語言模型進行驗證，得到推理正確的目標預測文本信息；根據歷史文本信息與目標預測文本信息進行迭代訓練，得到目標長度預測器和目標推測性解碼模型。該方法在推測性解碼中考慮了推理長度，可提高模型推理性能。