馬斯克的AI公司xAI正式公開Grok-1源代碼

WEEX Blog 唯客博客， PANews 3月18日消息，馬斯克的人工智慧公司xAI宣布開放其3140億參數混合專家模型Grok-1的權重和架構。Grok-1是一個從頭開始由xAI訓練的大型語言模型，採用混合專家模型架構，其中25%的權重在給定令牌上處於活躍狀態。該模型的基本模型權重和網路架構現已根據Apache 2.0許可證開放。Grok-1的預訓練階段已於2023年10月結束，目前發布的是原始基礎模型檢查點，未針對任何特定應用進行微調。有興趣使用該模型的用戶可以按照github.com/xai-org/grok上的指南操作。 WEEX唯客交易所官網：https://www.weex.com/