Openai新模型

OpenAI 於 5 月 13 日（美國時間）公布了其最新的 AI 模型「GPT-4o」，該模型可無縫處理文字、音訊和圖像，速度比 GPT-4 Turbo 快一倍，且成本還只有後者的一半。 據 OpenAI 所述，GPT-4o 將在未來幾週內向所有 ChatGPT 用戶開放，那麼，它可以怎麼用？是免費的嗎？ OpenAI GPT-4o 是什麼？ 繼推出 AI 影片合成工具 Sora 後，OpenAI 於 5 月 13 日（週一）宣布了其最新的人工智慧 (AI) 模型——「GPT-4o」，據稱，該模型將使 ChatGPT 更聰明且更易於使用。 Say hello to GPT-4o, our new flagship model which can reason across audio, vision, and text in real time: https://t.co/MYHZB79UqN Text and image input rolling out today in API and ChatGPT with voice and video in the coming weeks. pic.twitter.com/uuthKZyzYx — OpenAI (@OpenAI) May 13, 2024 GPT-4o 是 OpenAI 公司一年多前推出的上一代 GPT-4 型號的更新版本，根據該公司週一的演示，GPT-4o 將有效地將 ChatGPT 轉變為可以進行即時語音對話的數位個人助理。它還能夠使用文字和「視覺」進行交互，這意味著它可以查看用戶上傳的螢幕截圖、相片、文檔或圖表，並就它們進行對話。 OpenAI 技術長 Mira Murati 還指出，ChatGPT 的更新版本還將具有記憶功能，這意味著它可以從先前與使用者的對話中學習，並且可以進行即時翻譯。 Murati 表示，「這是我們第一次在易用性方面真正邁出一大步」，而「這種互動變得更加自然，也更加容易。」 在發表會尾聲，Murati 還感謝了輝達（Nvidia）執行長黃仁勳（Jensen Huang）及其公司，正是輝達替 OpenAI 提供了所需的、先進的圖形處理器（GPU），才能「讓今天發表會的功能展示成真。」 GPT 4o 有何優勢？ OpenAI 執行長 Sam Altman 指出，GPT-4o 更聰明，更快，且具原生多模能力。 GPT-4o 的 [o] 代表的是 omni，也就是全能的意思，該模型是向自然人機互動邁出的一步。它能夠處理 50 種不同的語言，可以輸入文字、音訊和圖像的組合，也可以輸出文字、音訊和圖像。 GPT 4o 可在最短 232 毫秒、平均 320 毫秒內響應語音輸入，明顯快於傳統的 GPT-4。據說它的響應速度與「對話中人類的反應時間」大致相同。 此外，GPT-4o 與 GPT-4 Turbo 在英語和程式碼文字方面的表現相匹配，並且還顯著改進了非英語語言的文本。該 API 的速度也更快，且價格便宜 50%。與現有模型相比，它的性能更好，尤其是在視覺和音訊理解方面。並且在各種基準測試中，GPT 4o 優於競爭模型。 在另一項演示中，研究人員還則展示了 GPT-4o 模型的即時語言翻譯能力，進一步延伸至「聽聲翻譯」，比如，測試人員分別以義大利文和英文說話，隨後新模型就把雙方交談的內容翻譯成各自的語言。 不只如此，GPT 4o 語音模式與現有模型的不同之處在於它可以理解音調、多個揚聲器和背景噪音等內容。在 OpenAi 提供的演示中，GPT-4o 不僅可以了解說話者的特徵，還可以針對「變得更戲劇化」、「聽起來更風趣」等語氣指令做出反應。 比較特別的是，當使用 GPT-4o 時，人類可隨時打斷機器人，且 AI 也能透過識別人臉情緒來作出回應，這讓 GPT 4o 比起問答更像是在聊天。 GPT-4o 的安全與限制 在說明 GPT-4o 的強大能力後，OpenAI 也強調它的安全性。 根據其整備度框架（Preparedness Framework）及人類評估，該新模型在網路安全、CBRN（化學、生物、放射及核能）威脅、誘騙（persuasion）能力及模型自主能力都在中度以下。 而廣泛的外部評估有助於識別和減輕風險，特別是在音訊輸出等新領域，這些領域將在安全措施到位的情況下逐步發布。 GPT-4o 怎麼用？ GPT-4o 的功能正在逐步推出，文字和圖像功能已整合到 ChatGPT 中。也就是說，您無需下載其他應用程式，可直接在 ChatGPT 中使用 GPT-4o。 打開 ChatGPT 聊天介面後，就會收到 GPT-4o 可用通知，點擊「立即試用」即可。 此外，如果您是 ChatGPT Plus 用戶，可在介面左上方可以直接切換 GPT-4o 模型。 開發者可以在 API中存取 GPT-4o，以一半的價格享受更快的速度和更高的速率限制。 GPT-4o 是免費的嗎？ 為了履行其使命，OpenAI 將開放 GPT 4o 給所有用戶，包括 ChatGPT 免費訂閱者。 Murati 表示，OpenAI 將推出具有 GPT-4o 功能的 ChatGPT 桌面應用程式，為用戶提供另一個與公司技術互動的平台。 GPT-4o 也將可供希望從 OpenAI 的 GPT 商店建立自己的自訂聊天機器人的開發人員使用，該功能現在也可供非付費用戶使用。 更新的技術和功能將在未來幾個月內推出到 ChatGPT。 儘管目前所有用戶都可以使用 GPT 4o，但免費 ChatGPT 用戶將與新的 GPT-4o 模型進行有限次數的交互，然後該工具會自動恢復依賴舊的 GPT-3.5 模型；付費 Plus（20 美元）用戶將可以使用比免費用戶多 5 倍的訊息。團隊和企業用戶則擁有更多存取權限。 OpenAI 市場競爭與合作夥伴 在新模型 GPT-4o 發布之際，OpenAI  正力求在日益激烈的人工智慧軍備競賽中保持領先地位。包括 Google 和 Meta 在內的競爭對手一直致力於建立日益強大的大型語言模型，為聊天機器人提供動力，並可用於將人工智慧技術引入各種其他產品。 OpenAI 發表新產品的時間點，正值 Google 年度 I/O 開發者大會前一天，預計該公司將在會上宣布其 Gemini AI 模型的更新。與新的 GPT-4o 一樣，Google 的 Gemini 也是多模式的，這意味著它可以解釋和生成文字、圖像和音訊。 OpenAI 的更新也是在蘋果下個月的全球開發者大會上預計發佈人工智慧之前發布的，其中可能包括將人工智慧融入下一個 iPhone 或 iOS 版本中的新方法。 同時，最新的 GPT 版本可能對微軟來說是一個福音，微軟已經向 OpenAI 投資了數十億美元，將其人工智慧技術嵌入微軟自己的產品中。 總結 綜上所述，OpenAI GPT-4o 改變了 AI 模型與多模式輸入互動的方式。透過無縫組合文字、圖像和音頻，GPT-4o 提供了更豐富、更具吸引力的用戶體驗。