觀察員
-
馬斯克開源Grok-1，3140億參數(shù)迄今最大
當?shù)貢r間3月17日，特斯拉首席執(zhí)行官（CEO）馬斯克的AI創(chuàng)企xAI正式發(fā)布3140億參數(shù)的混合專家模型Grok-1。xAI官方網(wǎng)站稱，其遵照Apache 2.0協(xié)議開放模型權重和架構。
xAI官方網(wǎng)站截圖
據(jù)第一財經(jīng)報道，Grok-1參數(shù)量遠超OpenAI GPT-3.5的1750億，是迄今參數(shù)量最大的開源大語言模型。
17日，馬斯克還在社交平臺上發(fā)文對OpenAI進行了嘲諷：“告訴我們更多關于OpenAI開放部分的信息?！?
2023年11月，xAI官網(wǎng)發(fā)布文章，公布了Grok的詳細進展。
文章稱，Grok是一款仿照《銀河系漫游指南》設計的AI，幾乎可以回答任何問題，它甚至可以建議要問什么問題?！癎rok回答問題時略帶機智和叛逆，所以如果你討厭幽默，請不要使用它”。
xAI官方網(wǎng)站截圖
文章介紹說，Grok的一個獨特且基本的優(yōu)勢是，它可以通過X平臺實時了解世界。它還將回答被其它大多數(shù)AI系統(tǒng)拒絕的尖銳問題。
文章指出，Grok仍然是一個非常早期的測試版產(chǎn)品，是“我們在2個月的訓練中所能做到的最好產(chǎn)品，期望在您的幫助下每周都能快速改進”。
文章表示，Grok-1的研發(fā)經(jīng)歷了四個月。期間，Grok-1經(jīng)歷了多次迭代。“宣布創(chuàng)立xAI后，我們訓練了一個330億參數(shù)的LLM原型（Grok-0）。這個早期模型在標準LM測試基準上接近LLaMA 2（70B）的能力，但只使用了一半的訓練資源。在過去兩個月里，我們在模型的推理和編碼能力方面取得了顯著進步，Grok-1終于誕生。”
文章稱，這是一款功能更為強大的SOTA語言模型，在HumanEval編碼任務中達到了63.2%，在MMLU中達到了73%。
為了了解對Grok-1所做的性能改進，xAI使用了一些旨在衡量數(shù)學和推理能力的標準機器學習基準，對其進行一系列評估。
在這些基準測試中，Grok-1顯示出了強勁的性能，超過了其計算類別中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量訓練數(shù)據(jù)和計算資源訓練的模型，例如GPT-4，才能超越它。“這展示了我們在高效訓練LLM方面取得的快速進展”。
同時，文章也指出，由于這些基準可以在網(wǎng)上找到，并且他們不能排除模型無意中進行了相應的訓練。因此，他們在收集完數(shù)據(jù)集之后，根據(jù)去年5月底公布的2023年匈牙利全國高中數(shù)學期末考試題，對他們的模型（以及Claude-2和GPT-4模型）進行了人工評分。結果，Grok以C級（59%）通過考試，Claude-2也取得了類似的成績（55%），而GPT-4則以68%的成績獲得了B級。文章稱，他們沒有為應對這個考試而特別準備或調整模型。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權，不得轉載。
- 責任編輯: 房佶宜
-
臺灣長榮客機一外籍乘客試圖在廁所輕生
2024-03-18 10:37 -
“美國都動用國家力量對付特朗普了，那能叫民主？”
2024-03-18 10:04 俄羅斯之聲 -
普京首度回應納瓦利內之死：美國監(jiān)獄沒死過人嗎？
2024-03-18 09:37 俄羅斯之聲 -
中企承建，孟加拉國這個石油大工程全面運營
2024-03-18 09:09 一帶一路 -
以總理：以軍或在幾周后進攻加沙南部城市拉法
2024-03-18 07:28 巴以恩仇錄 -
俄總統(tǒng)選舉選票已統(tǒng)計60.01%，普京得票率為87.26%
2024-03-18 07:07 俄羅斯之聲 -
“波音遇到大麻煩了，但怎么解決，仍毫無頭緒”
2024-03-17 22:56 航空安全 -
馬克龍稱將要求俄“奧運?；稹?，扎哈羅娃：建議向中東沖突各方提出
2024-03-17 20:46 俄羅斯之聲 -
岸田文雄向日本國民道歉
2024-03-17 19:56 日本 -
斯里蘭卡逮捕21名印度漁民
2024-03-17 19:23 -
“幾乎沒男人了，人們像狗一樣當街被抓去當兵”
2024-03-17 19:10 烏克蘭之殤 -
拜登：兩個候選人，有一個太老了...
2024-03-17 17:33 美國政治 -
特朗普談移民：在我看來，某些情況下他們不是人
2024-03-17 16:37 特朗普 -
首次！朝中社這樣稱呼金正恩女兒
2024-03-17 16:30 朝鮮現(xiàn)狀 -
威爾士工黨選出新任黨魁，“歐洲將產(chǎn)生首位黑人領導人”
2024-03-17 16:04 不列顛 -
他再放話：將對中企在墨西哥生產(chǎn)汽車征收100%關稅
2024-03-17 14:58 美國大選 -
馬克龍再提派兵，她附和上了
2024-03-17 14:45 烏克蘭之殤 -
“美國警告歐盟：若重啟對美訴訟，別怪我…”
2024-03-17 14:34 歐洲亂局 -
“我從小就被教育要討厭中國”
2024-03-17 11:40 -
特朗普：若我敗選，對美國是場“大屠殺”
2024-03-17 10:11 美國政治
相關推薦 -
-
三季報全公布，10省份增速超上半年 評論 60
“無論誰贏，歐洲已輸” 評論 133
市場瘋狂下注特朗普，真金白銀比民調更準確？ 評論 115
看！中國人的雙航母編隊 評論 585
無論誰勝選，華裔科學家們都擔心再遭迫害 評論 347最新聞 Hot-
三季報全公布，10省份增速超上半年
-
“中國不再是從前那個學徒，完全能和西方正面交鋒”
-
美軍高官又“擔憂”上了：別老盯著俄羅斯，中國這速度才嚇人
-
被中方制裁后，這家美無人機廠商向美政府“喊疼”
-
“德國依賴中俄，就像被下藥了”
-
“‘歐盟CIA’即將成立”
-
特朗普還沒上臺，他們已經(jīng)慌了：斷了美國這個財路
-
“中印邊境士兵互贈糖果”
-
“曾有烏將軍打電話投降，讓我?guī)兔β?lián)系普京”
-
拜登最后一次白宮萬圣節(jié)，她扮成…
-
“無論誰贏，歐洲已輸”
-
用腳投票！歐盟對華綠地投資創(chuàng)歷史新高
-
市場瘋狂下注特朗普，真金白銀比民調更準確？
-
看！中國人的雙航母編隊
-
“末日種子庫”收到3萬份新樣本，“人類在與時間賽跑”
-
90后上天，“中國傳遞的信息很明確”
-
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
