xAI正式发布了大模型Grok-1,其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿；是迄今参数量最大的开源LLM，是Llama 2的4倍。
今天凌晨，马斯克旗下AI大模型Grok宣布正式开源。
xAI正式发布了大模型Grok-1,其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿；是迄今参数量最大的开源LLM，是Llama 2的4倍。
Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。
xAI将Grok-1的权重和架构在GitHub上开源。一经上线GitHub，Grok就狂揽了6k星，586个Fork。
xAI是马斯克在去年刚刚成立的AI初创公司，其目的之一就是与OpenAI、谷歌、微软等对手在大模型领域进行竞争，其团队成员来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等诸多知名企业和研究机构。
根据睿兽分析数据显示，xAI在2023年12月完成了1.35亿美元的Pre-种子轮融资。今年1月有消息传出，马斯克正在xAI洽谈至多60亿美元的融资，后被马斯克予以否认。
2023年11月xAI正式发布了旗下第一款大模型产品 Grok AI，12月Grok并面向美国地区的 Premium+ X 用户开放，每月16美元。xAI表示，Grok的设计灵感来源于《银河系漫游指南》，它能够回答几乎所有问题，助力人类不分背景或政治立场地追求理解和知识。
Grok最初的版本Grok-0拥有330亿参数，紧接着xAI推出了经过数次改进的Grok-1，为X上的Grok聊天机器人提供支持。
Grok 整合了X平台的实时数据，能够根据 X 平台的最新动态提供实时回应，这也是其与其他竞争对手的显著差异之一。
更有趣的是，从Grok 那幽默且阴阳怪气的回复中，能够捕捉到马斯克的影子。
然而，就像所有 AI 聊天机器人一样，Grok 也存在“幻觉”问题，即生成包含虚假或误导信息的回应。这种现象在所有大型语言模型（LLM）中都普遍存在，包括 ChatGPT。
xAI 表示Grok-1 的研发经历了四个月。在此期间，Grok-1 经历了多次迭代。
xAI 使用了一些旨在衡量数学和推理能力的标准机器学习基准对 Grok-1 进行了一系列评估：在这些基准测试中，Grok-1 显示出了强劲的性能，超过了其计算类中的所有其他模型，包括 ChatGPT-3.5 和 Inflection-1。只有像 GPT-4 这样使用大量训练数据和计算资源训练的模型才能超越它。xAI 表示，这展示了他们在高效训练 LLM 方面取得的快速进展。
不过，开源版 Grok 目前还有些事情做不到，比如通过 X 平台实时了解世界，实现这一功能目前仍需要订阅部署在 X 平台上的付费版本。
xAI宣布开源的消息刚刚发布，ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动，在Grok官方账号评论下回复道：“偷了我的笑话。”
马斯克自然不会示弱，马上说请告诉我OpenAI“Open”之处在哪里。
小扎也对Grok做出了评价，并没有给人留下真正深刻的印象，3140亿参数太多了，你需要一堆H100，不过我已经买下了。
在数次嘲讽OpenAI是CloseAI之后，马斯克果真选择了开源自家大模型。但是作为市场领导者的OpenAI，是没有理由开源ChatGPT背后模型代码的。
虽然Llama的开源盘活了深陷元宇宙泥潭的Meta；AI明星创企Mistral AI，也因为自己的开源策略而声名鹊起，被业内认为是欧洲的OpenAI。
尽管OpenAI目前在AI领域仍遥遥领先，但开源和闭源的战争还远远没有结束。马斯克与OpenAI之间的爱恨情仇，也仍未落下帷幕。
