//再不认真就输了!
//致力于发现AIGC动态与教程。

龙头老大OpenAI在和谷歌等其他同行“掰头”的时候,有一家“业界清流”公司

Mistral AI——法国初创公司,该公司由来自 Google DeepMind 和 Meta 的顶级 AI 专家创立,专注于开发生成式 AI 技术。Mistral AI 在成立仅半年时间内就完成了3.85亿欧元的 A 轮融资,估值突破20亿美元,成为备受关注的 AI 公司之一。与 OpenAI 等公司不同的是,Mistral AI 坚持推广开源软件方法,允许用户自由复制、修改和再利用其计算机代码,为外部开发者提供支持。

AIGC专区:https://heehel.com/category/aigc
更多消息:https://heehel.com/category/ai-news
注册试用测试平台网址链接:https://auth.mistral.ai/ui/login?flow=9f926e6c-30f9-4f56-9d91-70d501f383c9
详细论文网址链接:https://huggingface.co/blog/mixtral#about-the-name
官方介绍网址链接:https://mistral.ai/news/mixtral-of-experts/

值得一提的是,成立仅一个月,还没有公布产品、彼时只有6名员工的Mistral AI,就曾凭借7页PPT“神话”般拿下1.13亿美元种子轮融资,轰动整个欧洲AI行业。 而规模这么小的Mistral AI,是如何用其高效能的强大AI模型征服十几家头部VC,又如何践行开源理念,赢得广大开发者社区潮水般的支持和肯定?这些都与公司的创始团队有分不开的联系。

Mistral AI 发布的一款名为 Mixtral 8x7B 的开源模型,该模型在性能上超越了700亿参数的 Llama 2 70B,并且拥有更高的推理速度。该模型的开源发布方式简单直接,引发了广大开发者的兴趣和关注。Mistral AI 也因此得到了开发者社区的肯定,被认为是开放模型革命的引领者。

Mistral AI的三位联合创始人中,首席执行官Arthur Mensch(中)曾任Google DeepMind的研究员,参与了包括Flamingo、Chinchilla、Gopher在内的多个DeepMind经典模型,也是Flamingo和Chinchilla的核心贡献者,对多模态、RAG、算法优化等技术有深刻理解。

首席技术官Timothée Lacroix(右)和首席科学家Guillaume Lample(左)此前都是Meta巴黎人工智能实验室的核心研究人员,两人对模型推理、预训练和模型嵌入有深入研究,是Llama和Llama2的核心技术贡献者,并发表过多篇重要学术论文。他们的前东家Meta也恰恰是鼓励开源的代表公司之一。

Mistral AI团队聚集了来自Meta、Hugging Face、Deepmind等AI巨头的科学家,团队高效配合,拥有商务和政策顾问支持。最近,他们在社交平台上以直接方式发布了引爆开源社区的MoE开源模型 Mixtral 8x7B,令人瞩目。

没有 OpenAI一贯的暧昧戏码和花式推拉、也没有Google发布Gemini时精心剪辑的“特效视频”,甚至连一句介绍语都没有。Mistral AI的官宣方式如此朴实无华,简单粗暴。秉持着“能干成一件事儿就绝不跟你多废话一个字”的作风,成为AI圈特立独行的“一股清流”。

这里简单解释一下MoE,全称为Mixture of Experts(混合专家模型),就是把复杂的分析预测任务分割成一系列更小、更容易处理的子任务,每个子任务由符合该特定领域的“专家”负责。MoE架构不仅能提高模型处理信息的效率,还降低了运行成本。

据说OpenAI从去年开始就在用这种方法来训练GPT-4, Mistral AI则正是致力于为企业提供一种“无限接近”GPT-4的开源选择。

具体到链接里的Mixtral 8x7B,总参数为46.7B,但每个令牌只使用12.9B。因此,它以与12.9B模型相同的速度和成本处理输入并生成输出。Mistral 8x7B拥有32k Tokens上下文长度,支持英语、法语、意大利语、德语和西班牙语。在代码生成方面表现出色,还支持微调为指令跟随模型,并采用 Apache 2.0许可证开源商用。

性能方面,Mixtral 8x7B在大多数基准测试上都超越了700亿参数的Llama 2 70B,推理速度提高6倍。在模拟真实世界对话场景、评估大语言连贯性和信息丰富的MT-Bench测试中,它达到了8.30的分数,其性能可与GPT3.5媲美,成为最好的开源模型。

Mistral AI称是一支行动迅速、高工作强度和透明度的团队,旨在将强大的生成式AI技术开源,并通过应用驱动实现模型对现实世界的实质帮助。他们希望成为开放式AI社区的领先支持者,将开源模型推向最先进的性能水平。与竞争对手不同,Mistral AI坚信开源是引领生成式AI革命的必然路径,认为社区支持的模型开发能够接受严格审查,抗击偏见,构建一个可信的替代方案,对抗AI寡头。CEO Arthur Mensch强调,过早进入闭源阶段对科学发展是有害的,开源模型可以精细地适应各行业垂直领域,允许开发者自定义护栏和编辑语气,避免依赖API提供者的选择和偏见。在AI行业巨头垄断的时代,Mistral AI的开源共享精神备受开发者拥戴,人们对其加速开源领域创新的期望与兴奋。

https://heehel.com/ai-news/mistral-ai-mixtral-8x7b.html

https://heehel.com/aigc/mistral-ai-smoe-model.html

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《龙头老大OpenAI在和谷歌等其他同行“掰头”的时候,有一家“业界清流”公司》
文章链接:https://heehel.com/ai-news/french-company-mistral-ai.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

评论 抢沙发

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册