各类新云服务商(neocloud)以及为应用开发者运行开源模型的推理服务商,正在竞争白热化的市场中寻求差异化优势。
例如,这类新云厂商之一Prime Intellect,在7月的一轮股权融资中估值达10亿美元。该公司正收购一家初创企业,以求在英伟达服务器上运行开源模型时,相比竞争对手实现更高速度、更低成本。

Prime Intellect联合创始人兼首席执行官文森特·魏瑟介绍,这家总部位于旧金山的公司将收购Moondream。Moondream是一家成立不久的开源模型开发企业,员工不足十人。(魏瑟未披露交易条款,但Moondream此前已融资450万美元。)
Moondream团队分布于旧金山与西雅图,其代表作是一款开源多模态视觉语言模型,可解析、理解图像内容,例如识别仓库图片中的货箱,或是直播画面里的广告。不过魏瑟表示,Prime Intellect收购这家公司,主要看重其团队编写高性能推理优化软件的技术能力。
魏瑟称,具体而言,Moondream工程师精通巨内核(megakernel)技术:该技术将GPU上大量独立数学运算合并为一段连续运算,以此加速AI推理,减少任务之间GPU的空闲等待时间。
Moondream介绍,他们自研了专用编译器,能够为大量模型自动生成巨内核。
巨内核并非新概念,Together AI等其他推理服务商也曾撰文介绍相关实践。但工程师表示,以往编写巨内核基本依靠人工开发;而Moondream称其编译器可大幅实现自动化生成。
魏瑟提到,当前行业高度聚焦文本类AI,而Moondream在图像等非文本模态模型优化方面积累的经验较为稀缺。因此Prime Intellect希望吸纳这批人才,服务机器人AI、可操作电脑的智能代理等客户群体。
目前,这类客户尚未被其他新云厂商和推理服务商充分覆盖,有望成为Prime Intellect新的收入来源。该公司7月曾披露年化收入突破1亿美元,换算下来当时月营收略高于800万美元。其体量远小于其他推理服务商,例如Fal年化收入超8亿美元,Together AI年化收入超过10亿美元。
上周OpenAI营收风波之后,大家可能会质疑这类年化收入数据的可信度。相关方确认上述数据属实。不过正如我们多次报道的那样:多数推理服务商需要把很大一部分营收支付给持有并运营服务器的云厂商;Prime Intellect有所不同,它自主运营硬件设备。
7月10日金融一线消息,中国银联今日发布严正声明指出,近期,有机构或个人假冒中国银联名义从事违法经营活动,侵害商家、消费者财产及个人信息安全。中国银联对此高度重视并积极维权,特此严正声明如下: 1.凡...
人的一生可能只有7次牛市的机会!你已经错过了几次? 是的,你没有看错!人的一生只有经历7次牛市的机会,这还是在条件允许,比较乐观的情况下。 因为一轮完整的熊牛周期需要5-7年的时间(平均6年),这也就...
华尔街见闻 市场普遍预期,8月新增非农就业人数小幅升至7.5万,而失业率预计将微升至4.3%,巩固9月降息25基点的预期。渣打银行表示,要让50个基点的降息“摆上台面”,数据必须“足够难看”:新增就业...
国际能源署表示,由于需求增长放缓且供应激增,明年全球石油市场将出现创纪录的供应过剩。 国际能源署月度报告的数据显示,石油库存将以每日 296 万桶的速度累积,甚至超过 2020 年疫情期间的平均累积速...
4月25日,中共中央政治局召开会议,分析研究当前经济形势和经济工作。会议认为,我国经济持续回升向好的基础还需要进一步稳固,外部冲击影响加大。要强化底线思维,充分备足预案,扎实做好经济工作。 会议指出...
提到智能手机,苹果手机无疑是一个无法忽视的存在。无论是其出色的设计、强大的性能,还是令人惊叹的生态系统,苹果手机都树立了行业的标杆。苹果手机高昂的价格也让很多人望而却步。苹果手机到底值不值得买?这篇文...