AI创业新偏向 ：“年夜 模型路由”

AI领域始创 公司“百花齐放”，“年夜 模型路由”成最新偏向 。

除了少数几家公司外，年夜 部分  人工智能始创 公司通常分为两年夜 阵营。第一类使用单一的年夜 语言模型（LLM），例如OpenAI的GPT-4，为其应用提供动力。这些始创 公司通常都筹集了数百万美元的风险投资，它们往往会追求最顶级、性能最高的模型。

目前商用LLM数量正赓续 增加，仅在Hugging Face 上就有至少30万种可供选择。随着开源模型的激增，越来越多的公司开始使用另一类模型“年夜 模型路由”，即将更简单的查询路由到更廉价 、功能  稍弱的模型上，赞助 公司降低成本，同时还能规避OpenAI的费率限制。

例如，赞助 公司剖析 客户对话和员工绩效的始创 公司 Pathlight 就使用了来自OpenAI、Anthropic 和 Meta Platforms 等供给 商的十几个LLM。Pathlight的联合开创 人兼首席执行官Alex Kvamme指出，为了弄清客户取消合同的原因，Pathlight 可能会使用更擅长庞杂 推理任务的GPT-4，而简单的总结请求则可以由开源模型来处理  。

Pathlight和许多其他始创 公司都开发了自己的系统，依据 客户请求的性质决定使用哪种模型。而事实证明，也有新的始创 公司在为其他人工智能始创 公司自动执行这一模型分派 进程 。

据媒体周二报道，一位风险投资者指出，最近一周内就有四五家始创 公司向他们投递了类似的产品  。

其中一家名为Martian的模型路由始创 公司评估了各类  LLM处理  相同查询的准确性、成本和速度，从而决定哪种LLM最适合哪种类型的请求。Martian 指出，它将包含  GPT-4 在内的各类 LLM“转换”为更简单的模型架构，以便更好地进行评估。

Martian联合开创 人Yash Upadhyay去年卒业 于宾夕法尼亚年夜 学，获得计算机科学学士学位，他不肯 透露其公司有若干 付费客户，但他说公司每天要处理  100多万个模型路由请求。他说，Martian的一些客户可能对成本比较  敏感，而另一些客户则把速度看得比什么都重要。

这一领域的其他始创 公司，如位于Autumn8，则协助企业对人工智能模型进行更普遍 的评估，而不是赞助 将客户请求实时路由到不合  的模型。这家拥有 10名员工的始创 公司已经从家族办公室Sage Hill Investors筹集到了200万美元的资金。

Khosla Ventures合股 人Kanu Gulati对此表示  ，如果模型选择和路由对人工智能始创 企业来说变得至关重要，亚马逊云科技等云办事 提供商或像Hugging Face这样的模型中心很可能会提供这些办事 。但这些云提供商通常也会销售自己的LLM，因此始创 公司可能会认为他们不克不及 坚持 中立。

剖析 指出，模型选择和路由始创 公司的迅速崛起注解 ，创业者对人工智能公司的感知需求做出反响 的速度有多快。虽然尚不清楚模型路由始创 公司是否会成为风险投资支持的企业，但它们的涌现 是该行业一个充斥 希望的信号。这意味着企业在人工智能模型的成本上正努力做到更周到、更有成本意识。

本文来自华尔街见闻，欢迎下载APP查看更多