AI 厂商给的免费额度,看着都有。
真到自己写个小工具、跑个 Demo、挂个 Agent 流程,几下就没了。
一天几百次、几千次请求,单独看都不够用。更麻烦的是,你想把几家的额度拼起来,还得挨个接 SDK,挨个看限流规则,挨个处理报错。
我一般看到这一步就有点烦。
最近有个开发者把这个苦活打包了,项目叫 FreeLLMAPI。
图片
它干的事很直白:把 11 家大模型平台的免费额度凑在一起,对外只露一个接口。
项目里写的数字是,大概每月能凑出 13 亿 Token。
听着挺夸张,但逻辑不复杂。
每家平台都有一点免费量,单拿出来没什么感觉,合在一起,就够做不少测试了。尤其是那种还没确定要不要上线的 AI 小应用,前期最怕的不是模型不够强,是一边试一边烧钱。
FreeLLMAPI 的接口做成了 OpenAI 兼容格式。
也就是说,很多原本支持 OpenAI 的客户端,不用大改代码。把 base url 换一下,key 换一下,就能走它这层代理。
这一点我觉得是它最省事的地方。
不是又学一套接口,不是再塞一堆适配代码。
改地址。
跑。
剩下的交给路由器。
它会自动选模型。某一家额度到了,或者被限流了,就切到下一家。你不用盯着日志里一堆 429 报错,也不用自己写 fallback。
流式输出也有。
工具调用也有。
这些不算花哨,但现在很多 AI 应用一上来就要这两个东西。没有流式,前端等得像卡死;没有工具调用,Agent 那套又接不上。
FreeLLMAPI 还会追每个 key 的调用频率和用量。
图片
这个细节挺关键。
免费额度最怕的不是少,是你不知道什么时候撞线。撞了之后接口开始抽风,排查半天才发现不是代码问题,是某个平台今天额度没了。
它这里会把这些东西记下来,尽量别超过各家的免费上限。
项目还带了一个管理面板。
能调优先级,看一些分析数据,也能直接测对话。
我对这种面板没有特别高期待,能看清楚 key 还剩多少,哪家最近老限流,就够了。别做成大而全的后台,反而麻烦。
FreeLLMAPI 适合哪类人,其实很明显。!
写 AI 小工具的。
调 prompt 的。
做 Demo 的。
或者手上有一堆免费 key,懒得一个一个接的人。
真要跑生产,还是得自己掂量稳定性、额度来源、各家平台规则这些东西。免费额度拼起来,本来就不是拿来硬抗大流量的。
但拿来前期折腾,很合适。
至少少写一堆重复代码。
