资源保障
为保证资源的高效使用,引入速率限制(Rate Limits),以确保服务的可用性、稳定性。
资源详情
我们通过RPM(每分钟发送的请求数限制)维度进行速率限制: 具体速率限制情况如下表所示:| 接口名 | generate-v1 |
|---|---|
| 模型 | Luna-TTS-1 |
| 限制类型 | RPM |
| 充值用户 | 20 |
| 免费用户 | 10 |
相关说明
1、什么是速率限制
速率限制(Rate Limits)是 API 对用户在指定时间段内可以访问服务器的次数/消耗的 token 数,所作出的限制。其中 VUILabs 的 API 的速率限制为:RPM 。
- RPM 是指 API 对用户在指定时间段内可以访问服务器的次数所作出的限制
2、为什么会有速率限制
速率限制是 API 的常见做法,实施速率限制有几个不同的原因:- 有助于防止 API 被滥用和误用。例如,防止有些用户恶意的超载调用 API,试图使其过载或导致服务中断。我们通过设置速率限制可以防止此类恶意使用的发生
- 速率限制有助于确保每个人都可以公平访问 API。防止一个人或组织发出过多的请求,造成可能会使其他人的 API 资源分配不均的情况。通过限制单个用户可以发出的请求数量,可以确保最多的人有机会使用 API,而不会遇到速度变慢的情况
- 通过设置速率限制,VUILabs 可以帮助为所有用户保持流畅一致的体验
3、如果触发速率限制会怎样?
您将收到速率限制的返回报错,其表示您在短时间内发出了太多请求,或者短时间发出了太多的字符。此时 API 将会拒绝满足进一步的请求,直到经过指定的时间。4、如何更好的在限速策略下进行 API 的使用
由于 API 对每分钟请求数和每分钟 token 数有单独的限制,所以我们建议您集中处理请求。如果您的每分钟请求数量已经达到了限制,但是每分钟的 token 数量仍然具有可用容量,则建议您可以通过将多个任务批量放到每个请求来提高 token 的吞吐量。这样将允许您每分钟处理更多的 token 数。
5、如何提高速率限制
我们的默认限速是为了帮助最大限度的提高 API 调用的稳定性,以及更公平合理的将相应资源进行分配。如果您认为您拥有必要的流量数据以来申请提高速率限制时,您可以通过页面底部官方客户或邮件api@minimaxi.cn 进行提高速率限制的申请。
需要您知悉的是,提高限速有时可能需要 3-5 个工作日,因此如果您有确定数据支持您的申请时,为了不影响您的产品的正常上线发布,请务必尽早提交限速提升申请。
