AI编程工具
Lepton
AI开发加速
云原生平台，用于运行和扩展 AI 应用
能做什么
-
云原生运行 AI 应用
-
便于扩展推理服务
-
降低自管集群的门槛
-
适合从原型到可访问服务
-
提供相对简单的上手路径
-
同一平台部署和扩容
典型用法
先部署最小推理服务，打通请求后再扩容。
适合谁
面向要把 AI 应用跑到云上的开发者。
适用场景
- 部署一个开源模型服务
- 用业务样本打通推理
- 按流量扩容实例
- 把服务地址接到现有应用
产品介绍
Lepton 让构建和扩展 AI 程序更简单，用云原生方式运行推理和应用。 适合把模型服务从本机迁到可扩容的云上。 先按文档部署一个推理服务，用真实请求打通后再扩容。