Skip to content

[编程挑战季] 开发对接大模型 Adapter。 #51

@peng3307165

Description

@peng3307165
  1. 问题简述
    提供大模型一键对接ModelCache能力,包括Cache引流控制,大模型调用,缓存查询,数据回写等能力。
    其中的大模型调用规范基于OpenAI规范,参考:https://platform.openai.com/docs/api-reference/chat/create
  2. 期望产出
    Adapter模块,能够接收用户请求,在Cache中查询是否命中,并调用大模型服务。解析返回,回写缓存。
  3. 能力要求
    熟悉python代码,具备基础的fast api开发能力

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type
No fields configured for issues without a type.

Projects

Status

Done

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions