Điều kiện tiên quyết: Thiết lập SDK
Cài đặt thư viện máy khách chính thức cho ngôn ngữ ưa thích của bạn trước khi cấu hình kết nối. Thư viện xử lý tuần tự hóa JSON, các lần thử lại và các giao thức phát trực tuyến một cách tự động.
Đối với Python, hãy cài đặt gói qua pip. Đối với Node.js, hãy sử dụng npm hoặc yarn để thêm phần phụ thuộc vào dự án của bạn.
Đảm bảo bạn đang sử dụng phiên bản SDK mới nhất để hỗ trợ tất cả các tính năng như gọi hàm và chế độ JSON.
Cấu hình: URL cơ sở & Khóa
Điểm SDK client của bạn đến URL gốc cụ thể của chúng tôi và cung cấp khóa API bạn đã nhận được trong quá trình đăng ký.
URL cơ sở là HTTPS://api.claudellmapi.com/v1. Điều này đảm bảo tất cả các yêu cầu đều đến các máy chủ mô hình không kiểm duyệt của chúng tôi thay vì nhà cung cấp mặc định.
Đặt khóa API dưới dạng biến môi trường hoặc truyền trực tiếp vào hàm tạo client. Không cần thêm tiêu đề nào.
Gửi yêu cầu đầu tiên của bạn
Gửi một yêu cầu hoàn tất trò chuyện đơn giản để xác minh kết nối và chất lượng phản hồi. Sử dụng id mô hình 'uncensored' để truy cập mô hình không hạn chế.
Cấu trúc yêu cầu phản ánh định dạng chuẩn của OpenAI, giúp việc thay thế các tích hợp hiện có trở nên dễ dàng.
Dự kiến phản hồi văn bản chứa câu trả lời của mô hình cho prompt của bạn.
Xử lý phản hồi phát trực tiếp
Bật chế độ streaming để nhận token ngay khi chúng được tạo ra, giảm độ trễ cảm nhận cho các đầu ra dài.
Đặt tham số stream thành true trong yêu cầu của bạn. SDK sẽ phát ra các chunk văn bản khi chúng có sẵn.
Điều này lý tưởng cho các giao diện trò chuyện nơi người dùng mong đợi phản hồi ngay lập tức trong khi mô hình vẫn đang suy nghĩ.
Triển khai Gọi Hàm
Định nghĩa các công cụ trong yêu cầu của bạn để cho phép mô hình trả về dữ liệu có cấu trúc thay vì văn bản thuần túy.
Chỉ định lược đồ hàm và đặt tool_choice thành 'auto' hoặc tên hàm cụ thể.
Mô hình sẽ phản hồi bằng một đối tượng gọi hàm mà bạn có thể thực thi trong mã của mình. Điều này hoạt động liền mạch với mô hình không kiểm duyệt của chúng tôi.
Xử lý lỗi & Giới hạn
Xử lý các lỗi HTTP phổ biến một cách mượt mà để duy trì trải nghiệm người dùng liền mạch. Mã trạng thái 401 cho biết khóa API không hợp lệ hoặc bị thiếu. Mã trạng thái 402 nghĩa là tín dụng trả trước của bạn đã cạn. Mã trạng thái 429 cho biết bạn đã vượt quá giới hạn tốc độ 300 yêu cầu mỗi phút.
Cửa sổ ngữ cảnh của bạn là 100.000 token tổng cộng cho lệnh nhắc và kết quả hoàn thành. Các yêu cầu vượt quá giới hạn thân yêu cầu 8 MB cũng sẽ thất bại.
cURL
curl https://api.claudellmapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "What are the current rate limits for large context windows"}]
}'Python
from openai import OpenAI
client = OpenAI(base_url="https://api.claudellmapi.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudellmapi.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Phát trực tiếp
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)