Požadavky: Nastavení SDK
Nainstalujte oficiální klientskou knihovnu pro preferovaný jazyk před konfigurací připojení. Knihovna automaticky zpracovává serializaci JSON, opakování a streamovací protokoly.
Pro Python nainstalujte balíček přes pip. Pro Node.js použijte npm nebo yarn k přidání závislosti do vašeho projektu.
Ujistěte se, že používáte novou verzi SDK pro podporu všech funkcí, jako je volání funkcí a režim JSON.
Konfigurace: Základní URL & Klíč
Nasměrujte klienta SDK na naši konkrétní základní URL a zadejte API klíč, který jste získali při registraci.
Základní URL je HTTPS://api.claudellmapi.com/v1. To zajišťuje, že všechny požadavky jdou na servery našeho modelu bez omezení místo výchozího poskytovatele.
Nastavte API klíč jako proměnnou prostředí nebo ho předáte přímo do konstruktoru klienta. Žádné další hlavičky nejsou vyžadovány.
Odeslání první žádosti
Pošlete jednoduchý požadavek na chat completion pro ověření připojení a kvality odpovědi. Použijte ID modelu 'uncensored' pro přístup k neomezenému modelu.
Struktura požadku odpovídá standardnímu formátu OpenAI, což usnadňuje výměnu stávajících integrací.
Očekávejte textovou odpověď obsahující odpověď modelu na váš prompt.
Zvládání streamovaných odpovědí
Povolte streamování pro příjem tokenů, jak jsou generovány, což snižuje vnímanou latenci pro dlouhé výstupy.
Nastavte parametr stream na true ve svém požadavku. SDK bude vydávat části textu, jak budou k dispozici.
To je ideální pro chatovací rozhraní, kde uživatelé očekávají okamžitou zpětnou vazbu, zatímco model stále přemýšlí.
Implementace volání funkcí
Definujte nástroje v těle žádosti, aby model vracel strukturovaná data místo prostého textu.
Upřesněte schéma funkce a nastavte tool_choice na 'auto' nebo konkrétní název funkce.
Model odpoví objektem volání funkce, který můžete vykonat ve svém kódu. To funguje bezproblémově s naším modelem bez cenzury.
Zpracování chyb & Limity
Gracefully zvládněte běžné HTTP chyby pro hladký uživatelský zážitek. Status 401 označuje neplatný nebo chybějící API klíč. Status 402 znamená, že je vyčerpán váš předplacený kredit. Status 429 signalizuje, že jste překročili limit rychlosti 300 požadavků za minutu.
Váš kontextový okno má 100 000 tokenů pro prompt a dokončení dohromady. Požadavky přesahující limit těla 8 MB také selžou.
cURL
curl https://api.claudellmapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "What are the current rate limits for large context windows"}]
}'Python
from openai import OpenAI
client = OpenAI(base_url="https://api.claudellmapi.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.claudellmapi.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Streamování
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)