Локальные модели: полный обзор

# Скачать модель и задать ей вопрос — всё на своём сервере
ollama pull qwen3:8b
ollama run qwen3:8b "Перескажи условия доставки в двух предложениях"

# Та же модель по HTTP: OpenAI-совместимый API на порту 11434
curl http://localhost:11434/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model": "qwen3:8b", "messages": [{"role": "user", "content": "Привет"}]}'

// Один клиент для облачной и локальной модели: меняются только адрес, ключ и модель
const LLM_URL = process.env.LLM_URL ?? 'http://localhost:11434/v1';
const LLM_MODEL = process.env.LLM_MODEL ?? 'qwen3:8b';

export async function complete(prompt: string): Promise<string> {
  const res = await fetch(`${LLM_URL}/chat/completions`, {
    method: 'POST',
    headers: {
      'Content-Type': 'application/json',
      Authorization: `Bearer ${process.env.LLM_KEY ?? 'local'}`,
    },
    body: JSON.stringify({
      model: LLM_MODEL,
      messages: [{ role: 'user', content: prompt }],
      temperature: 0.2, // меньше неожиданностей в деловых ответах
    }),
  });
  if (!res.ok) throw new Error(`LLM: HTTP ${res.status}`);
  const data = (await res.json()) as { choices: { message: { content: string } }[] };
  return data.choices[0].message.content;
}

# /etc/systemd/system/ollama.service.d/override.conf — Ollama на рабочем сервере
[Service]
# Слушать только приложения на этом сервере, а не интернет
Environment="OLLAMA_HOST=127.0.0.1:11434"
# Держать модель в памяти между запросами — без холодного старта
Environment="OLLAMA_KEEP_ALIVE=24h"
# Сколько запросов одна модель обслуживает одновременно
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
# Потолок: модель не сможет занять память всего сервера
MemoryMax=24G