Add Ollama local model provider

This commit is contained in:
2026-03-15 16:24:25 +03:00
parent 6add70fcd2
commit 3df24e27ae
4 changed files with 36 additions and 6 deletions

View File

@@ -27,6 +27,11 @@ ZAI_API_URL=https://api.z.ai/api/paas/v4/chat/completions
ANTHROPIC_MODEL=claude-sonnet-4-20250514
ANTHROPIC_API_URL=https://api.anthropic.com/v1/messages
ANTHROPIC_API_VERSION=2023-06-01
# Ollama (локально; без API key)
# AI_PROVIDER=ollama
OLLAMA_MODEL=llama3.1:8b
OLLAMA_API_URL=http://localhost:11434/v1/chat/completions
DEEPGRAM_API_KEY=your_deepgram_api_key_here
PORCUPINE_ACCESS_KEY=your_porcupine_access_key_here
PORCUPINE_SENSITIVITY=0.8

View File

@@ -54,6 +54,7 @@ flowchart TD
- Системная роль ассистента и `ROLE_JSON` сохраняются для всех поддерживаемых AI-провайдеров.
- Для AI используется строго один активный API key. Если в `.env` оставить несколько ключей, ассистент покажет ошибку конфигурации вместо случайного выбора.
- Поддержка провайдеров сделана внутри одного модуля, но с разным форматом запросов для OpenAI-compatible API и Anthropic.
- Локальные модели через Ollama поддерживаются без API key (через OpenAI-compatible endpoint).
## Быстрый старт
@@ -129,7 +130,7 @@ python run.py
| Переменная | Обязательно | По умолчанию | Назначение |
|---|---|---|---|
| `AI_PROVIDER` | Нет | `openrouter` | Опциональный провайдер AI (`openrouter`, `openai`, `gemini`, `zai`, `anthropic`; также понимает `claude`) |
| `AI_PROVIDER` | Нет | `openrouter` | Опциональный провайдер AI (`openrouter`, `openai`, `gemini`, `zai`, `anthropic`, `ollama`; также понимает `claude`) |
| `OPENROUTER_API_KEY` | Да* | - | Ключ OpenRouter API (*если выбран OpenRouter и только этот AI ключ активен) |
| `OPENROUTER_MODEL` | Нет | `openai/gpt-4o-mini` | Модель OpenRouter |
| `OPENROUTER_API_URL` | Нет | `https://openrouter.ai/api/v1/chat/completions` | Endpoint OpenRouter Chat Completions |
@@ -146,6 +147,8 @@ python run.py
| `ANTHROPIC_MODEL` | Нет | `claude-sonnet-4-20250514` | Модель Claude |
| `ANTHROPIC_API_URL` | Нет | `https://api.anthropic.com/v1/messages` | Endpoint Anthropic Messages API |
| `ANTHROPIC_API_VERSION` | Нет | `2023-06-01` | Версия Anthropic API |
| `OLLAMA_MODEL` | Нет | `llama3.1:8b` | Модель Ollama (локально) |
| `OLLAMA_API_URL` | Нет | `http://localhost:11434/v1/chat/completions` | OpenAI-compatible endpoint Ollama |
| `DEEPGRAM_API_KEY` | Да | - | Ключ Deepgram STT |
| `PORCUPINE_ACCESS_KEY` | Да | - | Ключ PicoVoice Porcupine |
| `PORCUPINE_SENSITIVITY` | Нет | `0.8` | Чувствительность wake word |

View File

@@ -15,6 +15,8 @@ from .config import (
GEMINI_API_KEY,
GEMINI_API_URL,
GEMINI_MODEL,
OLLAMA_API_URL,
OLLAMA_MODEL,
OPENAI_API_KEY,
OPENAI_API_URL,
OPENAI_MODEL,
@@ -81,6 +83,8 @@ _PROVIDER_ALIASES = {
"claude_anthropic": "anthropic",
"gemini": "gemini",
"google": "gemini",
"olama": "ollama",
"ollama": "ollama",
"openai": "openai",
"openrouter": "openrouter",
"z.ai": "zai",
@@ -145,6 +149,18 @@ _PROVIDER_SETTINGS = {
"key_var": "ANTHROPIC_API_KEY",
"model_var": "ANTHROPIC_MODEL",
},
"ollama": {
"provider": "ollama",
"protocol": "openai_compatible",
# Ollama обычно локальный и не требует API key.
"api_key": None,
"requires_api_key": False,
"model": OLLAMA_MODEL,
"api_url": OLLAMA_API_URL,
"name": "Ollama",
"key_var": "OLLAMA_API_KEY",
"model_var": "OLLAMA_MODEL",
},
}
@@ -221,7 +237,7 @@ def _content_to_text(content) -> str:
def _get_provider_config_error(cfg) -> Optional[str]:
if not cfg:
return "Не настроен AI-провайдер. Проверьте файл .env."
if not cfg["api_key"]:
if cfg.get("requires_api_key", True) and not cfg.get("api_key"):
return f"Не настроен {cfg['key_var']}. Проверьте файл .env."
if not cfg["model"]:
return f"Не настроен {cfg['model_var']}. Проверьте файл .env."
@@ -236,10 +252,9 @@ def _build_headers(cfg):
"Content-Type": "application/json",
}
headers = {
"Authorization": f"Bearer {cfg['api_key']}",
"Content-Type": "application/json",
}
headers = {"Content-Type": "application/json"}
if cfg.get("api_key"):
headers["Authorization"] = f"Bearer {cfg['api_key']}"
headers.update(cfg.get("extra_headers") or {})
return headers

View File

@@ -59,6 +59,13 @@ ANTHROPIC_API_URL = os.getenv(
)
ANTHROPIC_API_VERSION = os.getenv("ANTHROPIC_API_VERSION", "2023-06-01")
# Ollama (локальные модели; OpenAI-compatible endpoint)
# Обычно Ollama слушает http://localhost:11434 и предоставляет /v1/chat/completions.
OLLAMA_MODEL = os.getenv("OLLAMA_MODEL", "llama3.1:8b")
OLLAMA_API_URL = os.getenv(
"OLLAMA_API_URL", "http://localhost:11434/v1/chat/completions"
)
# --- Настройки распознавания речи (Deepgram) ---
# Ключ для облачного STT (Speech-to-Text)
DEEPGRAM_API_KEY = os.getenv("DEEPGRAM_API_KEY")