Что такое Оллама (ollama)? Это инструмент для запуска больших языковых моделей (LLM — Large Language Model). С помощью Олламы можно запускать на своём сервере или домашнем компьютере публичные языковые модели. Языковых моделей много, даже очень много, и можно найти подходящую под свои задачи и доступные вычислительные мощности.
Олламу можно разворачивать и использовать различными путями. В своей практике, для заказчиков и личных ПК, использую вот такие три варианта:
1. Всё и сразу через веб-интерфейс (WebUI) и Докер.
В данном случае через Докер установится Оллама и веб-интерфейс для управления ей. Всё будет работать «из коробки». Причем, все языковые модели можно будет загрузить прямо из настроек самого веб-интерфейса, что очень удобно для личного использования. Рекомендую начать знакомство именно с этого варианта.
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
На момент прочтения вами этой заметки могли появится изменения в настройках, поэтому, перед запуском команды следует проверить документацию (docs.openwebui.com).
2. Установка чистого дистрибутива прямо в систему.
Данный вариант неплохо подходит для серверов выделенных только под Олламу. Устанавливая напрямую платформу в систему вам не нужно заботится об абстракциях и взаимодействии Докера, например, с видеокартой или программными и другими аппаратными компонентами.
На странице загрузки доступны варианты установки для всех трёх популярных ОС: Виндоуз, Линукс и Мак.
3. Установка Олламы через Докер для обращения к ней по АПИ.
Аналогичен предыдущему варианту — компоненты ставятся отдельно, но только через Докер.
Вычисления через процессор:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Вычисления с упором на видеокарту от AMD:
docker run -d --restart always --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama -e HSA_OVERRIDE_GFX_VERSION=10.3.0 -e HCC_AMDGPU_TARGET=gfx1030 ollama/ollama:rocm
Вычисления с упором на видеокарту от Nvidia:
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Официальный сайт
- ollama.com — официальный сайт;
- ollama.com/library — список доступных языковых моделей;
- ollama.com/download — страница загрузки;
- github.com/ollama/ollama — ГитХаб;
- github.com/ollama/ollama/blob/main/docs/api.md — АПИ.
Веб-интерфейс для Олламы
- openwebui.com — официальный сайт;
- github.com/open-webui/open-webui — ГитХаб;
- docs.openwebui.com — документация.
О языковых моделях
- github.com/openai/…/how_to_work_with_large_language_models.md — Как работать с большими языковыми моделями.
- github.com/openai/…/techniques_to_improve_reliability.md — Методы повышения производительности.
- github.com/openai/…/text_comparison_examples.md — Примеры сравнения текста.
- github.com/openai/…/what_is_new_with_dalle_3.mdx — Новое в DALL·E-3.
Другие полезные ссылки
- collabnix.com/getting-started-with-ollama-and-docker — How to Install and Run Ollama with Docker: A Beginner’s Guide.
- core247.kz/blog/ollama-local-kubernetes — Ollama в действии: запуск и настройка своего ChatGPT локально и в Kubernetes.
- fixtse.com/blog/ollama-webui — Easiest way to get your own Local AI: Ollama Tutorial.
- raw.githubusercontent.com/fixtse/blueprints/main/docker/docker-compose-ollama-gpu.yaml — пример docker-compose.yml.
- ipex-llm.readthedocs.io/en/latest/doc/LLM/DockerGuides/docker_cpp_xpu_quickstart.html — Run llama.cpp/Ollama/Open-WebUI on an Intel GPU via Docker.
- docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html — Installing the NVIDIA Container Toolkit.
- hostkey.ru/documentation/technical/gpu/ollama/ — Установка Ollama.
- dev.to/berk/running-ollama-and-open-webui-self-hosted-4ih5 — Running Ollama and Open WebUI Self-Hosted With Any AMD GPU.
- youtube.com/watch?v=hHWkvEcDBO0 — Installing Latest TensorFlow version with CUDA, cudNN and GPU support — Step by step tutorial 2021.
Comments are closed.