Запускаем LLM на AMD RX580: разбор проблем ROCm, Ollama и реальный GPU inference
0
3 дня борьбы с ROCm, RX580 и Ollama: как я запустил LLM на домашней видеокарте
Я попытался запустить LLM inference на старой AMD RX580 через ROCm и Ollama в Kubernetes. GPU определялся, VRAM занималась, контейнеры запускались — но inference падал с ошибками hipMemGetInfo, а иногда просто выдавал бессмысленный текст.
В статье — полный инженерный разбор:как диагностировать реальный GPU compute (а не просто VRAM usage), почему Vulkan помог найти root cause, какие версии ROCm и kernel оказались рабочими, и как добиться стабильной генерации ~42 tokens/sec на RX580.
Читать расследование