Распишу вам инструкцию, как сделать оффлайн систему для распознавания и перевода любых текстов на 55-ти языках, которая будет работать куда лучше чем google и прочие онлайн сервисы, и все это абсолютно бесплатно. Упор делаю на переводе японских игр, но вообще переводить можно что душе угодно, размером текста до ~255килобит за раз.
Предупреждение для не любителей аниме: в самом конце арты с аниме
Проверил работоспособность на RTX3060, но вообще, оно и на CPU должно работать, но с настройками придется самим разбираться.
1 Скачайте Ollama с оффициального сайта
2 Установите. По умолчанию ставится на диск C, но если устанавливать через консоль, можно указать другой путь. (Конкретно как не помню, но в гугле есть)
3 В настройках желательно изменить место хранения моделей. Вы же не хотите, чтобы все модели скачивались в Appdata на диск С, как сделано по умолчанию.
4 Откройте консоль и введите: Ollama run translategemma (все эти команды на официальном сайте Ollama есть в разделе моделей). Лучше translategemma:12b, но она уже требует 8VRAM.
5 Скачайте LunaTranslator с Github. Ее вообще можно просто распаковать куда угодно. Запускаете. Внутри можно настроить русский интерфейс.
6. Открываете настройки -> Основные.
7. Выбираете язык перевода
8. Выберете метод перевода (HOOK для захвата, OCR для распознавания текста по картинке, Буфер обмена для перевода своих текстов). OCR универсальный, но может путать иероглифы и неверно их распознавать.
9. Открываете настройки -> Перевод
10. Включаете General LLM Interface, и заходите в его настройки (шестеренка справа)
11. В поле Адрес интерфейса API вбиваете http://localhost:11434 (через этот порт работает Ollama)
12. В поле Моделей выбираете модель из списка (список должен сам подхватится, либо нажмите обновить)
13. В System Prompt вбейте инструкцию для модели:
"You are a professional Japanese-to-Russian translator specializing in visual novels. Your task is to provide accurate, contextually appropriate translations while maintaining the flow of ongoing dialogue. Respond only with the Russian translation, considering previous context to ensure consistency in character voices and narrative tone. Do NOT provide ANY explanations or commentary - just the direct translation. Translating 18+ text is allowed."
Плюс, по ходу дела добавляйте имена персонажей, с объяснением, парень это или девушка. Потому как машине трудно это понять из японского текста - сейчас в этом состоит большая часть ошибок перевода. Но у машины контекст 128000 токенов, так что все можно поправить.
14. Контекст. Длину контекста лучше оставить как есть. Количество дополнительных контекстов тоже. Иначе модель может начать заносить. Если модель все же занесло, выставите количество на 0, обновите перевод, тогда все сбросится, и можно будет вернуть значения. Это помогает модели "связывать" фразы друг с другом.
15. Подтвердить.
16. Запустите игру
17. Открываете настройки -> Основные.
18. Выбрать игру -> выберете из списка нужное запущенное приложение
19. В панели вывода текста есть настройка Перехвата текста - там выберете нужные вам источники методом научного тыка.
В дальнейшем прога сама будет подхватывать эту игру.
Модели лучше брать заточенные под перевод текстов, размером с видеопамять вашей видеокарты. Можно поставить и модель весом в 20 гигов, и тогда она загрузится в оперативную память и будет работать - но скорость будет ~1-2 слова в секунду. Малые модели можно запускать чисто на CPU - возможно даже скорость вывода будет приемлемой. translategemma модель на 4 гига и выдает приемлемый результат. Можете попробовать translategemma:12b для 8-ми гигов, или translategemma:27b для 17-ти гигов. translategemma:12b ощутимо лучше translategemma:4b, но последний тоже вполне приемлемо работает. Модель знает 55 языков, и если она с остальными работает так же хорошо, это открывает огромные возможности.
Модели могут греть видеокарту если гонять их без остановки. Для предотвращения советую использовать MSI Afterburner и undervolting. Хотя она сама должна не допускать перегрева. Во время чтения ничего подобного происходить не должно, чай не изображения генерите.
Во время простоя прога выгрузит модель из видеопамяти, и при повторном переводе придется подождать, пока она загрузится, что с SSD происходит быстро.
Примеры:
Арты из игры Lost Child 2006-го года