Для хакинга в Cyberpunk 2077 сделали мобильное приложение, распознающее коды с экрана

С обучением модели для распознавания кодов пришлось повозиться.

В Cyberpunk 2077 есть хакерская мини-игра: чтобы взломать устройство, игрокам нужно подбирать правильные комбинации кодов. Разработчик govizlora решил упростить этот процесс и создал для взлома мобильное приложение.

Приложение govizlora — по сути, специальный сайт, запрашивающий доступ к камере смартфона. От игрока требуется навести камеру на фрагмент экрана, где отображается кодовая матрица и последовательность кодов. Дальше система сделает все сама.

Алгоритм подсказывает игроку оптимальные «маршруты», позволяющие разблокировать все возможные действия. На создание приложения, рассказывает govizlora в сабреддите Cyberpunk 2077, у него ушло порядка двух дней.

Больше всего времени пришлось потратить на обучение нейросети, занимающейся распознаванием символов. Готовые модели выдавали огромное количество ошибок, поэтому govizlora пришлось сгенерировать 24 тысячи изображений с разными комбинациями символов для обучения собственной модели.

В будущем govizlora планирует превратить приложение в автономное — так, чтобы для его работы не требовалось подключение к сети — и добавить загрузку изображений с кодовой матрицей вдобавок к получению данных с помощью камеры.