Методы распознавания капчи с помощью нейронных сетей

Загрузчик разбивает тестовый набор на пакеты и предоставляет эти пакеты для оценки модели.В результате, был выполнен процесс подготовки данных к обучению нейронной сети.Здесь определяем нашу модель. Архитектура довольно проста: используем два слоя CNN для получения информации из изображений, а затем используем GRU для последовательного анализа каждой доступной буквы. GRU расшифровывается как GatedRecurrent Unit, который представляет собой тип архитектуры рекуррентной нейронной сети (RNN). Он используется для задач последовательной обработки данных, таких как обработка естественного языка. Последовательный анализ каждой доступной буквы означает обработку последовательности букв одну за другой с использованием модели GRU. Это позволяет модели фиксировать зависимости и шаблоны в последовательности, что делает ее полезной для таких задач, как генерация текста, распознавание речи и машинный перевод.Что касается функции потерь, используем CTCLoss для последовательного поиска ошибки. Написали функцию `get_loss_function`, которая использует модуль `nn.CTCLoss` из библиотеки PyTorch для вычисления функции потерь CTCLoss (ConnectionistTemporalClassification) для задачи распознавания речи или последовательностей.Код выполняет следующие действия:1. Вычисляет логарифм от softmax значений `x` с использованием функции `F.log_softmax`.2. Создает тензор `input_lengths`, заполняя его значениями размера `bs` (размер пакета) и заполняет его значением `log_softmax_values.size(0)` (размер последовательности).3. Создает тензор `target_lengths`, заполняя его значениями размера `bs` и заполняет его значением `targets.size(1)` (длина целевой последовательности).4. Возвращает значение функции `nn.CTCLoss`, принимая в качестве аргументов `log_softmax_values`, `targets`, `input_lengths` и `target_lengths`. `blank=0` указывает, что используется символ-заполнитель с индексом 0.Функция `nn.CTCLoss` используется для обучения моделей, решающих задачи распознавания последовательностей с переменной длиной.В итоге, создали класс для создания модели MyCaptchaModel.Он состоит из нескольких слоев:1. Слой свертки `conv1` с 3 входными каналами (RGB) и 128 выходными каналами. Используется ядро свертки размером 3x3 с заполнением 1x1.2. Слой максимального пулинга `maxpool1` с ядром размером 2x2.3. Слой свертки `conv2` с 128 входными каналами и 64 выходными каналами. Используется ядро свертки размером 3x3 с заполнением 1x1.4. Слой максимального пулинга `maxpool2` с ядром размером 2x2.5. Полносвязный слой `linear1` с 1152 входными нейронами и 64 выходными нейронами.6. Слой исключения `drop1` с вероятностью 0.2 для исключения случайных нейронов во время обучения.7. Рекуррентный слой `gru` с 64 входными нейронами и 32 скрытыми нейронами. Бидирекциональность и два слоя GRU используются для учета контекста с обоих сторон. Вероятность 0.25 применяется для отсева нейронов во время обучения.8. Полносвязный слой `output` с 64 входными нейронами и (num_chars+1) выходными нейронами. В данном случае, num_chars представляет количество символов, которые могут появиться на капче, и добавляется 1 для учета класса "нет символа" (нулевой символ).Далее скомбинируем всё, что разработали ранее. Загружаем данные в data_loader, а затем создаем прогнозы на основе модели CRNN. CTCLoss выдает потери, а затем корректируем веса, чтобы получить более точные прогнозы на следующую эпоху. Как только потери стабилизируются, то сохраняем модель и используем ее для прогнозов.Далее запустили процесс обучения на 30 эпохах, но сработала ранняя остановка.Так как значение потери при тестировании стало меньше трешолда в 0.05, то обучение завершилось на 23 эпохах. Через matplotlib создаем линейный график, чтобы увидеть изменение значения потерь на протяжении всего процесса обучения. Как видим, потери уменьшаются, а затем, когда они выравниваются, то реализуем раннюю остановку, чтобы предотвратить переобучение. Тут постоянно идет валидация на 10 % от всех обучающих данных.Рисунок20 –график функции потерь при обученииПроизвести эксперимент не так-то просто благодаря всем вышеописанным преобразованиям по подготовке данных.Сначала создали двефункции: get_imageиget_sample_photo.И вот именно с помощью созданных функций можем получать случайное изображение с меткой, отправлять на вход модели, отрисовывать изображение капчи и выводить на экран результат предсказания модели.Рисунок 22 –эксперимент по распознаванию капчиВ итоге, эксперимент по тесту модели прошел успешно.Концепция коммерческого продукта, основанного на автоматическом распознавании визуальной CAPTCHA, предполагает создание системы или программного обеспечения, способного автоматически решать задачи CAPTCHA без вмешательства человека.В продукте будут использоваться передовые алгоритмы распознавания изображений, методы машинного обучения и искусственный интеллект для анализа и интерпретации визуальных элементов изображений CAPTCHA для определения правильного ответа. По сути, это будет копировать человеческую способность расшифровывать искаженные или сложные символы, символы или изображения, часто используемые в тестах CAPTCHA.Однако важно учитывать потенциальные этические проблемы и последствия для безопасности. Автоматическое распознавание CAPTCHA может подорвать запланированные меры безопасности, потенциально делая возможными вредоносные действия, такие как автоматическое создание учетных записей или рассылка спама. Внедрение дополнительных уровней безопасности наряду с системой автоматического распознавания будет иметь решающее значение для снижения этих рисков.В заключение, эта дипломная работа направлена на разработку и реализацию классификатора капчи нейронной сети с использованием Python. Благодаря обширным исследованиям и экспериментам успешно продемонстрировали эффективность использования нейронных сетей для задач классификации капчи.Исследование началось с предоставления всестороннего обзора технологии капчи, ее цели и ее растущей значимости в цифровом мире. Исследовали существующие алгоритмы автоматического распознавания капчи.Далее углубились в теоретические основы нейронных сетей, обсудив различные архитектуры и алгоритмы, обычно используемые в задачах классификации изображений.После теоретической подготовки приступили к практической реализации классификатора капчи. Нашли разнообразный набор данных изображений капчи и предварительно обработали их.Затем набор данных был разделен на наборы для обучения и тестирования, чтобы точно оценить производительность модели.Используя язык программирования Python, задействовали популярную и мощную библиотеку глубокого обученияPyTorchдля построения архитектуры нейронной сети. Выбрали тип нейронной сети CNN. Далее провели кропотливую работу по подготовке данных и созданию всех необходимых для нейронной сети и успешного обучения. Процесс обучения включал в себя итеративную подачу пакетов изображений в сеть, расчет потерь и обновление весов сети с использованием обратного распространения ошибки. Отслеживали ход обучения модели и использовали раннюю остановку, чтобы предотвратить переобучение.По завершении обучения оценили работу классификатора на одном из примеров, для этого также создали некоторые вспомогательные функции. В конце работы, предложили детальную концепцию коммерческого продукта для распознавания капчи на основе нейронной сети.