Недавно исследовательская и опытно-конструкторская группа Homsh® завершила трехуровневую каскадную интеграцию модуля захвата бинокля MD31, платформы RK3588 edge computing и платформы ускорителя FPGA AXU9EGB,и выпустил поэтапный технический отчетОт захвата изображения глаз в 640×480 разрядов серости камерой, через оценку качества, локализацию радужной оболочки, вывод особенностей, 1:N совпадение,чтобы отобразить результаты распознавания обратно на экране .
Для Хомша это больше, чем просто еще один успешный тест интеграции.Это означает, что мы перенесли возможности распознавания радужной оболочки, ранее работавшие на промышленных компьютерах под управлением Windows, в крайнюю архитектуру с меньшим энергопотреблением., более гибкие формы, и возможность встраиваться в различные терминальные устройства.
Вся система использует каскадную архитектуру: захват и обрезка с помощью камеры MD31, доступ и передача с помощью RK3588, вывод с помощью AXU9EGB FPGA и визуальная обратная связь с помощью RK3588.MD31 выводит обрезанные изображения одного глаза для левого и правого глаз; RK3588 работает на Android ARM64, отвечает за бинокулярное сочетание, управление задачами и передачу сети; FPGA обрабатывает шлюз качества и все алгоритмы радужной оболочки,и отправляет результаты обратно на RK3588 для отображения.
Это разделение труда имеет более глубокий смысл: захват камеры и вывод FPGA полностью отсоединены, соединены единым семантическим слоем протокола.Каждый набор изображений левого и правого глаза ассоциируется с идентификатором операции и строго увеличивающимся последовательностью, что позволяет избежать путаницы между предварительными кадрами, кадрами повторных попыток и кадрами из предыдущих задач.как наше наследуемое решение Windows и новое решение RK3588 разделяют один и тот же набор протоколов FPGA и определения результатов вывода, с одним набором бортовых услуг, поддерживающих два поколения систем хоста.
Общий поток данных трехуровневого каскада
FPGA возвращает статус качества, идентичность кандидатов, показатели сходства, расстояния, пороги и продолжительность этапов вместе, делая весь процесс распознавания полностью видимым для пользователей.
Основанная на Zynq UltraScale+ MPSoC FPGA-карте и оснащенная Vitis AI 3.0 и аппаратным ускорением DPU,он выполняет полный семиэтапный процесс вывода: от проверки ввода, локализации зрачка и радужной оболочки через шестипараметрическую круговую модель, качественное закрытие, раскрытие полярных координат Даугмана,к 512-размерной генерации функций радужной оболочки IResNet100, 1:N совпадение после L2 нормализации, и наконец возвращение результатов вместе с задержкой на стадии.
Для того, чтобы позволить глубокой сети сотни уровней стабильно извлекать функции на FPGA, необходимо строгое согласование между квантованием модели, наборами данных калибровки и распределением изображений реальной камеры,а также пользовательский нулевой копии ускорения заднего конца для круговой моделиИменно это делает Homsh уже 15 лет: встраивает алгоритмы в аппаратное обеспечение, чтобы распознавание происходило как можно ближе к устройству.
Семиступенчатый бортовый выводный трубопровод на FPGA
Изображения, не прошедшие проверку качества, отклоняются на третьем этапе, избегая растраты вычислений функций.512-размерный вектор черты радужной оболочки
С точки зрения логики использования система придерживается принципа "строгой регистрации, гибкого признания".как левый, так и правый глаз пользователя должны пройти проверку качества и быть успешно зарегистрированыПри распознавании, напротив, левые и правые глаза выводятся отдельно и сопоставляются:N против шаблонов левого и правого глаза в библиотеке шаблонов соответственноСовпадение из любого изображения глаза с любым шаблоном возвращает результат. Пользователям не нужно позиционировать оба глаза для системы.
Неисправности качества, временные несоответствия или исправляемые ошибки связи не приводят к резкому прекращению задачи. Система сохраняет состояние задачи и продолжает ждать следующего набора изображений;после восстановления соединенияКаждый этап распознавания: качество, сходство, расстояние, порогзадержка , делая успехи, неудачи и повторные попытки видимыми для пользователей.
Регистрация требует полного бинокля, а распознавание требует только совпадения с одним из глаз, сбалансируя безопасность и пользовательский опыт.
Мы гордимся тем, что в этом докладе есть методология, в которой все результаты проверки разделены на четыре категории:"Исторически подтверждено" из предыдущих записей интеграции176 автоматизированных тестов на базе Windows все прошли,150 прошедших бортовых тестов Python, а также функции регистрации/признания и восстановления соединения завершена интеграция. Все это задокументировано в отчете.Предметы, которые еще не были повторно протестированы на месте, также четко обозначены черно-белым цветом "Должно быть проверено", без двусмысленности.
Признание радужной оболочки - это бизнес идентичности, не оставляя места для "вероятно, все в порядке".
Три ключевых показателя: 512-размерные функции, сгенерированные с помощью ускорения DPU; все 176 автоматизированных базовых тестов Windows прошли; 150 встроенных записей тестов Python прошли.
Общее мнение отчета заключается в том, что текущее решение заложило основу для поэтапной демонстрации, интеграции и документации,с четкими архитектурными границами и технически осуществимой архитектурой каскадаСледующие приоритеты столь же ясны: стабильность от конца до конца, качество изображения в режиме реального времени, последовательность разворачивания полярных координат и мониторинг состояния закрытого цикла для долгосрочной работы,перемещение трубопровода с "функционального" на "стабильный и надежный", а затем к готовым к производству продуктам.
От самостоятельно разработанных чипов распознавания радужной оболочки, до программно-аппаратного взаимодействия между алгоритмами и FPGA, до сегодняшней полной системы распознавания, встроенной в краевые устройства,Хомш всегда считал, что будущее биометрии лежит на краюЭтот поэтапный доклад - это еще один шаг к этому будущему.
