Прямая и обратная задачи оценивания частоты обработки данных в бинарных нейронных сетях

Аннотация

Развертывание бинарных нейронных сетей (BNNS) сопряжено со значительными трудностями, особенно при выборе подходящего оборудования для достижения желаемого уровня производительности и точной оценки вычислительных затрат. Для решения этих проблем была введена новая метрика под названием „XNOROP“, предлагающая упрощенный подход к оценке вычислительных затрат BNNs и представляющая метод сжатия двоичных фильтров. Метрика „XNOROP“ используется для определения и решения двух важнейших задач в BNNs; первая задача, называемая „прямой задачей“, включает в себя оценку скорости вывода данной модели при развертывании на конкретном целевом устройстве; вторая задача, называемая „обратная задача“, описывает систематическую процедуру определения набора целевых устройств, способных обеспечить требуемую скорость вывода при развертывании модели. Расширена базовая формула „XNOROP“ с включением в нее компонентов, сопряженных с временем доступа к памяти, что повысило ее применимость в реальных сценариях развертывания.