Как выбрать сенсор для машинного зрения
Качество машинного зрения определяет не число мегапикселей, а вся цепочка: сцена, освещение, объектив, shutter, pixel/SNR, интерфейс, обработка и механическая стабильность. Сенсор 12 Мп может давать хуже результат, чем 2,3 Мп global-shutter, если объект движется или света мало. Ошибки оптики и экспозиции невозможно полностью исправить нейросетью. Начинайте с минимального различимого дефекта и скорости объекта. Затем рассчитывайте поле зрения, размер пикселя на объекте, blur, photon budget и data rate.
Определите объект и критерий решения
Запишите размер минимального дефекта, контраст, материал, скорость/ускорение, диапазон расстояний и допустимую вероятность ошибки. Нужно ли измерить геометрию, прочитать маркировку, найти цвет или классифицировать поверхность? Для метрологии важна калибровка и telecentric optics, для OCR — контраст и motion blur, для presence — достаточно меньшего разрешения.
Создайте набор реальных деталей: хорошие, пограничные и дефектные при разных партиях/загрязнении. Выбор камеры по красивой тестовой таблице без изделия рискован.
Поле зрения и пространственное разрешение
Если поле 200 мм проецируется на 1920 пикселей, масштаб около 0,104 мм/px. Для надёжного обнаружения дефекта 0,2 мм всего двух пикселей обычно мало; нужно 3–5 и более пикселей в зависимости от алгоритма/контраста. Значит, либо сужают FOV, либо повышают разрешение.
Учитывайте usable pixels после distortion correction и ROI. Оптика должна разрешать нужную пространственную частоту; мегапиксели без подходящего MTF объектива не добавляют информации.
Global или rolling shutter
Global shutter экспонирует все пиксели одновременно, поэтому движущийся объект сохраняет геометрию. Rolling shutter считывает строки последовательно: движение превращает прямые линии в наклон/деформацию, а PWM-свет — в полосы. Rolling сенсоры часто дешевле и имеют хорошую чувствительность, поэтому подходят статичной сцене.
Можно заморозить движение короткой вспышкой даже с rolling shutter, если глобальная exposure window/режим это допускает. Но timing должен быть подтверждён datasheet и осциллографом.
Motion blur
Смазывание на сенсоре в пикселях примерно blur_px = скорость_объекта × exposure / масштаб_мм_на_px. При 1 м/с, 100 мкс и 0,1 мм/px blur = 1 px. Для 0,2 px exposure должна быть около 20 мкс.
Короткая выдержка требует больше света или усиления. Повышение analog gain усиливает и шум; мощный strobe может перегреть LED или создать опасную яркость. Считайте illumination pulse current, duty cycle и синхронизацию.
Размер пикселя и чувствительность
Крупный pixel собирает больше фотонов при одинаковой irradiance/exposure и обычно имеет лучший SNR/full well, но уменьшает разрешение при том же размере кристалла. Малый pixel требует хорошей оптики и света. Quantum efficiency зависит от wavelength; для NIR выбирайте sensor/cover с соответствующей характеристикой.
Не сравнивайте sensitivity по одному marketing value. Полезны параметры EMVA 1288: quantum efficiency, temporal dark noise, saturation capacity, dynamic range и SNR.
Dynamic range и HDR
Глянцевая деталь содержит яркий блик и тёмную область. Если exposure выбран для тени, блик saturated; если для блика — тень шумная. HDR sensor использует несколько exposure/gain или special pixel, но движение между sub-exposures создаёт artifacts.
Часто лучше улучшить освещение: diffuse dome, polarizers или coaxial light уменьшают диапазон сцены. HDR — не замена оптической постановке.
Цветной или монохромный
Монохромный sensor не теряет свет на Bayer filter и даёт полное spatial resolution каждой точки. Он предпочтителен для геометрии, монохромной маркировки и NIR. Цвет нужен, если hue — диагностический признак, но требует demosaic, white balance и стабильного спектра света.
Для цветовой метрологии фиксируйте illuminant, exposure и calibration target. Automatic white balance может скрыть реальное изменение цвета продукта.
Объектив и рабочее расстояние
Размер sensor, focal length и distance определяют FOV. Проверьте image circle, mount, back focal distance, aperture, distortion и chief-ray angle. C-mount удобен промышленной оптикой; M12 компактен, но качество/фиксация vary.
Depth of field увеличивается при закрытой aperture, но diffraction и потребность в свете растут. Для точных размеров telecentric lens уменьшает perspective error, однако дороже и больше.
Освещение
Bright-field подчёркивает поверхность, dark-field — царапины/края, backlight — контур, coaxial — плоские отражающие детали. Поляризаторы уменьшают glare, но теряют свет. Wavelength выбирают по контрасту материала; NIR/UV могут выявить особенности, невидимые глазу.
LED driver должен иметь стабильный ток и trigger. Flicker от сетевого света создаёт frame-to-frame variation; экранируйте внешнее освещение или синхронизируйте.
Интерфейс и data rate
Сырой поток width × height × fps × bits_per_pixel. 1920×1200×60×12 ≈ 1,66 Гбит/с до overhead. MIPI CSI-2 удобен внутри устройства на короткой плате/шлейфе, USB3/GigE/CoaXPress — для внешней камеры с разной дальностью и latency.
Проверьте число lanes, lane rate, host support, DMA, buffer memory и cable. Интерфейс управления I²C не переносит pixel data. Compression уменьшает bandwidth, но может скрыть мелкий дефект.
Trigger и latency
Для conveyor камера получает trigger от photo sensor/encoder. Нужно знать input latency, jitter, exposure start и strobe output. Rolling/global modes имеют разные timing. Encoder-based trigger компенсирует изменяющуюся скорость.
Frame timestamp должен соответствовать exposure, а не моменту окончания передачи. Для нескольких камер нужен общий trigger или синхронизация PTP с известной точностью.
Тепло и dark noise
Sensor и ISP нагреваются, dark current/noise растёт, фокус корпуса меняется. Отводите тепло от sensor board без деформации lens mount. Камера, работающая на 60 fps, может иметь иной black level после прогрева.
Калибровку black/flat-field выполняют при рабочих температурах. Для закрытого корпуса проверяют стабильность часами.
Составьте паспорт оптического тракта
Зафиксируйте sensor variant, lens MPN, aperture/focus lock, рабочее расстояние, illumination wavelength/current/pulse, polarizers и cover/window. Добавьте exposure/gain/black level, trigger delay и temperature. Без такого паспорта успешный алгоритм невозможно воспроизвести на следующей установке.
Acceptance image set снимают несколькими серийными камерами и объективами после прогрева. Проверяют FOV, focus/MTF по полю, distortion, shading, saturation, SNR и dead pixels. Механическая фиксация должна пережить vibration/transport без ухода фокуса.
Свяжите качество изображения с качеством решения
Установите не только pixel-level границы, но и конечные метрики: miss/false reject на валидационной партии, latency, throughput и долю кадров с over/underexposure. Сохраняйте примеры пограничных решений и raw frames до необратимой компрессии. При смене illumination или sensor новый набор проходит полный regression, даже если нейросеть не менялась.
Практический пример
Нужно обнаружить царапину 0,15 мм на детали, движущейся 0,8 м/с, поле 120 мм. Для 4 px на дефект нужен масштаб ≤0,0375 мм/px, то есть по ширине минимум 3200 пикселей. Выбирают global-shutter sensor около 3–5 Мп, short exposure и dark-field strobe.
Прототип проверяют на worst-case поверхности/скорости, измеряют blur и histogram. Если алгоритм работает только при gain max, увеличивают свет/объектив, а не сразу модель.
Примеры из каталога ChipBaza
AR0234CSSM28SUKA0-CP — пример CMOS image sensor onsemi с global shutter, пригодного для задач с движением. Полный suffix определяет исполнение/упаковку. Отдельный sensor не является готовой камерой: требуются объектив, питание, clock, MIPI/parallel receiver, ISP и механика.
Наличие компонента в каталоге подтверждает пример, но перед разработкой проверяют официальный lifecycle, CFA/mono variant, interface и reference design.
Что закрепить в BOM камеры
Фиксируйте sensor variant/CFA, lens MPN, mount, IR cut/filter, illumination LED/driver, interface clock и thermal stack. Bare die/sensor и готовая camera module — разные поставочные формы. Alternate sensor требует PCB, driver/ISP tuning, optics и полный image/algorithm regression. Входной контроль камеры проверяет dead pixels, focus/MTF, shading и serial/calibration, а не только получение кадра.
Типовые ошибки
- выбирать по мегапикселям без mm/px;
- использовать rolling shutter на быстром объекте без strobe анализа;
- закрывать aperture, не пересчитав diffraction и свет;
- надеяться на HDR вместо правильного освещения;
- считать MIPI CSI-2 внешним кабельным интерфейсом без bridge;
- забывать host bandwidth и buffers;
- использовать auto exposure/white balance для метрологии;
- калибровать холодную камеру, а работать горячей.
Чек-лист системы зрения
- задан минимальный дефект и набор реальных образцов;
- рассчитаны FOV, mm/px и motion blur;
- shutter, exposure и strobe согласованы;
- sensor/optics/lighting покрывают SNR и dynamic range;
- data rate укладывается в interface/host/storage;
- trigger/timestamp/jitter измерены;
- выполнены geometric, radiometric и thermal calibration;
- модель проверена на пограничных и серийных деталях.
Источники для технической проверки
Параметры и ограничения сверяйте с актуальной документацией производителя для полного артикула и нужного исполнения.
Следующий шаг
Проверьте артикулы и количество до отправки заявки
Загрузите спецификацию в BOM-сервис или пришлите полный код производителя менеджеру. Если точное совпадение не доказано, позиция останется на ручной проверке.