임베디드 비전 시스템의 빌딩 블록
글/아론 버만(Aaron Behman), 아담 테일러(Adam Taylor)
임베디드 비전 시스템은 감시 카메라와 같은 간단한 모니터링 시스템에서, 최신 자동차에 적용된 ADAS(Advanced Driver Assistance Systems)나 첨단 제조설비 및 공장에 사용되는 머신 비전(Machine Vision)과 같은 보다 복잡한 첨단 애플리케이션에 이르기까지 수많은 애플리케이션에 사용되고 있다. 임베디드 비전 시스템은 애플리케이션과 상관없이 여러 가지 공통 요소를 가지고 있으며, 하이-레벨(high level)에서는 다음과 같이 그룹화할 수 있다:
• 디바이스 인터페이스: 이는 선택한 이미징 장치와의 인터페이스를 제공하는데, 선택한 장치 유형에 따라 필요한 클럭킹, 바이어스, configuration 데이터를 제공하게 된다. 또한 필요한 경우 장치에서 이미지 데이터를 수신하여 디코딩하고, 이미지 프로세싱 체인에서 추가 프로세싱을 위해 이미지를 포매팅 하기도 한다.
• 이미지 프로세싱 체인: 디바이스 인터페이스로부터 이미지 데이터를 수신하고, 컬러 필터 어레이 보간(interpolation)이나 컬러를 그레이스케일로 변환하는 컬러 공간 변환과 같은 동작을 수행한다. 또한 수신된 이미지에 여러 알고리즘을 적용하는 것도 이러한 이미지 프로세싱 체인 내에서 이뤄진다. 이는 노이즈 감소 또는 가장자리 향상과 같은 간단한 알고리즘에서 객체 인식 또는 광학 플로우와 같은 훨씬 복잡한 알고리즘이 될 수도 있다. 보통 이미지 프로세싱 체인의 upstream 섹션을 알고리즘 구현이라고 하는데, 구현된 upstream 이미지 프로세싱 체인의 복잡도는 구현된 애플리케이션에 따라 다르다. 또한 처리된 이미지 데이터를 올바른 형식으로 변환하여 디스플레이 또는 통신 인터페이스를 통해 출력하는 출력 형식을 downstream 섹션이라고 부른다.
• 시스템 감시 및 제어: 이는 디바이스 인터페이스와 이미지 프로세싱 체인과 별개로, 두 영역에서 시스템을 감시하고, 제어한다. 첫 번째 영역은 제공된 디바이스 내에서 이뤄진다.
○ 이미지 프로세싱 체인의 구성
○ 이미지 분석기능 제공
○ 알고리즘을 실행하는 동안 필요에 따라 이미지 프로세싱 체인 업데이트
두 번째 영역은 제공되고 있는 광범위한 임베디드 비전 시스템의 제어 및 관리이다.
○ 이미지 장치 전원 레일의 전력 관리 및 시퀀싱(sequencing)
○ 자체 테스트 및 다른 시스템 관리 기능 수행
○ 네트워크 지원 및 포인트-투-포인트 통신
○ 첫 번째 이미지 작업 이전에 I2C 또는 SPI 링크를 통해 이미지 장치 구성
일부 애플리케이션에서는 시스템 감시를 통해 프레임 스토어에 액세스하고, 프레임 내에서 알고리즘을 실행할 수 있다. 이 경우 시스템 감시는 이미지 프로세싱 체인의 일부분으로 기능한다.
이러한 영역은 각 단계별로 발생하는 고유한 문제로 인해 구현 기법이 달라질 수 있다. 디바이스 인터페이스와 이미지 프로세싱 체인은 모두 내부적으로는 이미지 프로세싱 체인을 구현하기 위해, 또는 외부적으로는 시스템에서 이미지 데이터를 전송하기 위해 높은 데이터 대역폭을 처리할 수 있어야 한다. 또한 시스템 감시 및 제어는 통신 인터페이스를 통해 수신된 명령을 처리하고 이에 대응할 수 있어야 하며, 외부 통신을 지원해야 한다. 만약 시스템 감시가 이미지 프로세싱 체인의 일부분으로 기능하는 경우라면, 고성능 프로세서가 필요하다.
기존의 임베디드 비전 시스템은 FPGA/프로세서 조합을 이용하거나 또는 고성능 프로세서와 FPGA가 결합된 SoC(System on a Chip) 디바이스를 이용해 구현된다. 각기 다른 3가지 하이-레벨 (high level) 분야의 도전과제들을 살펴보고, 이러한 영역들이 어떻게 조합될 수 있는지 시연해 보도록 하자.
디바이스 인터페이스
센서 인터페이스는 애플리케이션에 채택된 장치에 따라 결정되며, 대부분의 임베디드 비전 애플리케이션은 CIS(CMOS Imaging Sensors)를 이용한다. 일반적으로 이러한 센서는 라인 및 프레임 유효 시퀀스를 표시하기 위해 플래그가 있는 CMOS 병렬 출력 버스를 사용하거나 또는 FPGA 구현은 약간 더 복잡하지만 좀 더 간단하게 시스템 인터페이스를 구현할 수 있는 고속 직렬 통신을 이용한다. 이러한 직렬 데이터 스트림은 훨씬 빠른 데이터 전송속도로 동작하기 때문에 병렬 버스보다 적은 수의 레인으로 이미지를 전송할 수 있어 이미저(imager)가 병렬 인터페이스에 비해 더욱 빠른 프레임 레이트를 지원할 수 있도록 해준다. 한편 동기화가 가능하도록 이미지 및 다른 데이터 워드가 포함된 데이터 채널은 데이터 채널 상의 콘텐츠를 정의하는 코드 워드가 포함된 동기화 채널과 결합되는 것이 일반적이다. 데이터 및 동기화 레인과 더불어, 클럭 레인이 있어야 하는데, 이는 인터페이스가 소스 동기화이기 때문이다. 이러한 고속 직렬 레인은 일반적으로 시스템 노이즈 및 전력을 줄이기 위해 LVDS나 RSLVDS(Reduced Swing LVDS)로 구현된다.
또한 이미지 출력 형식에 상관없이 임베디드 비전 시스템을 구성할 수 있도록 모든 이미지는 CIS 디바이스들로부터 얻어진다. 이는 이미지를 출력하기 전에, 올바른 설정값으로 구성된 온칩 프로세싱을 제공하는 다기능 CIS 디바이스 덕분이다. 이러한 인터페이스는 이미지 전송만큼 대역폭이 중요하지 않기 때문에 일반적으로 I2C나 SPI와 같은 인터페이스 표준이 사용된다.
필요한 이미지 데이터 대역폭이 높다면, 일반적으로 FPGA에 이러한 인터페이스를 구현하게 되며, 이미지 프로세싱 체인과의 통합도 용이하다. CIS 디바이스 구성 인터페이스는 일반적으로 I2C나 SPI 중 하나를 사용하며, 필요한 인터페이스를 지원하는 경우 시스템 감시 및 제어 프로세서 또는 FPGA에 구현할 수도 있다...(중략)
알베오 U55C의 출시로 HPC 업계에 많은 가치 제공할 것
조회수 804회 / Nathan Chang
엣지 센서에서 CPU 가속기까지 ‘버설 AI 엣지 시리즈’
조회수 1005회 / Rehan Tahir
적응형 컴퓨팅, 포스트-무어의 법칙 시대에서 성장을 주도하다
조회수 1355회 / Victor Peng
데이터센터 혁신을 위한 장벽 없는 FPGA 솔루션
조회수 977회 / Kartik Srinivasan 외 2인
자동차 시장의 혁신을 선도하는 자일링스의 DNA
조회수 731회 / Yousef Khalilollahi
CXL, CCIX 기반 PCIe 5와 SmartNIC은 어떻게 가속 솔루션을 혁신하고 있...
조회수 6718회 / Scott Schweitzer
대규모 5G 무선 구축을 위한 혁신적인 징크 RFSoC DFE
조회수 1474회 / Gilles Garcia
SmartNIC 아키텍처: 가속기로의 이행, 그리고 FPGA가 우위를 점하는 이유
조회수 4407회 / Scott Schweitzer
SmartNIC이 일반 NIC보다 뛰어난 이유는?
조회수 1835회 / Scott Schweitzer
PDF 다운로드
회원 정보 수정