죄송합니다. 더 이상 지원되지 않는 웹 브라우저입니다.

반도체네트워크의 다양한 최신 기능을 사용하려면 이를 완전히 지원하는 최신 브라우저로 업그레이드 하셔야 합니다.
아래의 링크에서 브라우저를 업그레이드 하시기 바랍니다.

Internet Explorer 다운로드 | Chrome 다운로드

임베디드 비전 시스템으로 Lattice CrossLink FPGA를 활용한 MIPI 지원 ①


PDF 다운로드



자료제공/래티스 반도체


지난 몇 년 사이에 임베디드 비전 사용이 빠르게 늘어나고 있다. 비교적 단순한 비전 기능 도어벨에서부터 공장에서 부품을 탑재하기 위한 정교한 산업용 로봇과 역동적으로 변화하는 환경으로 자율적으로 이동할 수 있는 자율 이동 로봇(AMR)에 이르기까지, 자동차, 컨슈머, 의료용, 로봇, 보안/감시 같은 다양한 분야들로 임베디드 비전이 점점 더 많이 사용되고 있다.
오늘날에는 임베디드 비전과 함께 인공 지능(AI)과 머신 러닝(ML) 시스템을 결합해서 이미지와 비디오 스트림을 분석하고, 물체와 사람을 감지 및 식별하고, 이로부터 얻어진 정보를 가지고 적절한 조치를 취할 수 있게 되었다.
이 글에서는 임베디드 비전의 설계 동향을 살펴보고, 임베디드 비전 시스템으로 FPGA를 어떻게 활용할 수 있는지 설명하고, 래티스 반도체의 CrossLink™ FPGA를 사용해서 임베디드 비전 시스템을 구현하는 것을 설명한다.

임베디드 비전 설계 동향

임베디드 비전 디자인으로 최근의 동향은 점점 더 높은 해상도와 대역폭을 요구하고, 시스템당 비전 센서와 디스플레이 수가 늘어나고, 크기와 전력 소모를 낮추고자 한다는 것이다. 이와 함께 임베디드 시스템으로, 특히 비전 센서 가까이로, AI/ML 사용이 점점 늘어나고 있다.
비전 시스템으로 또 다른 동향은 인터페이스 표준 숫자가 계속해서 늘어나고 있다는 것이다. 표 1은 이러한 주요 인터페이스의 일부만을 보여주는 것으로서, ‘박스 안에서’(다시 말해서 디바이스 내에서) 사용되는 표준은 수 센티미터에서 수십 센티미터만 구동하면 되는데, ‘박스-대-박스’ 인터페이스는 수십 미터에서부터 수백 미터 혹은 그 이상으로까지 비전 데이터를 구동해야 할 수 있다.
이 표에서 PHY는 ‘물리층(physical layer)’을 지칭하는 것으로서, 칩 상으로 구현되는 또는 하나의 칩(IC)으로서 구현되는 전자 회로이다. OSI(Open Systems Interconnection) 모델의 물리층 기능을 구현하기 위해서 PHY가 필요하다. OSI는 컴퓨팅 또는 텔레콤 시스템의 통신 기능을 구분하고 표준화한 것이다.

TT(임베디드)-표1.jpg

[표 1] 주요 비디오 인터페이스

MIPI란 무엇인가?

임베디드 비전 애플리케이션으로 두드러진 경향 중의 하나가 MIPI의 사용이 늘고 있다는 것이다. 특히 CSI-2(카메라/센서) 및 DSI(디스플레이) 프로토콜과 관련해서 그렇다. 둘 다 D-PHY라고 하는 PHY를 사용한다. 대역폭과 인터페이스 길이 측면에서 MIPI는 OpenLDI와 eDP/DP(embedded Display Port/Display Port) 사이의 중간이다.
MIPI Alliance는 전세계적으로 250개 이상의 회원사가 참여하고 있는 국제적 협의체이다. 2003년에 ARM, Intel, Nokia, 삼성, STMicroelectronics, Texas Instruments가 주축이 되어서 MIPI Alliance를 처음 창립했을 때 MIPI는 ‘Mobile Industry Processor Interface’를 지칭하는 것이었다. 하지만 오늘날에는 이 규격이 프로세서 커넥티비티뿐만 아니라 어떠한 디바이스로 포괄적인 인터페이스 요구를 다루게 됨에 따라서 원래의 의미를 넘어서 더 넓은 영역에 사용되고 있다.
MIPI가 어떻게 인기가 높아지고 있는지 보기 위해서, 개인용 컴퓨터(PC)가 인기를 끌기 시작하던 1990년대 중반으로 돌아가 보자(그림 1). 당시에 PC에 사용되던 인터페이스는 PCI(Peripheral Component Interconnect)와 USB (Universal Serial Bus)였다. 가격대가 저렴한 PCI와 USB 기술은 이후로 다양한 유형의 제품에 채택되었다.

TT(임베디드)-1.jpg

[그림 1] PC와 스마트폰 출하 (출처: 래티스 반도체, 업계 애널리스트)

MIPI CSI-2와 DSI-2 프로토콜로도 같은 일이 일어나고 있다. 이들 프로토콜은 애초에 스마트폰 용으로 개발되었다. 2007년에 iPhone이 최초로 출시된 이후로, 스마트폰이 폭발적으로 증가해서 PC를 추월하게 되었다. 이러한 성장으로 규모의 경제가 가능해짐으로써, 저렴한 가격대의 카메라, 디스플레이, 프로세서를 사용할 수 있게 되었고 이로써 이러한 부품들을 스마트폰 이외에 다양한 애플리케이션과 시장 분야에 채택할 수 있게 되었다. (여기서 ‘프로세서’란 시스템온칩(SoC)이나, ASSP(특정 용도 표준형 제품)나, 애플리케이션 프로세서(AP)일 수 있다.)
MIPI에 사용되는 D-PHY 인터페이스(그림 2)는 하나의 차동 클록과 1~4개의 차동 데이터 레인을 사용한다. 이들 데이터 레인은 80Mbps부터 2.5Gbps에 이르는 속도를 지원한다.

TT(임베디드)-2.jpg

[그림 2] MIPI D-PHY 인터페이스

MIPI 인터페이스는 두 가지 동작 모드를 지원한다. 고속(HS)과 저전력(LP)이다. 트랜스미터와 리시버 사이에 기본적으로 단방향인데, 리시버에서 트랜스미터로 일부 저속 통신이 가능할 수 있다.

임베디드 비전 디자인으로 FPGA 활용

임베디드 비전 디자인으로 중요한 요구 중의 하나는, 표준이 변화하는 것에 따라서 아키텍처를 역동적으로 변경할 수 있어야 한다는 것이다. 바로 이럴 때 유용한 것이 FPGA이다. ASIC/ASSP를 사용한 설계와 FPGA를 사용한 설계는 개발 시간에 있어서 상당한 차이가 있다. FPGA를 사용함으로써 개발 시간을 크게 단축하고 제품을 빠르게 출시할 수 있다(그림 3). 그럼으로써 이윤 창출 시점을 앞당길 수 있다.

TT(임베디드)-3.jpg

[그림 3] FPGA를 사용한 개발 시간 단축

중간 크기 ASIC/ASSP를 사용한 제품 개발은 설계에서부터 양산 착수까지 거의 1년이 걸린다. 설계 변경으로 인한 위험이 따른다는 점 말고도, ASIC/ASSP 설계는 많은 프로세스가 얽혀 있기 때문에 어떤 한 프로세스로 지연이 발생되면 다른 프로세스들로 연쇄적으로 영향을 미친다. FPGA 구현의 경우에는 실행 중에 재구성이 가능하므로 어떠한 설계 변경을 편리하게 수용할 수 있다.
디자이너의 관점에서 개발 작업이 RTL(register transfer level)로 디자인을 포착하는 것으로 시작되는 것은 같은데, 나머지 단계들이 시간과 자원이 덜 들거나 또는 아예 생략할 수 있다. FPGA를 사용함으로써 대략 1/3의 시간에 완벽하게 동작하는 디바이스를 달성할 수 있다.
전통적으로 임베디드 시스템 디자이너들에게 FPGA는 크기가 크고 전력을 많이 잡아먹으며 데이터 센터, 통신 허브, 의료 영상, 군용 애플리케이션 같은 대형 애플리케이션에만 적합한 것으로 인식되어 왔다.
이러한 전통적인 FPGA는 수백에서 수천에 이르는 LUT를 제공하고, 50~100와트 혹은 그 이상의 전력을 소모하고, 대형의 55mm x 55mm 패키지에 히트싱크를 사용할 수 있다. 하지만 최근에는 작은 크기와 낮은 전력 소모를 요구하는 애플리케이션을 겨냥해서 특화된 FPGA 제품들이 출시되고 있다. 래티스 반도체는 크기를 최소화하고 최대의 전력 효율을 요구하는 애플리케이션에 사용하도록 소형(10mm x 10mm 크기, 1W 전력 소모)에서부터 극소형(1.4mm x 1.4mm 크기, 1mW 전력 소모)에 이르는 특화된 FPGA 제품들을 제공한다.
소형 ASIC/ASSP에 필적하는 이들 FPGA는 쉽고 빠르게 개발할 수 있으며 훨씬 더 유연하게 사용할 수 있다. 또한 대부분의 범용 FPGA는 산업용과 자동차를 비롯한 다양한 시장에 사용하도록 설계되며 상업용과 산업용 온도 환경을 지원한다. 이와 달리 ASIC/ASSP는 확장 온도 환경을 지원하는 것이 흔하지 않다. 이들 제품은 주로 컨슈머 분야를 염두에 둔 것이기 때문이다.

CrossLink FPGA

래티스 반도체는 크게 4개 FPGA 제품군을 제공한다. ECP™, MachXO™, iCE™, CrossLink이다. ECP 제품군은 ‘전통적인’ FPGA라고 할 수 있는 것들로서, 커넥티비티와 가속화 애플리케이션을 겨냥한 범용 디바이스 제품들을 제공한다. MachXO FPGA는 수백 개의 프로그래머블 입력/출력(I/O)을 제공하므로 GPIO 확장, 인터페이스 브리징, 파워업 관리 기능을 필요로 하는 애플리케이션에 사용하기에 적합하다. iCE는 이들 제품군 중에서 크기가 가장 작은 극저전력 FPGA로서, 이 제품군의 가장 작은 제품은 1.4mm x 1.4mm 패키지로 18개 I/O를 제공한다.
이 글에서 살펴보고자 하는 CrossLink FPGA는 고속 비디오 및 센서 애플리케이션에 사용하기에 적합하다. 전통적인 프로그래머블 패브릭에 하드 구현 PHY를 결합한 CrossLink FPGA는 업계에서 가장 빠른 MIPI D-PHY 브리징 솔루션을 제공하며 최대 12Gbps 속도로 4K UHD 해상도를 지원한다(그림 4). 또한 CrossLink 디바이스는 놀랍도록 크기가 작은 2.46mm x 2.46mm WLCSP 패키지와 BGA 패키지로 제공되며, 피치 간격은 0.4mm, 0.5mm, 0.65mm를 제공한다.

TT(임베디드)-4.jpg

[그림 4] 임베디드 비디오 용으로 CrossLink FPGA는 하드 구현 MIPI D-PHY를 제공하므로, 설계를 간소화하고 성능을 극대화한다.

CrossLink FPGA는 2개의 4레인 MIPI D-PHY 트랜시버(PHY당 6Gbps)를 제공할 뿐만 아니라, 15개 프로그래머블 소스 동기 I/O 쌍을 제공하므로 LVDS, SLVS200, SubLVDS, LVCMOS, OpenLDI(OLDI) 인터페이스 표준을 사용하는 카메라 및 디스플레이 인터페이싱에 사용하기에 적합하다. 이들 프로그래머블 I/O를 사용해서 레인당 최대 1.2Gbps로 실행하는 ‘소프트 MIPI’ 인터페이스를 구현할 수 있으며, LVCMOS를 사용해서 병렬/RGB 인터페이스를 구현할 수 있다.

애플리케이션 사례

CrossLink FPGA를 활용할 수 있는 애플리케이션으로는 센서 브리징, 센서 복제, 센서 애그리게이션, 디스플레이 브리징, 디스플레이 분할을 들 수 있다. 여기서 ‘브리징’은 한 인터페이스 표준에서 다른 인터페이스 표준으로 비디오 신호를 변환하는 것을 말한다.
•  레거시 컨트롤러에 MIPI 센서와 디스플레이 사용: 대표적인 사례로는, 기존 시스템으로 사용하는 SoC, ASSP, 또는 AP가 MIPI를 지원하지 않는데 디자이너가 이 기존의 프로세서(와 코어)를 유지하면서 시스템의 나머지 부분으로 좀더 효율적이고 전력이 낮은 최신의 MIPI 가능 센서와 디스플레이를 사용해서 업그레이드하고자 할 경우를 들 수 있다(그림 5).

TT(임베디드)-5.jpg

[그림 5] CrossLink FPGA를 사용해서 레거시 SoC, ASSP, AP를 MIPI 센서 및 디스플레이와 브리징

•  MIPI 컨트롤러에 레거시 센서와 디스플레이 사용: 그 반대의 상황도 가능하다. MIPI를 지원하는 SoC, ASSP, AP에 MIPI를 지원하지 않는 기존 센서와 디스플레이 서브시스템을 사용하고자 할 때이다. 예를 들어서 산업용에 사용되는 많은 이미지 센서와 디스플레이는 LVDS, SubLVDS, 병렬 인터페이스를 사용한다. 또한 이들 많은 구식 센서는 회전 셔터가 아니라 전역 셔터를 사용한다. 이 때문에 정교한 브리징 솔루션을 필요로 한다(그림 6).

TT(임베디드)-6.jpg

[그림 6] CrossLink FPGA를 사용해서 MIPI 가능 SoC, ASSP, AP를 MIPI를 지원하지 않는 레거시 센서 및 디스플레이와 브리징

•  센서 복제: 센서 복제를 필요로 하는 사례로는 스마트 카 같이 안전성과 관련해서 중복적 데이터를 필요로 하는 애플리케이션을 들 수 있다. 이러한 경우에는 센서로부터의 비디오 피드를 2개 스트림으로 복제하고 2개의 프로세서로 제공한다(다른 많은 인터페이스 표준과 마찬가지로 MIPI는 점-대-점이다. 그러므로 단일 센서를 다중의 프로세서로 직접 연결하는 것이 가능하지 않다).
이렇게 함으로써 어느 한 프로세서로 문제가 발생되었을 때 백업을 할 수 있다. 다중의 센서를 사용하는 경우에 각기 센서로부터의 스트림을 복제하고 이것을 다중의 프로세서로 제공할 수 있다. 센서 복제에 브리징 기능을 결합할 수도 있다. 그림 7은 구성 예를 보여준다.

TT(임베디드)-7.jpg

[그림 7] 안전성 시스템으로 CrossLink FPGA를 사용한 센서 복제

•  디스플레이 분할: 반대의 상황으로 디스플레이 분할의 경우에는 시스템 프로세서에 의해서 생성되는 비디오 신호를 다중의 디스플레이로 제공하도록 분할할 수 있다. 센서 복제와 마찬가지로 디스플레이 분할도 브리징 기능을 결합할 수 있다. 그림 8은 이러한 구성 예를 보여준다.

TT(임베디드)-8.jpg

[그림 8] 안전성 시스템으로 CrossLink FPGA를 사용한 디스플레이 분할

•  센서 애그리게이션: 센서 애그리게이션은 앞서 언급했듯이 시스템으로 갈수록 더 많은 이미지 센서를 사용하는 것과 관련된다. 그런데 일부 프로세서는 센서 입력 수가 제한적일 수 있다. 그러므로 다중의 센서로부터 데이터를 애그리게이션하기 위한 수단이 필요하다.

TT(임베디드)-9.jpg

[그림 9] CrossLink FPGA를 사용한 센서 애그리게이션

센서 복제나 디스플레이 분할과 마찬가지로, 센서 애그리게이션 역시 브리징 기능을 결합할 수 있다.

leekh@seminet.co.kr
(끝)
<저작권자(c) 반도체네트워크, 무단 전재-재배포 금지>

X


PDF 다운로드

개인정보보호법 제15조에 의한 수집/이용 동의 규정과 관련하여 아래와 같이 PDF 다운로드를 위한 개인정보 수집 및 이용에 동의하십니까? 동의를 거부할 수 있으며, 동의 거부 시 다운로드 하실 수 없습니다.

이메일을 입력하면,
(1) 신규참여자 : 성명/전화번호/회사명/분야를 입력할 수 있는 입력란이 나타납니다.
(2) 기참여자 : 이메일 입력만으로 다운로드가 가능합니다.

×

회원 정보 수정