죄송합니다. 더 이상 지원되지 않는 웹 브라우저입니다.

반도체네트워크의 다양한 최신 기능을 사용하려면 이를 완전히 지원하는 최신 브라우저로 업그레이드 하셔야 합니다.
아래의 링크에서 브라우저를 업그레이드 하시기 바랍니다.

Internet Explorer 다운로드 | Chrome 다운로드

임베디드 비전 시스템으로 Lattice CrossLink FPGA를 활용한 MIPI 지원 ②


PDF 다운로드



자료제공/ 래티스 반도체


CrossLink FPGA를 사용한 설계
CrossLink FPGA를 사용해서 설계를 할 때 가장 먼저 할 일은, 몇 가지 기본적인 질문들에 대답함으로써 기초적인 아키텍처 의사결정을 하는 것이다. 예를 들어서, 비디오 신호를 입력하고 출력하기 위해서 어떤 PHY와 프로토콜을 사용할 것인가? 그림 10은 이것을 보여준다.

TT(임베디드)-10.jpg
[그림 10] 아키텍처 의사결정

이러한 의사결정은 사용하고자 하는 센서와 디스플레이에 따라서 달라진다. 사용하고자 하는 SoC/ASSP/AP 프로세서에 따라서도 영향을 받는다. 이들 질문에 대답하기 위해서는 이미지나 형식을 어떻게 조작할지 결정해야 한다. 예를 들어서 복제를 할 것인지, 애그리게이션을 할 것인지, 분할을 할 것인지 결정해야 한다. 입력과 출력 데이터 레이트를 결정하고, 여기에다 PHY와 프로토콜 의사결정을 더해서 자신의 디자인으로 얼마나 많은 입력과 출력 레일이 필요할지 계산할 수 있다.
기초적인 아키텍처 의사결정을 토대로 데이터 레이트를 계산할 수 있다. 표 2에서 보듯이, 예를 들어서 풀 HD(FHD) 신호를 사용하고 프레임 레이트는 60Hz이고 색 깊이는 10비트(“RAW10”)라고 하자.

TT(임베디드)-표2.jpg
[표 2] 데이터 레이트 계산

FHD는 해상도가 1920 x 1080 픽셀인 것으로 알려져 있다. 하지만 라인과 프레임 사이에 공백을 추가해야 하므로 실제 해상도는 2200 x 1125이다. 데이터 레이트를 계산하기 위한 공식은 총 데이터 레이트 = 수평 클록 * 수직 라인 * 프레임 레이트 * 픽셀당 비트이다. 그러면 위 예의 경우에 총 데이터 레이트는 2200 x 1125 x 60 x 10 = 1485Mbps(1.485Gbps)이다. 그러면 CrossLink의 프로그래머블 I/O가 최대 대역폭이 1.2Gbps이므로, 2개 레인을 사용해야 하고 각기 레인으로 라인 레이트는 742.5Mbps이다.
CrossLink FPGA는 Video Modular IP 라이브러리를 제공한다. 이들 IP 모듈은 로열티 무료로 제공되며, 비디오 데이터 수신(Rx), 비디오 데이터 전송(Tx), 클록 도메인 변환을 위한 것들로 이루어진다(그림 11).

TT(임베디드)-11.jpg
[그림 11] CrossLink Video Modular IP

대부분 디자인으로 다중의 IP 모듈을 빌딩 블록으로 사용하며, 여기에 디자이너가 RTL로 자체적으로 구현한 것을 추가할 수 있다.
이 그림에서는 디자이너들이 몇 가지 점을 의아하게 생각할 수 있다. CSI-2는 카메라 센서로부터 수신하는 것으로 아는데, 왜 MIPI CSI-2 트랜스미터가 있는 것일까? 마찬가지로, DSI는 디스플레이로 전송하는 것으로 아는데, 왜 MIPI DSI 리시버가 있는 것일까? 이에 대한 대답은, 복제, 분할, 브리징 기능을 위해서 필요할 수 있기 때문이다.
그러면 간단한 SubLVDS 대 MIPI CSI-2 브리징 사례를 보자. 이 경우에는 SubLVDS 리시버 모듈, 픽셀-대-바이트 컨버터 모듈, MIPI CSI-2 트랜스미터 모듈을 사용한다(그림 12).

TT(임베디드)-12.jpg
[그림 12] CrossLink를 사용한 SubLVDS 대 MIPI CSI-2 브리징

픽셀-대-바이트 컨버터를 사용하는 것은, LVDS와 MIPI 형식이 다르기 때문이다. SubLVDS 입력이 10비트(RAW10) 색 깊이라고 하자. 그런데 MIPI 형식은 8비트 패킷을 기반으로 한다. 그러면 최소 공통 배수를 사용한 공통적인 비트 길이를 계산해야 한다. 이 경우에는 40비트이다(그림 13).

TT(임베디드)-13.jpg
[그림 13] CrossLink의 픽셀-대-바이트 IP 모듈을 사용해서 RAW10을 MIPI CSI-2로 변환

이번에는 MIPI 센서 복제 사례를 보자. 이 경우에는 MIPI CSI-2 리시버와 MIPI CSI-2 트랜스미터를 사용한다. 이 사이에, MIPI 프레임을 복제하기 위한 커스텀 RTL을 구현해야 한다. 더 많은 출력이 필요할 때는 다중의 CrossLink FPGA를 사용할 수 있다(그림 14).

TT(임베디드)-14.jpg

[그림 14] MIPI 센서 복제 예

애그리게이션 또한 흔히 필요로 한다. 이것은 다중의 비디오 센서 스트림을 결합하는 것이다. 그림 15는 애그리게이션으로 두 가지 시나리오를 보여준다. 옆으로 나란히 병합하는 것과 가상 채널이다.

TT(임베디드)-15.jpg
[그림 15] MIPI 센서 애그리게이션 예

두 시나리오 모두 2개 MIPI 입력으로 단일 MIPI 출력을 제공한다. CrossLink FPGA는 n개의 MIPI 입력을 지원할 수 있고, n ? 5이다. 2개 입력을 사용하면 출력 데이터 레이트가 입력 데이터 레이트의 2배여야 한다. 옆으로 나란히 병합하는 경우에는 출력이 결합된 이미지이고, 한 라인씩 생성된다.
가상 채널은 MIPI 표준에서 정의하고 있는 개념이다. MIPI는 패킷 기반 프로토콜로서, 각기 패킷으로 헤더와 페이로드(데이터)를 포함한다. 가상 채널을 위해서는 각각의 출력 패킷으로 태깅을 해서 하류의 SoC/ASSP/AP 프로세서가 구분을 할 수 있도록 한다. 현재로서는 대부분의 프로세서들이 가상 채널을 처리하지 못하지만, 머지 않아서 이 접근법이 빠르게 확산될 것으로 예상된다.
센서 애그리게이션으로 또 다른 변형은 상하 병합이다. 이것은 데이터를 그대로 통과시킬 수 없을 때로서, MIPI 트랜스미터를 통해서 무언가를 출력하기 위해서는 전체 이미지 중의 최소한 한 프레임을 저장해야 한다. 그러므로 저장할 프레임 수와 외부적 버퍼의 크기를 선택하는 것이 추가적으로 해야 할 설계 결정이다.

TT(임베디드)-16.jpg
[그림 16] 상하 병합 방식의 MIPI 센서 애그리게이션

외부적 버퍼를 추가하면 상하 병합을 할 수 있을 뿐만 아니라, 회전이나 미러 이미징 같은 추가적인 이미지 조작 작업을 할 수 있다.

설계 프로세스
설계 프로세스는 다음과 같은 단계들로 이루어진다(각 단계와 관련해서 글 말미의 참고문헌 참조):
* RTL 설계[2]
* IP 라이브러리[3]
* 시뮬레이션[2]
* 합성[2]
* 하드웨어 개발 플랫폼[4][5]
* 시스템 디버그[2]
* 추가 자원[6]

래티스 Diamond는 RTL 코드를 포착하고 디자인을 시뮬레이트하고 합성할 수 있는 툴이다. 설계를 위해서 가장 먼저 할 일은 적합한 CrossLink 디바이스를 선택하는 것이다. 래티스 Clarity는 앞서 논의했던 모든 CrossLink Video Modular IP를 포함하는 IP 라이브러리이다. Clarity 인터페이스 상에서 사용하고자 하는 IP 블록들을 선택하고 자신의 커스텀 디자인으로 끌어다 놓을 수 있다.
래티스 Reveal을 사용해서는 디자인을 디버깅할 수 있다. Reveal은 두 가지 요소로 이루어진다. Reveal Inserter와 Reveal Analyzer이다. Inserter를 사용해서는 디버그 신호 생성기를 정의할 수 있고, Analyzer를 사용해서는 자신의 디자인으로 초소형 로직 분석기를 내장하고 트리거 조건과 모니터링하고자 하는 신호들을 지정할 수 있다.
이들 신호 생성기와 분석기는 구성 비트스트림에 포함되어서 CrossLink 디바이스로 로드된다. 내장된 신호 분석기를 사용해서 결과를 표시할 수 있다(그림 17).

TT(임베디드)-17.jpg
[그림 17] 래티스 Reveal의 디버그 신호 분석기 화면

래티스는 일련의 하드웨어 개발 보드를 제공한다. 이러한 것으로서 LIF-MD6000 마스터 링크 보드는 CrossLink 칩을 탑재했으며, 다양한 센서, 디스플레이, SoC/ASSP/AP 디바이스를 연결할 수 있는 커넥터들을 제공한다.
또한 래티스는 3개 보드로 이루어진 비디오 인터페이스 플랫폼(VIP)을 제공한다. 3개 보드는 2개 이미지 센서를 탑재한 CrossLink VIP 입력 브리지 보드, 이미지 신호 프로세서로 동작하는 ECP5 VIP 보드, 결과를 표시하기 위한 HDMI VIP 출력 보드이다(그림 18).

TT(임베디드)-18.jpg
[그림 18] 래티스의 비디오 인터페이스 플랫폼(VIP)

그 밖에도 HDMI VIP 입력 보드, DisplayPort VIP 입력 보드, DisplayPort VIP 출력 보드, USB3-GbE VIP I/O 보드를 비롯한 추가적인 보드들을 제공한다. 이러한 보드들을 활용해서 CrossLink FPGA를 채택한 임베디드 비전 애플리케이션을 쉽고 빠르게 개발할 수 있다.
또한 다음과 같이 특정 용도를 겨냥한 3개의 레퍼런스 디자인을 제공한다:
* N 대 1의 MIPI CSI-2 가상 채널 애그리게이션[7]
* MIPI DSI/CSI-2 대 OpenLDI LVDS 인터페이스 브리징[8]
* SubLVDS 대 MIPI CSI-2 이미지 센서 브리징[9]

래티스는 계속해서 레퍼런스 디자인을 추가할 계획이다. 이에 관해서는 래티스 웹사이트에서 확인할 수 있다.

맺음말
지난 몇 년 사이에 임베디드 비전 사용이 빠르게 늘어나고 있다. 임베디드 비전 시스템을 설계하는 디자이너들에게 해결 과제는, 해상도와 대역폭 요구가 계속해서 높아지고 있고, 시스템으로 점점 더 많은 수의 비전 센서와 디스플레이가 사용되고 있고, 크기와 전력 소모를 계속해서 더 낮추도록 요구 받고 있다는 것이다. 뿐만 아니라 임베디드 시스템으로, 특히 비전 센서 가까이로, AI/ML 사용이 빠르게 늘어나고 있다.
래티스 반도체의 저전력 CrossLink FPGA는 고속 비디오 및 센서 애플리케이션에 사용하기에 적합하다. 전통적인 프로그래머블 패브릭에 하드 구현 PHY를 결합한 CrossLink FPGA는 업계에서 가장 빠른 MIPI D-PHY 브리징 솔루션을 제공한다.
래티스의 제품 포트폴리오는 칩셋, IP, 레퍼런스 디자인, 개발 키트, 소프트웨어 툴을 비롯한 모든 요소를 포함하므로, 진화하는 인터페이스, 에너지 효율적 이미지 신호 프로세싱, 하드웨어 가속화를 비롯해서 오늘날 임베디드 비전 디자이너의 다양한 요구를 충족하는 유연한 솔루션을 제공한다.

참고문헌
[1] https://www.clivemaxfield.com/fundamentals-ai-anns-ml-dl-and-dnns/
[2] http://www.latticesemi.com/en/Products/DesignSoftwareAndIP/FPGAandLDS/LatticeDiamond
[3] http://www.latticesemi.com/view_document?document_id=52211
[4] http://www.latticesemi.com/en/Products/DevelopmentBoardsAndKits/EmbeddedVisionDevelopmentKit
[5] http://www.latticesemi.com/en/Products/DevelopmentBoardsAndKits/ CrossLinkLIFMD6000MasterLinkBoard.aspx
[6] http://www.latticesemi.com/en/Products/FPGAandCPLD/CrossLink
[7] http://www.latticesemi.com/en/Products/DesignSoftwareAndIP/IntellectualProperty/ReferenceDesigns/ ReferenceDesign04/Nto1
[8] http://www.latticesemi.com/en/Products/DesignSoftwareAndIP/IntellectualProperty/ReferenceDesigns/ ReferenceDesign03/MIPIDSICSI2OpenLDILVDS
[9] http://www.latticesemi.com/en/Products/DesignSoftwareAndIP/IntellectualProperty/ReferenceDesigns/ ReferenceDesign04/SubLVDStoMIPICSI2ImageSensorBridge

leekh@seminet.co.kr
(끝)
<저작권자(c) 반도체네트워크, 무단 전재-재배포 금지>

X


PDF 다운로드

개인정보보호법 제15조에 의한 수집/이용 동의 규정과 관련하여 아래와 같이 PDF 다운로드를 위한 개인정보 수집 및 이용에 동의하십니까? 동의를 거부할 수 있으며, 동의 거부 시 다운로드 하실 수 없습니다.

이메일을 입력하면,
(1) 신규참여자 : 성명/전화번호/회사명/분야를 입력할 수 있는 입력란이 나타납니다.
(2) 기참여자 : 이메일 입력만으로 다운로드가 가능합니다.

×

회원 정보 수정