Synopsys Cloud
Cloud native EDA tools & pre-optimized hardware platforms
Request a Free Evaluation →
해당 포스팅을 영어 원문으로 읽어보시려면 여기를 클릭해주십시오.
Using Image Simulation to Design Cameras
결상 설계 트렌드: 디지털 카메라 설계에 이미지 시뮬레이션을 활용하는 방법
카메라는 의료 장비부터 자동차, 스마트폰, CCTV와 같은 보안 및 감시 시스템에 이르기까지 우리의 일상 생활에 널리 상용화 되어 있습니다. 오늘날 데이터의 절반은 이미지와 영상이라고 해도 과언이 아니며, 대부분은 휴대용 시스템을 통해 생성됩니다. 엣지는 클라우드에 비해 소형화, 낮은 전력 소비, 지연 시간 등, 해결해야 할 많은 과제를 안고 있습니다. 2시간 동안 배터리를 방전시키지 않고 스마트폰에서 멋진 이미지를 얻으려면 어떻게 해야 할까요? 자율 주행 시스템이 대용량 클라우드 데이터 용량 없이 10대의 카메라에서 동시에 이미지를 분석하려면 어떻게 해야 할까요? 모든 곳에 이미지가 만연한 오늘날, 차세대 카메라를 구현하기 위해서는 새로운 솔루션이 필요합니다.
이전 블로그 게시물에서 디지털 트윈이 항공기나 복잡한 발전소뿐만 아니라 결상 시스템에서도 어떻게 핵심적인 기술을 구현하는지 살펴봤습니다. 디지털 트윈은 시뮬레이션을 통해 제품 수명 주기를 최적화하여 사양 개선(과잉 사양 방지), 프로세스 제어 예측, 소프트웨어 조기 개발을 가능하게 합니다. 또한 디지털 트윈은 항시 켜져 있지 않은 효율적인 비디오 감시 카메라와 같은 맞춤형 결상 시스템을 촉진할 것입니다.
카메라를 개발하는 팀이 꼽은 어려움으로는 사양 변경, 설계와 제조 간의 불일치, 여러 구성 요소의 설계 및 조립과 관련된 복잡성 등이 있습니다. 이 블로그 게시물에서는 이미지 시뮬레이션을 통해 디지털 트윈이 어떻게 더 효율적이고 간소화된 사양과 영상 시스템의 가상 테스트를 구현할 수 있는지 살펴보겠습니다.
A Camera Is a Complex System
카메라는 복잡한 시스템입니다.
결상 시스템은 상호 의존적인 여러 구성 요소가 있는 멀티 스케일, 멀티 물리적 모델입니다. 렌즈 세트는 광자를 포착하고, CMOS 이미지 센서는 광자를 전자로 변환하고, 이미지 신호 프로세서 칩은 이 전자 신호를 판독 가능하고 컬러 구분이 된 노이즈 제거가 가능한 디지털 이미지로 변환하고, 디지털 신호 프로세서는 디지털 이미지를 계산하여 정보를 얻고, I/O 칩은 결상 시스템을 일부 외부 구성 요소와 인터페이스합니다.
결국 결상 시스템은 좋은 이미지를 제공해야 합니다. 하지만 좋은 이미지란 무엇을 의미할까요? 대부분의 경우 좋은 이미지는 여전히 DSLR로 촬영한 사진 수준의 이미지 퀄리티를 의미합니다. 그러나 이 기준을 토양 모니터링, 의료 진단 또는 자율 주행용 이미지에 적용하면 원하는 결과와 사양을 너무 과도하게 또는 모자라게 지정할 수 있습니다.
결상 시스템 설계자와 팀이 Synopsys 광학 솔루션 포트폴리오의 이미지 시뮬레이션 기능을 사용하여 결상 시스템에서 원하는 이미지를 렌더링하고 최적화하는 방법을 살펴 보겠습니다.
Workflow and Results
작업 프로세스 및 결과
다음 단순화된 예제에서 설명한 것처럼 CODE V, LightTools 및 RSoft Photonic Device Tools를 사용하여 이미지를 시뮬레이션하는 것은 이미 가능합니다. 이 예제는 4개의 렌즈 세트와 1.12마이크론 RGB 픽셀이 포함된 CMOS 센서 및 마이크로렌즈 어레이가 내장된 결상 시스템입니다.
4개의 렌즈 세트와 CMOS 센서가 포함된 결상 시스템
1. CODE V를 사용하여 렌즈 세트 광학 속성에서 이미지를 시뮬레이션합니다.
첫 번째 단계는 렌즈 세트를 설계하고 해당 PSF를 생성하는 것입니다. CODE V의 이미지 시뮬레이션(IMS) 기능을 사용하여 이미지를 시뮬레이션합니다. 모든 2D 이미지를 툴로 가져올 수 있습니다. 그런 다음 객체 위에 계산할 PSF 그리드와 FFT 그리드 크기를 정의합니다. 색상, 상대 조도 매개변수, 픽셀 크기 및 픽셀 수와 같은 이미지 센서 속성을 추가할 수 있습니다. IMS는 CODE V에서 정의하고 계산한 광학 파라미터로 입력 이미지의 컨볼루션을 계산하고 결과 이미지를 출력합니다.
오른쪽의 출력 이미지는 입력 이미지와 렌즈 세트의 광학 파라미터를 CODE V에서 계산한 대로 설정한 컨볼루션의 결과입니다. 그런 다음 시뮬레이션된 이미지에서 이미지 품질을 평가할 수 있습니다. 렌즈 세트를 추가로 최적화하면 대상 적용분야에 원하는 이미지 품질을 제공할 수 있습니다.
2. LightTools 및 RSoft Photonic Device Tools로 기생광 시뮬레이션
대부분의 결상 시스템은 기생광을 피하고 원하는 이미지 품질을 손상시키지 않도록 최적화해야 합니다. 고스트와 플레어는 결상 시스템의 대표적인 기생 효과입니다. RSoft Photonic Device Tools와 LightTools를 사용하여 단순화된 결상 시스템의 예에서 고스트와 플레어를 예측할 수 있습니다. 센서 회절 및 반사 특성으로 인해 시스템에서 기생광을 예측하고자 합니다. CMOS 이미지 센서는 일반적으로 강력한 회절 패턴을 생성하는 마이크로미터 크기의 픽셀 모음입니다. 이 표면의 광학적 특성을 얻으려면 RSoft Photonic Device Tools를 사용해야 합니다. 특히 DiffractMOD RCWA는 횡방향으로 주기적인 소자 회절 특성을 계산하는 데 효율적인 툴입니다. 각 회절 차수에 대한 반사/투과 전력, 총 반사/투과, 각 회절 차수에 대한 진폭/위상/각도 및 시뮬레이션 도메인의 필드 분포를 출력합니다. 모든 결과는 추가 시뮬레이션을 위해 LightTools로 내보낼 수 있는 BSDF 파일에 저장됩니다. 세 번째 단계는 CODE V에서 렌즈 세트 형상을 가져오고, 센서 속성을 추가하고, RSoft에서 BSDF 파일을 가져오고, 광원(다음 이미지의 태양 광원)을 추가하고, LightTools의 광선 경로 도구를 사용하여 몬테카를로 시뮬레이션을 실행하여 기생광의 가능한 모든 경로를 분석하는 것입니다. 시뮬레이션 결과는 아래에 표시된 이미지와 유사하며 좌측 이미지는 LightTools 카메라 설계 모델, 우측 이미지는 센서에서 본 기생광 맵입니다.
3. COM API를 사용하여 시뮬레이션 된 이미지와 기생광 맵을 결합합니다.
마지막 단계는 COM API를 사용하여 CODE V의 시뮬레이션된 이미지를 LightTools 및 RSoft로 계산된 기생광과 결합하는 것입니다. 이 컨볼루션에서 감마 및 에너지 비율을 조정할 수 있습니다.
CODE V의 시뮬레이션 이미지와 LightTools의 기생광 맵을 컨볼루션한 결과, 오른쪽 시뮬레이션 이미지가 표시됩니다. 시뮬레이션된 이미지의 이미지 품질 메트릭으로 이미지를 평가하면 목표 애플리케이션에 적합한 사양을 달성하기 위해 시스템을 더욱 최적화할 수 있습니다. CODE V, LightTools 및 RSoft Photonic Device Tools를 통한 시뮬레이션 이미지의 가상 테스트는 결상 시스템의 과도한 사양을 피하고 시뮬레이션을 통해 조립 및 테스트 단계를 예측하여 시간을 절약할 수 있는 강력한 워크플로우 솔루션입니다.