특집
기존 기술을 넘어선 신개념 광학 현미경
계산 광학 현미경: 알고리즘을 이용한 영상 복원 기술
작성자 : 박지성·이찬석·장무석 ㅣ 등록일 : 2023-02-22 ㅣ 조회수 : 2,008 ㅣ DOI : 10.3938/PhiT.32.007
박지성은 2022년 성균관대학교 글로벌바이오메디컬공학과에서 학사 학위를 취득한 후, 현재 KAIST 바이오및뇌공학과에서 석사과정에 재학 중이다. 계산 광학 기술에 기반하여 광학 이미징 기술의 한계를 넘는 기술의 연구 및 개발을 목표로 하고 있다.
이찬석은 2020년 한양대학교 생체공학과에서 학사 학위를 취득한 후, 2022년 KAIST 바이오및뇌공학과에서 석사 학위를 취득하였고, 현재 KAIST 바이오및뇌공학과에서 박사과정에 재학 중이다. 다양한 계산적 기법 및 딥러닝 기술을 광학 이미징에 도입하여 계산 광학 기술의 성능 향상 및 방법론적으로 새로운 패러다임을 제시하고자 한다.
장무석 교수는 2009년 KAIST 물리학과에서 학사 학위를 취득한 후, 2016년 Caltech 전자공학과에서 박사 학위를 취득하였고, 2019년까지 고려대학교 물리학과와 기초과학연구원 분자분광학 및 동역학 연구단에 전문 연구 요원으로 근무하였다. 2019년부터 KAIST 바이오및뇌공학과에서 파면 제어 기술, 음향 광 변조 기술, 메타 표면 기술, 계산 광학 기술에 기반한 광학 이미징 기술 관련 연구를 수행하고 있다. (mooseok@kaist.ac.kr)
Computational Optical Microscopy Using Algorithm
Jiseong BARG, Chanseok LEE and Mooseok JANG
Like a mobile phone camera, optical microscopy typically relies on optical lenses that convert a plane wave to a spherical wave or vice versa. In such conventional imaging scheme, light from an object point propagates through a set of lenses and creates a tight focus on a camera, resulting in 1 to 1 relation between the object point and the camera pixel. Recently, this conventional imaging paradigm has been challenged by a new paradigm where computational algorithms replace the role of lenses. Here, I will introduce the concept of computational optics and some novel microscopy techniques based on algorithms.
Fig. 1. (a) Optical imaging techniques in various spatial scales. (left: Pixabay, middle: Pixabay, right: ⓒNASA) (b) Conventional lens-based optical imaging paradigm. (c) Computational imaging paradigm. The object information is mixed in a complex manner before measured on the camera. In this paradigm, algorithms play a critical role in reconstructing the spatially-resolved object information (i.e. image). 들어가며
광학 영상 기술은 우리 생활 전반에 사용되고 있다. 대표적으로 휴대폰 카메라는 제한된 공간에 광학 렌즈와 센서를 배치한 광학 영상 기술의 집약체로 우리 모두가 일상에서 사용하고 있다. 이외에도 길거리에서 쉽게 찾아볼 수 있는 CCTV, 차량용 블랙박스, 디지털 카메라 모두 광학 영상 기술의 산물이다.
광학 영상 기술은 일상적인 장면이 아닌 아주 작거나 혹은 큰 장면을 촬영하는 데도 사용되고 있다. 현미경은 아주 미세한 물체를 가시화하는 기술로 생물체가 세포라는 개별 단위로 이루어져 있음을 밝히는 데 지대한 공헌을 하였고, 세포와 분자 수준에서 우리 몸을 이해하거나 암과 같은 중대한 질병을 진단하는 핵심 도구로 사용되고 있다. 망원경은 아주 멀리 있는 그리고 큰 물체를 관측하는 기술로 주로 천체를 관측하고 별의 생성과 사멸, 궁극적으로는 우주의 기원을 이해하는 데 사용되고 있다.
카메라의 스펙을 전면에 내세워 광고되는 최신형 휴대폰, 2014년 노벨 화학상으로 그 중요성을 인정받은 초고해상도 현미경 기술, 최근 지구에서부터 150만 킬로미터 떨어진 우주 공간상에 설치된 NASA의 제임스 웹 우주 망원경의 사례에서 보듯 ‘더 잘 볼 수 있는’ 영상 기술에 대한 갈망은 일상의 영역, 그리고 아주 작거나 큰 영역에서 끊임없이 지속되고 있다(그림 1(a)).
이러한 광학 영상 기술들은 하나의 공통점을 공유하고 있다. 바로, 영상을 생성하기 위해 렌즈(혹은 구면 거울)를 이용한다는 점이다. 렌즈는 물체의 한 지점에서 방출된 빛을 광학 센서의 한 지점으로 집속시키는 성질이 있다. 따라서, 렌즈를 이용하면 물체와 광학 센서 사이에 1대1 대응 관계를 만들 수 있고 결국 물체의 정보를 공간적으로 분해하여 취득할 수 있게 되는 것이다(그림 1(b)). 현재 사용되는 거의 모든 영상 기술은 장면의 크기와 관계없이 이러한 렌즈 기반의 영상 취득 방식에 기반하고 있다.
본 글에선 물체의 정보를 복잡하게 섞어 센서에서 취득하고(그림 1(c)) 이를 알고리즘을 통해 해독하여 영상을 복원하는 계산 광학 영상 패러다임을 소개하고자 한다. 더하여, 이를 이용한 최근 현미경 기술의 발전 방향에 대해 논의하겠다.
계산 광학 기술 소개
Fig. 2. Limitations of traditional optical imaging techniques. (a) Form factor limitation (e.g. camera bumps, ⓒApple). (b) Image information limited in intensity-only domain (e.g. translucent biological cells under conventional microscopes). (c) Reliance on ballistic photons (e.g. optical turbidity in foggy days, Pixabay). (d) Principle of gradient descent methods.계산 광학 기술의 원리를 본격적으로 논의하기에 앞서 고려해야 할 한 가지 질문이 있다. 도대체 어떤 장점이 있기에 이미 우리가 잘 사용하고 있는 렌즈 기반의 영상 생성 패러다임을 탈피하려는 것일까?
계산 광학 기술을 이용하면 영상 정보 취득 하드웨어(영상 기기)에 요구되는 까다로운 설계 조건을 회피할 수 있다. 지금은 모두 자연스럽게 받아들이고 있지만 불과 3—4년 전만 해도 ‘카툭튀’라는 단어가 화제가 된 적이 있다.
스마트폰 카메라에 렌즈 부분이 툭 튀어나온 모습을 줄임말로 표현한 것이다(그림 2(a)). 반도체 기술의 발달로 스마트폰을 얇고 가볍게 만들었으나 성능이 좋은 카메라를 동시에 탑재하려다 보니 렌즈의 구경과 두께가 커지고, 불가피하게 스마트폰의 렌즈 부분만 튀어나오게 된 것이다. 이런 영상 기술의 소형화 문제는 스마트폰 카메라 외에도 내시경 기술, 현장 진단용 영상 기술 등 다양한 광학 영상 기술의 중요한 화두로 떠오르고 있다. 이렇듯 렌즈에 기반한 방식은 항상 초점 거리 확보가 필요하기 때문에 근본적인 폼 팩터 한계가 있다. 하지만 무렌즈 영상 기법과 같은 계산 광학 기술을 활용하면 두꺼운 렌즈 없이 물체를 통해 자유 공간을 전파한 광 패턴(회절 패턴)을 측정하고, 이를 알고리즘에 입력하여 고품질의 영상을 복원할 수 있다.
계산 광학 기술은 영상 복원 영역(domain)–물체 거리, 컬러 채널, 위상, 편광 등–을 확장하고 보다 유용한 영상 정보를 복원하는 데도 활용될 수 있다. 전통적인 영상 기술은 취득할 수 있는 영상 정보에 분명한 제약이 있다. 먼저, 물체와 센서 사이의 1대1 관계는 렌즈 공식에 따라 특정 거리에 있는 물체에만 성립된다. 이는 핸드폰 카메라로 아주 가까운 물체와 먼 물체를 동시에 선명하게 보기 힘든 이유이기도 하다. 또한, 전통적인 영상 기술은 적색(R), 녹색(G), 청색(B) 세 가지 필터를 통해 빛의 ‘세기’를 측정하는 방식에 기반하고 있다. 이때, 각 필터의 스펙트럼은 100 nm 수준으로 넓게 설정되어 있어 대상 물체의 화학적 정보를 전달하는 빛의 색 정보(미세하게 구분된 빛의 파장 정보)를 감지하기 어렵다. 더하여, 빛의 ‘세기’만 감지하는 측정 과정에선 위상, 도착 시간, 편광과 같은 빛이 전달할 수 있는 중요한 정보들이 소실되게 된다. 예를 들면, 생체 조직의 미세 구조는 광 투과도가 높아 빛의 세기만 측정할 때 양파의 단면처럼 투명하게 보이는 성질이 있다(그림 2(b)). 이때, 위상 복원 알고리즘에 기반한 홀로그래픽 현미경을 이용하면 복원된 위상 정보를 통해 세포, 세포 핵, 세포외기질과 같은 미세 구조를 선명하게 구분해 낼 수 있다.
마지막으로, 계산 광학 기술은 기존 영상 기술로 볼 수 없었던 공간을 영상화하는 데도 활용될 수 있다. 안개가 짙게 낀 날엔 멀리 있는 물체들이 안개에 가려 잘 보이지 않는다(그림 2(c)). 안개를 이루는 작은 물방울들이 빛을 산란시켜 빛의 직진성을 교란하기 때문인데 이러한 경우에도 산란된 빛의 상관 관계를 계산하여 안개 너머의 장면을 복원해 낼 수 있다.
앞서 서술한 계산 광학 기술의 특장점과 반도체 기술의 발전에 힘입은 계산 용량의 폭발적인 증가에 기반하여 최근 소비자 전자제품, 산업용, 연구용, 군용 영상기기에 계산 광학 기술의 도입이 활발히 이루어지고 있다. 이어지는 논의에선 알고리즘–계산을 실행하기 위해 엄밀하게 정의된 단계적 절차–이 어떻게 현미경 기술에 접목될 수 있는지 홀로그래픽 현미경 기술, 타이코그래픽 현미경 기술, 상관 관계 현미경 기술의 예에서 살펴보고자 한다.
무렌즈 홀로그래픽 현미경 기술
빛의 파동성을 입증하는 대표적인 특성 중 회절 현상이 있다. 회절이란 파동이 장애물을 만났을 때 휘어지거나 퍼지는 현상을 의미한다. 이러한 회절 현상을 이용하여 렌즈 기반의 전통적 영상 취득 방식에서 벗어난 기술이 바로 무렌즈 영상 기법이다. 무렌즈 영상기법은 기존에 사용되던 비싼 렌즈를 사용하지 않기 때문에 영상 취득 장비의 가격이 낮아지고, 렌즈로 인해 요구되던 공간이 줄어들어 장비의 부피와 무게가 감소한다는 장점이 있다. 이러한 무렌즈 홀로그래픽 기술의 핵심 요소는 빛이 작은 물체를 지나며 만드는 회절 무늬를 기록한 후 이를 토대로 물체의 위상을 고해상도로 복원해내는 계산 알고리즘이다.1)
무렌즈 홀로그래픽 기술에서는 먼저 센서와 물체 사이의 거리가 다른 여러 장의 영상을 얻게 된다. 그 후 이 영상들로부터 물체의 위상을 복원하기 위해 다양한 계산 알고리즘을 사용한다. 계산 알고리즘들의 본질은 알고리즘을 통한 예측값과 실제 측정 값의 차이를 최소화하여 최적의 값을 찾고자 하는 것이다. 여기서 말하는 차이를 좀 더 정확하게 손실함수라는 말로 표현할 수 있다. 대부분의 계산 알고리즘에서는 손실함수를 정의한 후 손실함수가 최소가 되도록 하는 최적의 값을 찾게 된다. 예를 들어, 계산 알고리즘에서 가장 대표적인 것으로 경사하강법이 있다(그림 2(d)). 경사하강법이란 손실함수의 기울기로부터 예측값을 업데이트하여 손실함수가 최소가 되는 지점을 찾는 방식이다. 경사하강법을 이용한 대표적인 방식으로 Gerchberg-Saxton(GS) 알고리즘이 있다. GS 알고리즘의 핵심은 물체로부터의 거리가 다른 두 위치 사이에서 생기는 빛의 세기와 위상 변화를 물리적으로 기술하는 것이다. 이 물리적 법칙을 이용하여 서로 다른 두 지점을 반복적으로 왕복하게 되며, 각 단계에서 실제 영상으로 취득한 정보와 알고리즘이 예측한 정보가 일치하도록 강제하는 방식을 통해 두 지점에서의 빛의 위상과 세기를 정확하게 복원한다(그림 3). 빛의 위상은 수백 테라헤르츠로 진동하기 때문에 현재의 복잡한 간섭계가 없이는 직접적으로 측정할 수 없다. 하지만 이러한 계산 광학 영상 기법을 사용하면 빛의 세기로부터 위상을 복원할 수 있으며, 더 나아가 위상 이외에도 편광 정보 등 풍부한 빛의 정보를 복원할 수 있다.
Fig. 3. (a) Lensless imaging configuration. (b) Examples of acquired images at Z2 and Z3. A2 and A3 represent the diffraction amplitudes of RBC at Z2 and Z3, respectively. (c) A schematic diagram of Gerchberg–Saxton (GS) algorithm. The optical fields are propagated back and forth between a Z2 domain and a Z3 domain. \(\small \varphi_2\): Phase of the optical fields at the Z2 domain. \(\small \varphi_3\): Phase of the optical fields at the Z3 domain. (d) Reconstructed optical fields of RBC at Z1, A1 and \(\small \varphi_1\) represent the amplitude and phase of the fields, respectively.
대면적 영상을 위한 타이코그래픽 현미경 기술
![Fig. 4. (a) Illustration of spatial-bandwidth problem. A 4x objective lens provides a wider FOV with lower resolution while a 20x objective lens provides a narrower FOV with higher resolution.[2] (b) Visualization of differences in collecting angles between normal and oblique illumination. Dashed lines indicate maximum angular component acquired by an objective lens. (c) Widefield image reconstruction results of USAF target. The panel in red dashed line indicates the image of a conventional microscopy with a 4x objective lens. The panel in blue dashed line indicates the reconstructed high resolution image using Fourier ptychographic microscopy techniques with a 4x objective lens.](https://webzine.kps.or.kr/_File/froala/3123e451d8eb868f74e77a4cf2fa02bb84ca391b.png)
Fig. 4. (a) Illustration of spatial-bandwidth problem. A 4x objective lens provides a wider FOV with lower resolution while a 20x objective lens provides a narrower FOV with higher resolution.2) (b) Visualization of differences in collecting angles between normal and oblique illumination. Dashed lines indicate maximum angular component acquired by an objective lens. (c) Widefield image reconstruction results of USAF target. The panel in red dashed line indicates the image of a conventional microscopy with a 4x objective lens. The panel in blue dashed line indicates the reconstructed high resolution image using Fourier ptychographic microscopy techniques with a 4x objective lens.
현재 사용되는 광학현미경의 대표적인 한계점으로 공간대역폭의 제약을 예시로 들 수 있다. 여기서 말하는 공간대역폭의 제약이란 현미경을 통한 영상의 해상도와 관측 영역의 넓이 간에 상충 관계를 의미한다(그림 4(a)). 예를 들어 저배율의 렌즈를 사용하는 현미경은 상대적으로 넓은 영역을 볼 수 있지만 분해능이 제한되어 시료의 미세 구조를 알아볼 수가 없다. 반대로 고배율의 렌즈를 사용하는 현미경은 높은 분해능을 통해 작은 구조까지 구분하지만 이를 통해 볼 수 있는 영역이 매우 제한적이어서 시료의 전체적인 구조를 파악하는 것에 한계가 존재한다. 이러한 특징은 특히 넓은 영역에 대한 고해상도 영상이 필요한 의료용 진단과 군용 감시 분야의 큰 걸림돌로써 작용하고 있다. 공간대역폭을 해결하기 위해 제시된 대표적인 기술로써 타이코그래픽 현미경이 있다.
광학현미경 영상의 분해능은 시료를 통과한 후 빛이 여러 방향으로 퍼져나갈 때, 얼마나 큰 각도를 가지는 빛까지 렌즈로 집속 혹은 획득할 수 있는가로 결정되게 된다. 저배율 렌즈의 경우 넓은 영역에서 들어오는 빛을 모을 수 있는 대신 큰 각도로 들어오는 빛의 정보를 알 수 없기에 낮은 분해능을 가지게 된다. 그렇다면 저배율 렌즈를 쓰면서 큰 각도로 진행하는 빛을 모을 순 없을까? 물론 가능하다. 렌즈와 시료 그리고 카메라를 모두 고정한 후 시료로 들어가던 빛의 방향만을 바꿔준다면 기존의 렌즈 밖으로 퍼져나가던 빛들이 이번에는 렌즈를 통해 카메라로 전달되게 될 것이다(그림 4(b)). 이러한 원리를 이용한 것이 타이코그래픽 현미경 기술이다. 타이코의 어원은 그리스로부터 유래하였으며 “겹치게 하다”라는 의미가 있다. 어원에서 말해주듯 타이코그래픽 현미경은 여러 방향에서 입사하는 빛을 이용하여 촬영한 저해상도 현미경 영상을 푸리에 영역 상에서 겹침으로써 고해상 영상의 스펙트럼을 만들게 된다.3) 이때 복원한 고해상 영상과 실제로 측정된 저해상 영상들 사이의 차이를 최소화하는 방식으로 고해상 영상의 스펙트럼을 얻게 된다(그림 4(c)). 이 과정에서 저배율 렌즈의 측정 영역을 그대로 유지하기 때문에 대면적을 고해상도로 볼 수 있는 영상이 만들어지게 된다.
Fig. 5. (a) Light propagation in scattering media. Inhomogeneities in propagating medium distort an optical wavefront and mixes the information in a random manner. (b) Schematics of auto-correlation microscopy techniques. (top left) A raw image acquired through a scattering medium. (top right) Auto-correlation of the raw image (i.e. speckle) which is identical to the auto-correlation of object. (bottom right) Reconstructed object image from the auto-correlation function. (bottom left) Point spread function of scattering medium. The raw acquired image can be represented as the convolution of the point spread function and the object.산란 투시를 위한 상관관계 현미경 기술
빛의 산란 현상이란 빛이 진행하는 동안 매질 내의 입자와의 복잡한 상호 작용을 통해 경로가 바뀌는 것을 의미한다(그림 5(a)). 가장 쉽게 이해할 수 있는 예시로 앞서 말한 안개가 있다. 안개가 짙게 낀 날엔 멀리 있는 물체일수록 잘 보이지 않는다. 물체에서 방출되는 빛이 산란으로 인해 진행 방향이 무작위적으로 섞여 눈으로 들어오기 때문에 빛의 직진성에 기반한 영상 정보를 잃기 때문이다. 우리가 피부 밑의 구조를 볼 수 없는 이유도 이러한 산란과 관련이 있다. 대부분의 광학 기술에서는 빛이 매질을 통과하면서 산란이 발생했을 때 직진하는 빛만을 선택적으로 이용하여 영상을 취득한다. 따라서 산란하는 빛은 잡음으로 생각되었으며 직진하는 빛의 양이 산란광에 비해 충분히 많아야 우리가 관측하고자 하는 물체를 정확히 볼 수 있다. 그러나 직진 광의 양은 산란 매질 내에서 지수적으로 감소하기 때문에 산란 매질에서 영상 깊이는 극히 제한된다. 그러나 산란하는 빛에서도 물체에 대한 정보를 얻을 수 있지 않을까? 이러한 질문에서 출발한 기술이 상관관계 현미경 기술이다.
상관관계 현미경 기술의 핵심이 되는 개념으로 ‘점 확산 함수’와 ‘메모리 효과’가 있다.4) 점 확산 함수(S)란 아주 작은 점에서 출발한 빛이 산란을 일으키는 매질을 통과한 후 측정되는 패턴, 즉 산란 패턴을 의미한다. 메모리 효과란 공간상에서 충분히 가까운 거리에 있는 두 점 사이에 점 확산 함수가 일치하는 경향성을 의미한다. 이때 메모리 효과가 일어날 수 있는 두 점 사이의 거리는 산란 매질의 특성에 따라 결정된다. 상관관계 현미경 기술에서는 이미징 대상을 점들의 집합으로 생각했을 때, 이 모든 점들이 메모리 효과를 갖는 점들인 경우를 가정한다. 이 경우 산란 매질을 통과해 측정된 영상(I)은 물체(O)와 점 확산 함수의 합성(O＊S)곱으로 표현된다. 이때, 측정된 영상의 자기 상관 함수(I★I)를 구하게 되면 계산적으로 물체의 자기 상관 함수(O★O)와 같아지게 된다. 이러한 산란 매질에 대한 물리적 이해를 바탕으로 이미지 전처리를 거친 후 자기 상관 함수로부터 신호를 복원할 수 있는 알고리즘(예: Gerchberg-Saxton [GS] 알고리즘)을 적용하면 산란 매질을 넘어 영상 정보를 복원할 수 있다(그림 5(b)).
맺음말
알고리즘을 통해 광학 현미경 기술은 더 똑똑해지고 있다. 앞서 제시한 예시 외에도 최근 딥 러닝 기술을 활용한 현미경 영상 복원 연구가 폭발적으로 이루어지고 있다. 100 nm 이하의 작은 대상을 볼 수 있는 초고해상도 현미경, 3차원 현미경, 분광 현미경 등 적용 분야가 급속도로 확장되고 있으며 전통적인 알고리즘의 고질점이었던 속도와 정확도 문제가 혁신적으로 개선되고 있다.
계산 알고리즘을 광학 영상 기술에 이용하는 관점을 반대로 뒤집어서 생각해 볼 수도 있다. 광학 기술을 이용하여 계산 알고리즘을 물리적으로 구현하는 것이다. 최근, 비선형적인 광학 파동의 전파 특성을 이용하여 빛의 속도로 복잡한 연산을 수행하는 아이디어들이 제시되고 있다. 광학과 알고리즘의 접점에서 탐색되고 있는 다양한 가능성의 결합을 통해 빛으로 측정하고 빛으로 사고하는 새로운 형태의 현미경의 등장을 기대해 본다.
