Limitations을 자세하고 많이 적어서 영양가있는 피드백을 받을 수 있게끔 하자. 이번 학회의 목표는 내 성과 발표회가 아니라 앞으로의 연구를 위해 다른 leaders 또는 fellows 들의 견해를 듣는 시간.

1. 안녕하세요 ~에 관한 초록 논문의 발표자 조인영입니다.
2. 몬테카를로 경로 추적 알고리즘은 현실감 있는 이미지를 렌더링하는 대표적인 알고리즘입니다. 알고리즘은 물체와 빛의 상호작용을 시뮬레이션하므로써 다양한 광현상을 잘 재현합니다. 그러나 알고리즘의 확률론적 특성상 고품질의 이미지를 얻기 위해서는 좌측 이미지와 같이 한 픽셀 당 충분한 양의 광선을 샘플링해야 하고, 이에 따라 수렴 시간이 오래 걸린다는 단점이 있습니다. 반면, 오른쪽 그림과 같이 샘플링을 적게하면 심한 노이즈가 생깁니다.
3. 때문에 일반적으로는 광선을 적게 추출하여 노이즈 있는 이미지를 고속으로 얻은 뒤, 노이즈 제거 모듈로 후처리를 하는 알고리즘에 관한 연구가 많이 진행되었습니다. 그림에서 보이는 바와 같이, 우측의 레퍼런스 이미지를 얻는 데에는 20분이 걸리나, 노이즈 있는 이미지를 얻은 뒤 심층 학습을 기반으로 노이즈를 제거하는 데까지는 불과 54ms가 걸립니다.
4. 본 논문의 문제를 정의하기에 앞서, 노이즈 제거 문제에 관해 간략히 짚고 넘어가도록 하겠습니다. 한 이미지의 노이즈를 제거하는 것은 결국 픽셀 간의 유사성을 측정하는 것입니다. 즉, 한 픽셀에 대해 유사한 다른 픽셀들의 컬러 값을 기반으로 현재 픽셀의 컬러 값을 예측하는 문제입니다. 예를 들어, mean filter는 공간상에서 가까운 픽셀은 정답 컬러로 비슷할 것이라고 가정하는 필터링 방법이며, nonlocal mean filtering은 Gaussian kernel 등을 이용해서 픽셀 간의 유사도를 측정합니다. 따라서 노이즈를 잘 제거하기 위해서는 각 픽셀에서 어떤 정보를 이용하여 유사도를 측정할 것인지가 중요합니다.
5. 렌더링에서는 흔히, 정의된 장면에서 텍스쳐 맵, 노말 맵, 깊이 맵 등의 이미지 공간 정보를 추출할 수 있는데, 최신 연구에서는 이를 노이즈 제거 모델의 학습에 도움을 주는 보조 정보 또는 feature로 활용합니다. 즉, 만약 두 픽셀이 비슷한 노멀 벡터와 텍스쳐 색을 갖는다면 렌더링 결과에서도 두 픽셀의 색상이 비슷할 것이란 직관이 배경에 있습니다. 이런 이미지 공간 피처를 흔히 기하 피처 (Geometric buffer, G-buffer)라고 부릅니다.
6. 그러나 본 초록 논문에서는 기하 피처들이 각 픽셀 간의 유사성 판단에 제한이 있어서 노이즈 제거 모델 훈련에 어려움이 있음을 파악하고, 이를 보완하기 위한 피처를 제안합니다. 본 논문에서 제안한 피처는 기하 피처와 마찬가지로 몬테카를로 경로 추출 과정에서 큰 오버헤드 없이 계산할 수 있으며, 본 논문에서 제안한 피처와 기존의 기하 피처를 이용해 최신 노이즈 제거 모델을 각각 훈련시켰을 때, 기존 피처 대비 시각적 성능 향상을 확인하였습니다.
7. 말씀드린 바와 같이, 기존 기하 피처는 픽셀 간의 유사성 판단에 한계가 있습니다. 일반적으로 기하 피처는 물체의 표면의 성질만 표현하기 때문입니다 . 예를 들어, 좌측 이미지에는 초 록색 거친 금속 표면에 반사된 격자 무늬 패턴을 비교적 뚜렷하게 관찰할 수 있습니다. 그러나 대표적인 기하 피처인 노멀 맵과 알베도 맵을 볼 때는, 반사된 형상에 관한 정보를 얻기 힘듭니다. 따라서 이런 그래픽 효과에 대해서는 기존 기하 피처가 노이즈 제거 모델에 의미있는 부가 정보를 주기 힘듭니다.
8. 한편, 몬테카를로 경로 추적 알고리즘에서, 빛이 어떤 물체에 반사하고 투과하는 지에 따라 다양한 광 현상이 만들어지므로, 이상적인 피처라면 각 상호작용 과정을 잘 표현할 수 있어야 합니다. 그래야 노이즈 제거 모델에 의미있는 정보를 줄 수 있을 것입니다. 이 이미지는 렌즈를 통과하는 빛과 그렇지 않은 빛을 보여줍니다. 이 두 빛이 실제로 이미지 공간 상에서 가까이 위치한다고 가정하겠습니다. 이 경우, 두 지점의 노멀과 텍스쳐 등이 비슷할 것이므로, 기존의 기하 피처는 같은 표면에 닿는 서로 다른 두 경로를 구분하지 못하지만 이상적인 피처라면 두 경로를 구분하여 노이즈 제거 네트워크에 분별력있는 정보를 줄 수 있을 것입니다. 이에, 본 논문에서는 몬테카를로 경로를 잘 표현할 수 있는 피처, 즉 고차원 경로 피처, 를 제안하고 노이즈 제거에 활용합니다.
9. 경로 피처를 구성하는 데에는 여러 가지가 있을 수 있으나, 본 초록 논문에서는 간단한 구성을 활용하였습니다. 즉, 몬테카를로 샘플링 된 빛 경로에 대해, 경로의 각 꼭지점에서 direct radiance, normal, albedo 등의 피처를 추출하였습니다. 그림은 각 광선의 꼭지점에서 텍스쳐 및 노말을 추출하는 예입니다.
10. 실험에서는 본 논문에서 제안한 고차원 경로 피처를 이용하여 최신 노이즈 제거 심층 모델인 Sample-based Kernel Splatting Network을 훈련했습니다. 기존에 많은 연구가 진행되었던 이미지 기반 네트워크가 아니라 샘플 기반 네트워크를 활용한 이유는, 경로 피처들 상관관계가 이미지인 2D 공간에 비해 복잡하기 때문입니다. 몬테카를로 광선 추적법의 확률론적 특성상, 이미지상에서 가까운 픽셀에서 추출한 피처라도 반사가 진행될수록 서로 간의 상관관계가 복잡합니다. 그러므로 일반적으로 노이즈 제거 연구에 활용되는 픽셀 기반 심층 모델을 활용하기 힘들었습니다.
11. 지금부터는 실험 결과에 대해 말씀드리겠습니다. 그림의 좌측 장면은 거친 표면의 유리 돔과 그 내부에 있는 조종석을 표현한 장면입니다. 일반적으로 기하 피처는 물체의 표면 성질만 나타내므로 위 예시처럼 유리 돔 내부의 물체를 표현하기 힘들지만, 본 논문에서 제시한 경로 피처를 이용했을 때는 그림 3의 3번째 및 4번째 열과 같이 돔 내부의 조종석까지 표현할 수 있습니다.
12. 결과에서는 본 논문에서 제안한 피처와 기존의 기하 피처를 이용해 앞서 언급한 샘플 기반 심층 모델을 각각 훈련하고 결과를 비교하였습니다. 모델은 첫번째 convolutional layer의 차원만 다르고 나머지 구조는 동일하게 하였습니다. 아래의 결과는 트레이닝 셋에는 포함되지 않은 8개의 장면에서 오차를 구해서 평균낸 결과입니다. 진한 폰트는 둘 중 오차가 낮은 것을 표시했습니다. 가장 일반적으로 활용되는 상대 평균 제곱 오차(relMSE) 측도에서는 본 논문에서 제안한 피처로 학습시킨 모델이 큰 향상을 보입니다. 다만, 다른 측도에서는 비교적 큰 차이가 없음을 알 수 있습니다.
13. 반면 시각적 비교에서는 흥미로운 차이를 관찰할 수 있었습니다. 보이는 장면은 거울에 말의 조각상이 반사되는 장면입니다. 본 장면은 전체적으로 노이즈가 상당합니다. 때문에 기하 피처를 이용하여 훈련한 모델은 기하 피처가 픽셀 간의 구별력이 부족하기 때문에 물체에 비친 말에서 노이즈를 제대로 제거하고 있지 못합니다. 굉장히 블러 현상이 심한 것을 볼 수 있습니다. 이는 아래 에러 맵에서도 볼 수 있습니다. 밝을 수록 오차가 높음을 의미합니다. 반사된 발 주변에 밝은 표시가 많다는 것은 그만큼 반사에 관한 노이즈를 기하 피처가 제대로 다루지 못함을 의미합니다. 반면에 본 논문에서 제안한 경로 피처를 이용한 모델은 비교적 잘 노이즈를 제거하고 반사된 말의 형상을 관찰할 수 있습니다.
14. 이 장면은 나무 계단이 유리 판을 투과하는 장면입니다. 이 장면에서도 기하 피처로 훈련한 모델은 계단 사이로 블러 현상이 비교적 심한 반면 제안한 경로 피처로 훈련한 모델은 좀 더 뚜렷한 엣지를 생성합니다.
15. 본 논문에서는 기하 피처들이 각 픽셀 간의 유사성 판단에 한계가 있다는 것을 파악하고, 이를 보완하기 위한 경로 피처를 제안했습니다. 기존 대비 시각적인 향상을 확인하였지만 많은 한계점이 남아있습니다. 예를 들어 기하 피처를 이용한 모델과의 에러 비교에서 relMSE 측도를 제외하면 미미한 차이를 보였습니다. 이는, 고차원 경로 피처가 상대적으로 차원이 낮은 기하 피처에 비해 표현력은 좋지만 학습하기는 힘들다는 것을 의미합니다. 심층 학습의 관점에서 데이터의 차원이 증가할 수록 학습에 필요한 데이터의 양이 기하급수적으로 증가하기 때문에 같은 양의 데이터로는 경로 피처를 완전히 활용하기는 힘들었던 것 같습니다. 따라서 좀 더 효과적으로 고차원 공간을 탐험할 수 있는 네트워크 구조나 학습법을 설계한다면 좀 더 진전이 있을 것이라 예상합니다. 또한, 피처의 차원이 매우 큰 만큼 그에 비례하여 데이터와 모델의 크기도 증가했습니다. 표에서 보이는 바와 같이, 기하 피처를 사용했을 때는 데이터 로드에 1초, 네트워크 실행에 8초가 걸렸으나, 본 논문에서 제안한 피처를 사용했을 때는 데이터 로드와 네트워크 실행에 각각 3초 및 1초 가량의 오버헤드가 발생함을 관찰하였습니다. 따라서 이런 오버헤드를 줄이기 위해서는 네트워크에 입력으로 주기 전에 피처를 compression하거나, 노이즈 제거에 상대적으로 도움이 되지 않는 피처를 없애고 도움이 되는 피처만 추출하는 등의 연구가 필요해 보입니다. 지금까지 발표를 들어주셔서 감사합니다.