Nerf: Google überrascht mit KI-Werkzeug zur Rauschunterdrückung - Golem.de - Golem.de

Das Rauschen in digitalen Bildern stört insbesondere bei dunklen Aufnahmen. Mit Machine Learning geht Google beeindruckend dagegen vor.

Die Rohdaten von Digitalbildern sind oft sehr verrauscht. (Bild: Ben Mildenhall, Google)

Als eine Art Nebenprodukt anderer Arbeiten hat ein Team von Googles Forschungsabteilung beeindruckende Ergebnisse zur Rauschunterdrückung in digitalen Bildern vorgestellt. Diese ermöglichen Aufnahmen fast komplett im Dunkeln. Darauf weist der Youtube-Kanal Two Minute Papers hin.

Google selbst hat die drei zusammenhängenden Arbeiten vor wenigen Wochen auf der Computer Vision and Pattern Recognition Conference (CVPR) vorgestellt und dazugehörigen Code, der auch selbst benutzt werden kann, auf Github zum Download bereitgestellt. Grundlage der Arbeiten sind dabei die sogenannten Neural Radiance Fields (Nerf).

Mithilfe der Nerf-Technik kann aus mehreren einzelnen Bildaufnahmen eine Szene oder Videosequenz synthetisiert werden. Dabei lassen sich bestenfalls auch Blickrichtung, Fokus, Belichtung oder auch Tone Mapping manipulieren, um neue Standbilder aus der synthetisierten Szene zu erzeugen.

Nerf besser als übliche Rauschunterdrückung

Für das Projekt Rawnerf (PDF) setzen die Beteiligten dabei anders als bisher auf Ausgangsbilder in Rohformaten des eigentlichen Kamerasensors. Das soll zunächst schlicht die Nutzung von mehr Informationen zum Erstellen der Szenen ermöglichen. Dabei helfen dem Modell auch kleinere Unterschiede der Belichtung.

Die Rohdaten sind insbesondere in schlecht beleuchteter Umgebung zwar oft sehr verrauscht. Auf die Ergebnisse von Rawnerf habe das allerdings keine größere Auswirkung und das Modell arbeite noch "überraschend" gut, wie die Forscher selbst schreiben. Das gelte insbesondere für die Rauschunterdrückung, die die Qualität speziell darauf fokussierter Systeme erreiche könne.

In Bezug auf die Forschung heißt es: "Das direkte Training mit Rohdaten verwandelt Rawnerf effektiv in einen Mehrbild-Denoiser, der Informationen aus Dutzenden oder Hunderten von Eingabebildern kombinieren kann. Diese Robustheit gegenüber Rauschen bedeutet, dass wir Rawnerf verwenden können, um im Dunkeln aufgenommene Szenen zu rekonstruieren."

Generell zur Rauschunterdrückung einsetzbar sei das Verfahren aber nicht. Immerhin seien die benötigten Rohdaten zu groß für viele Kameras. Ebenso könnte Bewegungsunschärfe damit nicht bearbeitet werden und das Rawnerf-Modell sei viel größer als übliche Ansätze. Dank der Technik seien aber auch Synthese und Rekonstruktion besonders dunkler Aufnahmen möglich.

Adblock test (Why?)

Nerf: Google überrascht mit KI-Werkzeug zur Rauschunterdrückung - Golem.de - Golem.de
Read More