La pantalla verde impulsada por IA de Netflix baña al elenco en un púrpura deslumbrante

El proceso de maquillar, o colocar a los actores contra un telón de fondo que no existe en la realidad, es tan antiguo como el cine mismo, y siempre difícil. Netflix tiene una nueva tecnología que se basa en el aprendizaje automático para hacer parte del trabajo duro, pero requiere iluminar a los actores con un color púrpura brillante.

Durante décadas, el método más simple de maquillaje fue una clave de croma, con actores parados frente a un fondo de colores brillantes (originalmente azul, luego verde) que podía identificarse fácilmente y reemplazarse con cualquier cosa, desde un mapa del tiempo hasta una batalla con Thanos. Se dice que el primer plano es «incoherente» y el fondo es un canal «alfa» transparente manipulado junto con los canales rojo, verde y azul.

Es fácil y barato, pero tiene algunas desventajas, entre ellas problemas con objetos transparentes, detalles finos como el cabello y, por supuesto, cualquier otra cosa que tenga un color similar al del fondo. Sin embargo, por lo general es lo suficientemente bueno, tratar de reemplazarlo con métodos más complicados y costosos (Como una cámara de campo de luz) debilitado.

Sin embargo, los investigadores de Netflix lo están intentando con una combinación de lo antiguo y lo nuevo que puede mantener el maquillaje simple y puro, a expensas de una configuración de iluminación infernal.

Como se muestra en un artículo publicado recientemente, «pantalla verde púrpura» produce resultados deslumbrantes al poner a los actores en un sándwich de iluminación. detrás de ellos, verde brillante (activamente iluminado, no de fondo); En el frente, es una mezcla de rojo y azul, lo que lo convierte en un gran contraste de colores.

Los actores se iluminaron de púrpura contra una pantalla verde. Créditos de la imagen: netflix

La apariencia resultante en el rodaje probablemente hará que incluso el artista de postproducción más experimentado se estremezca. Normalmente, desea que sus actores estén iluminados intensamente con una luz bastante natural, por lo que, aunque es posible que necesiten algunas palmaditas aquí y allá, su apariencia en la cámara es relativamente natural. Pero si se ilumina exclusivamente con luz roja y azul, distorsiona por completo la apariencia, ya que, por supuesto, la luz natural no tiene cortada una parte importante de su espectro.

La historia continúa

Pero la tecnología también es inteligente al hacer que el primer plano sea solo rojo/azul y el fondo solo verde, simplifica el proceso de separación de los dos. Una cámara normal que normalmente capturaría esos colores en su lugar captura rojo, azul y alfa. Esto hace que las partes resultantes sean muy precisas, sin los artefactos que surgen al tener que separar la entrada de espectro completo del fondo principal de espectro limitado.

Por supuesto, parece que han reemplazado una dificultad con otra: ahora es fácil ajustarlo, pero es difícil restaurar el canal verde para los objetivos iluminados en púrpura.

Esto debe hacerse de manera sistemática y adaptativa, dados los diferentes temas y composiciones, pero un enfoque lineal ‘ingenuo’ para inyectar verde da como resultado una apariencia opaca y amarillenta. ¿Cómo se puede automatizar? ¡IA al rescate!

El equipo entrenó el modelo de aprendizaje automático en sus datos de entrenamiento, que son esencialmente imágenes de «ensayo» de escenas similares, pero con iluminación natural. La red neuronal convolucional recibe correcciones de la imagen de espectro completo para compararla con la iluminada en púrpura y desarrolla un proceso para restaurar rápidamente el canal verde perdido de una manera más inteligente que un simple algoritmo.

Un algoritmo simple arroja resultados pobres (más altos) mientras que un modelo ML más complejo produce colores muy similares a la realidad subyacente. Créditos de la imagen: netflix

Entonces, el color es sorprendentemente recuperable en la publicación (es «prácticamente indistinguible» de la realidad del fondo en la cámara), pero aún existe el problema de que los actores y el escenario tienen que iluminarse de una manera tan horrible. Muchos actores ya se quejan de que trabajar frente a una pantalla verde no es natural; imagínese hacerlo mientras está iluminado por una luz dura e inhumana.

El documento aborda esto, sin embargo, con la capacidad de «duplicar el tiempo» de la iluminación, esencialmente activando y desactivando la iluminación púrpura/verde varias veces por segundo. Distrae (incluso es peligroso) hacerlo 24 veces por segundo (esa es la velocidad de fotogramas a la que se graban la mayoría de las películas y la televisión), pero si cambian la luz más rápido, 144 veces por segundo, parece «casi constante».

Sin embargo, esto requiere una sincronización compleja con la cámara, que solo debe capturar la luz durante los breves momentos en que la escena es morada. Y también tienen que tener en cuenta los fotogramas perdidos para el movimiento…

Como puede ver, esto todavía es muy experimental. Pero también es una forma interesante de abordar un viejo problema en la producción de medios con un nuevo enfoque de alta tecnología. Esto no hubiera sido posible hace cinco años, y aunque puede o no ser aprobado, claramente vale la pena intentarlo.