La pantalla verde asistida por IA de Netflix baña a los actores en un llamativo magenta

Componer o detener a los actores contra fondos que en realidad no existen es tan antiguo como el cine mismo, y siempre ha sido un fastidio. Netflix tiene una nueva técnica que se basa en el aprendizaje automático para hacer parte del trabajo duro, pero requiere actores que brillen en magenta.

Durante décadas, el método de composición más simple ha sido la codificación cromática, en la que los actores se paran contra un fondo de colores brillantes (primero azul, luego verde), lo que hace que cualquier cosa, desde un mapa del tiempo hasta una batalla con Thanos, sea fácilmente reconocible e intercambiable. Se dice que el primer plano es “mate” y el fondo es un canal “alfa” transparente manipulado con canales rojos, verdes y azules.

Es fácil y económico, pero tiene algunos inconvenientes, como objetos transparentes, detalles finos como el cabello y nada más con un color similar al fondo. Sin embargo, esto suele ser suficiente, tratando de reemplazarlo con métodos más sofisticados y costosos (Como una cámara de campo de luz) son degenerados.

Sin embargo, los investigadores de Netflix lo intentaron para crear una combinación simple e inmaculada de lo antiguo y lo nuevo, a expensas de una configuración de iluminación increíble.

Como se describe en un artículo publicado recientemente, colocar a sus actores de “pantalla verde magenta” en un sándwich de iluminación produce resultados impresionantes. Detrás de ellos, verde brillante (brillante activo, no de fondo); Antes, el rojo y el azul se mezclan, creando un dramático contraste de colores.

Los actores brillaron de color magenta contra la pantalla verde. Credito de imagen: netflix

El aspecto resultante en el set puede abrumar incluso al artista de posproducción más experimentado. Normalmente, desea iluminar a sus actores con una luz muy natural, de modo que incluso si necesitan un poco de fuerza aquí y allá, su apariencia ante la cámara es relativamente normal. Pero si se iluminan exclusivamente con luz roja y azul, se distorsiona por completo la apariencia, y por supuesto la luz ordinaria no tiene su espectro cortado.

la historia continua

Pero la técnica es inteligente, haciendo que el primer plano sea solo rojo/azul y el fondo solo verde, lo que facilita el proceso de separación de los dos. Una cámara típica que captura rojo, azul y alfa generalmente captura esos colores. Esto hace que los mates resultantes sean más precisos, libres de los artefactos que surgen al separar la entrada de espectro completo del fondo clave de espectro limitado.

Por supuesto, parece que han reemplazado una dificultad con otra: el proceso de composición ahora es más fácil, pero recuperar el canal verde para sujetos con iluminación magenta es difícil.

Esto debe hacerse de manera metódica y adaptativa, ya que los temas y las composiciones difieren, pero un enfoque lineal “ingenuo” para infundir verde puede desteñirse y verse amarillo. ¿Cómo se puede automatizar? ¡IA al rescate!

El equipo entrenó un modelo de aprendizaje automático con sus propios datos de entrenamiento, esencialmente tomando escenas que fueron “ensayadas” pero que se iluminaron normalmente. Una red neuronal convolucional brinda enlaces de imágenes de espectro completo para comparar con imágenes de luz magenta y crea un proceso para recuperar el canal verde faltante de una manera más inteligente y rápida que un algoritmo simple.

Un algoritmo simple conduce a resultados deficientes (arriba), mientras que un modelo ML más sofisticado produce colores más similares a la realidad del suelo. Credito de imagen: netflix

Por lo tanto, el color se puede restaurar admirablemente en la posproducción (es “prácticamente imperceptible” en la cámara), pero aún existe el problema de tener que iluminar a los actores y escenarios de esta manera horrible. Muchos actores ya se quejan de lo poco natural que es trabajar frente a una pantalla verde; imagínate hacerlo con una luz dura e inhumana.

Sin embargo, el documento menciona esto con la posibilidad de “multiplexar en el tiempo” las luces, esencialmente encendiendo y apagando las luces magenta/verde varias veces por segundo. Distrae (y es peligroso) a 24 veces por segundo (es decir, la velocidad de fotogramas a la que se graban la mayoría de las películas y la televisión), pero si la luz parpadea más rápido, 144 veces por segundo, parece “casi constante”.

Sin embargo, esto requiere una sincronización compleja con la cámara, que solo debe capturar la luz durante los breves momentos en que la escena es magenta. Y también tienen que tener en cuenta los fotogramas que faltan para el movimiento…

Como dices, todavía es experimental. Pero es una forma interesante de abordar un viejo problema en la producción de medios con un nuevo enfoque de alta tecnología. No hubiera sido posible hace cinco años, y aunque puede o no ser aceptado en el set, claramente vale la pena intentarlo.