Laboratorio

Sony BRC-AM7: inteligencia artificial de serie

La integración de funcionalidades controladas por IA, además de algunas características técnicas, hacen de esta PTZ una cámara diferente. Todo unido supondrá un significativo salto adelante en los flujos de trabajo de estos equipos


* Este artículo está incluido en el número de marzo de TM BROADCAST. Puedes acceder a la revista completa aquí.

En el corto intervalo de tiempo que media entre el IBC de Ámsterdam y el BITAM Show de Madrid, publicamos un interesante contenido que describía algunas de las características más importantes del segmento de cámaras PTZ. Mi compañero Carlos Medina también enumeraba una buena serie de modelos de varios fabricantes y centraba perfectamente las razones por las que estas cámaras se han convertido en una herramienta más en los flujos de trabajo broadcast.

Continuando con nuestra labor divulgativa, hoy traemos a vuestras manos el análisis detallado del modelo más reciente y avanzado de Sony: la BRC-AM7. No se trata de un complemento ni una sucesión de ninguna otra. Es un importante avance aprovechando todas las oportunidades que proporciona la inteligencia artificial bien integrada para crear una excelente y novedosa solución.

No se trata de un prototipo a medio plazo, es una herramienta que ya existe, funciona, se puede probar y habrá producción disponible para entregas a cliente a partir de principios de año.

Hace ya un par de años que Sony dio un importante salto con la cámara FR7 y sus ópticas intercambiables en el entorno PTZ, creando un importante hito en el segmento.

El salto con el que nos sorprende en esta ocasión podría pasar casi desapercibido si nos fijamos sólo en su carcasa pero, como decíamos, internamente viene cargada de interesantes novedades técnicas, entre las que destaca la integración de análisis detallado basado en IA (inteligencia artificial) y su intensa aplicación a la mejora de habilidades para encuadrar.

Cuidado con equivocarnos. Sí, es cierto que hace tiempo que bastantes fabricantes disponen de equipos capaces de hacer el seguimiento (tracking) de un sujeto de forma autónoma. Incluso algunos con capacidad de autoframing como la propia A40 de Sony. Pero lo que hoy tenemos en nuestras manos está unos pocos pasos por delante. La gran diferencia que aporta, una auténtica innovación, es su capacidad de mantener encuadres perfectos con rangos de aire que podemos configurar.

Para ello utiliza el análisis facial con reconocimiento de individuo, de la cabeza, de los movimientos de todo el esqueleto, e incluso analiza detalles relacionados con la indumentaria de nuestro protagonista. Funcionalidad mucho más evolucionada que el mero seguimiento (tracking).

Es decir, no sólo tiene la capacidad autónoma de seguir a un sujeto, sino que incluso es capaz de reconocer a una persona concreta en un grupo y mantener el encuadre que le hayamos predeterminado (primer plano, plano medio, plano general, etc.) respetando las proporciones correctas de aire por encima y a los lados.

Adicionalmente, tiene la capacidad y velocidad de respuesta suficiente como para poder seguir, por ejemplo, a un tenista en juego desde una posición similar a la del juez de silla. Ejemplo que ha sido elegido por Sony como muestra en uno de los vídeos de presentación disponibles en su página web. Por cierto, que el resultado es impresionante.

Es importante destacar que todo el procesamiento se hace internamente en cámara, sin necesidad de unidades externas de ninguna clase, y todas las funcionalidades vienen de serie, sin que se requieran licencias adicionales.

Desde luego que hay más novedades, como el filtro ND variable y sus enormes ventajas o las dos ranuras para grabación en tarjetas internas. Y algunas otras que ha sido necesario desarrollar para lograr este impresionante resultado, como los nuevos servomotores. Aunque simplemente por la capacidad de encuadrar correctamente ya nos atrevemos a etiquetarla como una auténtica innovación, diferente a todo lo que teníamos disponible hasta ahora.

Por otro lado, sí se conservan las características genéricas en el segmento, como la óptica fija, las salidas SDI y HDMI además de la directa de streaming, o el tipo de sensor. Aunque contar con señal en varias salidas simultáneamente sólo lo encontramos en los modelos más altos de cada gama. Así que vayamos ya con la descripción de características físicas y técnicas.

El sensor es de tipo 1 pulgada de 14 Mpíxel con tecnología Exmor RS CMOS, capaz de resoluciones hasta UHD (3840 x 2160) en 60p que, combinado con un motor de procesamiento BIONZ XR, ofrece una alta calidad de imagen con muy bajos niveles de ruido. De hecho, el sensor tiene una resolución nativa mayor y admite un sobremuestreo de hasta 5k con resolución de hasta 5120 x 2880.

El conjunto está alojado detrás del ya conocido filtro ND variable óptico, idéntico al que ya conocemos en otras cámaras de Sony, con rango de variación continuo entre ¼ (2 f-stops) y 1/128 (7 f-stops).

La óptica de nuevo desarrollo es un zoom óptico de 20x, con distancia focal de 24 a 480mm (en equivalencia a lentes de 35mm) con capacidad de enfoque por detección de fase y de contraste, haciéndolo capaz de enfocar con precisión incluso en condiciones de luz escasa. El enfoque más próximo se logra a menos de un 1cm de la lente frontal en la posición angular, distancia que va creciendo paulatinamente hasta menos de 1m cuando alcanzamos el zoom máximo. Es decir, son distancias de enfoque cercano realmente muy cortas.

La gran diferencia que aporta, una auténtica innovación, es su capacidad de mantener encuadres perfectos con rangos de aire que podemos configurar

La luminosidad es bastante buena, comenzando en 2.8, aunque, como es de esperar en una óptica zoom de tanto alcance y en un tamaño contenido, se reduce hasta 4.5 cuando llevamos la óptica a su posición de máximo tele.

La función Clear Image, que nos permite extender digitalmente el rango máximo de zoom sin degradación perceptible en la imagen y sin recorte en el extremo angular, alcanza un 30x en resolución UHD (equivalente a un 24-720) y hasta un 40x en resolución HD (equivalente a 24-960).

Para facilitar la integración de esta cámara en los flujos de trabajo que involucren otras cámaras o distintas necesidades, es capaz de trabajar con distintas respuestas cromáticas y curvas de color que abarcan desde una ITU709 hasta las S-Cinetone o S-Log3, pasando por distintas HLG. Este aspecto la hace especialmente interesante para contar con ella en un amplísimo abanico de opciones, desde rodajes hasta directos, pasando por prácticamente todo tipo de estadios deportivos, escenarios y auditorios.

Combinando esta habilidad con las posibilidades de operación remota, se convierte en un gran complemento en todas aquellas situaciones y localizaciones en las que es muy complicado, o incluso inviable, ubicar cámaras tradicionales.

La señal de vídeo sale de la cámara en resolución UHD o HD en distintas frecuencias de cuadro a través de salidas SDI 12G y HDMI. A través de la salida SDI 3G, como es lógico, solamente tendremos señales HD. Pero a través de HDMI también podremos tener señales de 720 x 480 hasta 60p y 720 x 576 hasta 50p, facilitando la integración funcional de la cámara en instalaciones algo más antiguas mientras se va renovando el resto de equipos.

En cuanto al audio, contamos con dos conectores XLR configurables como línea/micro/micro +48v y un conector mini-jack de 3,5mm, de forma que nuestra señal de vídeo puede llevar hasta 4 canales independientes en su correspondiente audio embebido. Y, para sincronizar con otros equipos de nuestra instalación, contamos con conectores para entrada de señales de Genlock y TC (time code, código de tiempo).

En cuanto a puertos de datos, disponemos de un zócalo para conexión óptica con transceptor SFP+, aunque el transceptor será opcional según el criterio del cliente. Independientemente de él, su puerto Gigabit Ethernet nos permite disponer de la señal para hacer streaming usando protocolos RTSP, RTMP, VISCA sobre IP, SRT y NDI/HX. Este mismo puerto es el que también nos permite tener funciones de control y gestión remota.

Insistimos en que las salidas de señal AV pueden funcionar en paralelo, incluso con distintas resoluciones que configuraremos a través de menú, facilitando su operatividad en prácticamente todo tipo de situaciones y necesidades.

A través del controlador remoto RM-IP500 contamos con todas las funciones habituales de posicionamiento y color de forma manual. Y mediante el acceso software a su interfaz web podemos entrar al control exhaustivo del último parámetro desde cualquier dispositivo, como tablets u ordenadores. Pero esto en su momento, más adelante.

Es capaz de trabajar con distintas respuestas cromáticas y curvas de color que abarcan desde una ITU709 hasta las S-Cinetone o S-Log3, pasando por distintas HLG

La alimentación también cuida la versatilidad, ya que puede ser alimentada mediante el clásico XLR-DC de 4 pines entre 11 y 17 voltios, o bien a través de PoE++ (Power over Ethernet), permitiéndonos llegar a simplificar la instalación a un único cable para todas las funciones en determinadas circunstancias.

Para terminar con las señales, también tenemos alguna novedad ya apuntada: la capacidad de grabar los contenidos en sus dos ranuras internas, aptas indistintamente para tarjetas de memoria CFexpress tipo A o las más comunes SDXC. Esta grabación se puede configurar en distintas variantes de formatos XAVC, HEVC y AVC, con hasta 4 canales de audio en formato LPCM de 24 bits a 48 kHz.

Entrando ya en la parte de movimiento, característica fundamental en equipos PTZ (Pan-Tilt-Zoom, giro panorámico-elevación-zoom), los nuevos motores sin escobillas ofrecen unas prestaciones sorprendentes. Por un lado, por el amplísimo margen en las velocidades disponibles, que van desde los 180º en un segundo hasta unos ínfimos 0,004º/segundo. Sí, confirmado, no es un error: cuatro milésimas de grado por segundo.

Para hacernos una idea de la magnitud de ese valor, la velocidad mínima es incluso ligeramente inferior al movimiento de las estrellas en el cielo. Para los curiosos, este movimiento de cuerpos celestes es de 15º/hora o 180º en 12 horas…

Estas velocidades están disponibles en todo el rango de actuación de ambos ejes: de  175º hacia cada lado en el movimiento horizontal, cubriendo un total de 350º,y desde -30º hasta +210º en el movimiento vertical, cubriendo un total de 240º. Esto significa que tendremos cubierto con seguridad todo el campo visible en cualquier posición que se instale, tanto trípode como techo.

Pero si el rango de velocidades es impresionante, con extremos sorprendentes, no lo es menos la suavidad y el silencio de cualquiera de sus movimientos. El nivel de sonoridad declarado es NC25. La suavidad hace que el movimiento sea tremendamente fluido y agradable. Además de nada intrusivo. Podríamos ponerla junto a una orquesta sin molestar.

El silencio era tal que, para llevarlo al límite, llegamos a poner la cámara sobre una mesa de madera, pegar el oído a la mesa sin ver la cámara, en el silencio de la noche, y pedir que alguien moviese la cámara y el zoom a cualquier velocidad. Tres personas distintas, una de ellas con un oído especialmente fino, fuimos incapaces de saber cuándo se estaba moviendo. Sólo se percibía el tenue murmullo del ventilador.

Estas impresionantes prestaciones no conllevan un conjunto ni voluminoso ni pesado. Al contrario, el tamaño es ligeramente inferior a 17 x 23 x 19cm, con un peso de sólo 3,7kg. Se suministra con un par de roscas para montar directamente en trípode, además del habitual soporte para anclar a techo.

El diseño, de líneas sencillas y acabado en colores negro mate o blanco neutro, hace que se pueda montar discretamente en cualquier lugar sin llamar especialmente la atención. Sus dos indicadores tally paralelos son de gran tamaño en los extremos redondeados de los brazos del cuerpo móvil, facilitando su clara visibilidad en cualquier ángulo de operación.

La función tally también soporta el protocolo TSL y sus cuatro colores dan información ampliada del modo de funcionamiento de una forma muy eficaz. Por ejemplo, el azul nos indica que están activadas y en operación las funciones de análisis IA.

Entrando ya en el funcionamiento, hay que considerar que hemos destacado mucho la habilidad del autoframing por lo novedosa, pero no hay que perder de vista que contamos con otra significativa serie de automatismos como un excelente autofocus con reconocimiento facial, que puede trabajar de forma independiente del autoframing, o de forma combinada, potenciando aún más las posibilidades creativas del equipo.

También contamos con automatismos para el control de exposición, que incluyen el filtro ND variable como parámetro manejable, facilitando que mantengamos coherencia en la narrativa visual, aun cuando haya cambios importantes en los niveles de iluminación de nuestra escena.

En cuanto a la ganancia, en nuestras pruebas valoramos que hasta unos 5dBs son admisibles en producciones broadcast sin generar ruido perceptible.

Para empezar a trabajar, una vez alimentada, sólo necesitaremos conocer su dirección IP para acceder a su manejo desde el controlador remoto clásico, del estilo del RM-IP500, pudiendo hacer con ella lo mismo que haríamos con cualquier otra cámara PTZ: movimientos manuales, memorias de posiciones, trayectorias de movimiento, ajustes de iris, zoom, foco, colorimetría, etc. Al igual que es posible, mediante la misma conexión de red, controlar todos los parámetros de imagen desde un controlador RCP.

Resulta altamente compatible gracias a sus múltiples protocolos de control, que incluyen VISCA sobre IP, CGI, S700PTP, RS422, PTP-IP y TSL tally. De esta forma, es fácil integrarla en creación de entornos virtuales ya que podrá intercambiar información de posicionamiento en tiempo real con los equipos de generación de imagen.

Aunque para extraer todo su potencial en realidad no necesitaríamos de ningún controlador clásico, ya que nos ofrece todas las funcionalidades de su software a través del acceso a su interfaz web. Para ello, simplemente necesitamos cualquier dispositivo con un navegador capaz de apuntar a una dirección IP dentro del mismo segmento de red, pudiendo realizarse el acceso desde prácticamente todos los sistemas operativos: Windows, Mac, iOS y Android.

En cuanto a la ganancia, en nuestras pruebas valoramos que hasta unos 5dBs son admisibles en producciones broadcast sin generar ruido perceptible

Por cierto que, hablando de protocolos y antes de entrar en el menú, no hay que pasar por alto el protocolo Free-D que también incorpora. Esta funcionalidad permite el intercambio de datos y la interacción directa con los sistemas de creación de contenidos virtuales como los de Brainstorm, Unreal Engine o Vizrt, entre otros. Gracias a ello su integración en las producciones tanto con VR (realidad virtual) como con AR (realidad aumentada) resulta sencilla y muy eficiente.

Esta tecnología es la que nos permite integrar de forma creíble y coherente escenarios, situaciones y personajes reales con otros generados por ordenador, tanto en estudios de rodaje, platós de tv, conciertos, deportes, etc…

Entrando ahora ya sí en el menú, una vez validados con usuario y contraseña, en esta interfaz tenemos no sólo toda la configuración y todos los controles, sino que también contamos con el monitor de imagen que nos ofrece una réplica exacta del visor, con funciones táctiles para seleccionar el punto de enfoque o el sujeto para seguimiento, etc. Es decir, que podríamos estar operando nuestra cámara incluso desde una ubicación remota. Muy remota.

Sólo en la primera conexión es posible que se nos pida validación o confirmación de algún parámetro de cámara, como la contraseña de administrador o la fecha/hora, y tendremos ocasión de elegir nuestro idioma preferido de entre una larga serie de idiomas disponibles, que por supuesto incluye el español.

La interfaz web divide inicialmente la pantalla en cinco áreas con funciones claramente diferenciadas: una estrecha barra de selección en la parte superior, cuya zona central contiene las 4 pestañas para las distintas funciones principales: operación en directo, ajustes de autoframing, reproducción de contenidos grabados y ajustes de configuración. Las áreas laterales e inferior de este panel principal cambiarán, o desaparecerán, en función del módulo activo.

En esta misma barra superior encontramos el botón de encendido/apagado remoto de la cámara a la izquierda y, a la derecha, las alarmas y el botón de bloqueo de todo el panel para evitar acciones accidentales.

Activando el primer módulo, de operación en directo, la mayor parte del espacio estará ocupado por el visor de cámara, con el panel de presets a la izquierda, abajo las indicaciones y el acceso a los principales parámetros como ganancia, obturador, iris, nd, escena y balance de blancos. A la derecha encontramos el menú principal dividido en tres secciones para acceder a todos y cada uno de los elementos de configuración.

En la parte superior de este panel derecho encontramos los botones de REC y AFR (autoframing). Inmediatamente por debajo, las capacidades relacionadas con ajustes de cámara, AF, audio, wi-fi, etc. Y abajo, las relacionadas con las funciones de movimiento PTZ. Cada una de ellas tiene una pequeña barra de menú superior con una colección de iconos para ir abriendo los distintos subpaneles que contienen, en los que no vamos a entrar a detallar por no extendernos en exceso.

En el segundo módulo, ajustes PTZ para autoframing, encontramos las opciones para determinar todos los detalles. Como los ajustes de detección, el ajuste de encuadre en las tres posiciones principales: primer plano, plano medio y plano general. También los relacionados con la velocidad de respuesta y operación, y uno especialmente interesante: la posición de partida.

 

Cuando estamos operando con la cámara, lógicamente podemos establecer a qué sujeto deseamos hacerle el seguimiento. Pero incluso esto se puede automatizar, estableciendo una posición de partida de forma que la persona que entre y permanezca en esa posición unos segundos quedará registrada como protagonista, haciéndose su seguimiento a partir de ese momento.

 

Saltando ya al tercer módulo principal, el de reproducción de contenidos grabados, no sólo encontramos las funciones habituales de reproducción, con selección de soporte y acceso a los clips, sino que también disponemos de acceso directo a algunas funciones del visor. Y, lo que es más importante, en la parte inferior derecha encontramos los botones para acceder y manejar el menú interno de la cámara como si la tuviésemos en la mano.

Esta gran ventaja conlleva un pequeño inconveniente y es que, para saber lo que estamos haciendo, debemos tener activada la sobreimpresión del menú en imagen, haciendo que esta funcionalidad no sea recomendable durante una grabación o un directo.

Pero todo esto no debe preocuparnos lo más mínimo porque, en cualquier caso, todas estas mismas opciones del menú de cámara están accesibles en el cuarto módulo de la interfaz. Desde ahí tenemos acceso a todas las funciones del menú interno de la cámara y podremos cambiar cualquier parámetro sin interferir en las señales que puedan estar eventualmente emitiéndose.

El menú interno es muy similar al que encontramos en la mayoría de equipos de Sony, muy extenso e intimidante para algunos y una delicia por el enorme control que permite, para otros. Recordemos que siempre tenemos la opción del menú “usuario”, donde simplemente agrupamos las opciones habituales y necesarias para el trabajo que tengamos entre manos. Así, sin tener que navegar entre opciones, tendremos reunidas y fácilmente accesibles todas las que hayamos seleccionado y sólo esas.

Con algunos ajustes debemos ser especialmente cuidadosos, ya que cualquier persona con la dirección, el usuario y la contraseña, podría acceder a la cámara. Para ello es posible crear usuarios con accesos limitados, como en cualquier otro dispositivo de red. Esto nos permite facilitar el acceso a un grupo restringido de funciones o características, de forma que minimizamos riesgos y errores por parte de operadores menos experimentados.

También en la configuración de red es posible establecer una serie de servidores FTP de destino para nuestros contenidos. De esta forma será muy fácil y rápido cambiar el destino, sin necesidad de estar lidiando con usuarios y contraseñas entre una producción y otra.

Uno de los ajustes que sólo encontraremos en este tipo de cámara es el relacionado con las configuraciones de las funciones PTZ. Estas nos permiten configurar no sólo velocidades de movimiento, sino también límites en los ángulos de forma que nunca nos perdamos apuntando a paredes si la cámara está, por ejemplo, cerca de una esquina.

Entrando ya en la parte de operación pura y experiencia de usuario, a pesar de la enorme cantidad de elementos que tenemos bajo nuestro control, toda la operativa es bastante sencilla, incluso para quienes puedan operar por primera vez con un equipo de estas características.

Puede resultar un poco sorprendente estar sentado en un sillón y ver cómo con un simple clic en la pantalla de nuestra tablet la cámara se dedica a seguir a nuestro protagonista de forma precisa e incansable. Y, si bien es cierto que el sillón puede estar a cientos o miles de kilómetros, en un directo o un rodaje importante aún nos seguiremos sintiendo mejor en el set.

Para controlar el funcionamiento, especialmente en las situaciones en las que el sujeto sale de escena o se pierde, tenemos varias posibilidades: un temporizador de espera para facilitar que nuestro protagonista vuelva a entrar o volver a una posición de partida predefinida. En esta posición, podremos seleccionar un nuevo protagonista o bien se podrá configurar para que sea seleccionado automáticamente.

El autoframing ha funcionado muy bien, siguiendo sin problemas a la persona determinada. Buscando límites hemos ido bajando iluminación hasta comprometer el resultado. Y sí, hemos conseguido hacer que se perdiera. Pero con un nivel de iluminación tan pobre que las imágenes habrían sido inutilizables.

En definitiva, el avance del autoframing con IA supone un nuevo hito del que estamos convencidos que hará avanzar la producción audiovisual, abriendo nuevos e interesantes ámbitos de actuación. Combinándola con las funcionalidades visuales como la calidad de imagen, el ND variable o los distintos espacios de color, la capacidad de integración en entornos broadcast con su operativa común y las de integración con VR y AR gracias al protocolo Free-D, así como las mecánicas gracias sus nuevos servomotores y su capacidad de respuesta, resulta en un conjunto versátil, fiable y muy potente que la convierte en una nueva y poderosa herramienta para crear nuevos contenidos. Esos que todos estamos ansiosos por ver y disfrutar.

Finalmente, antes de terminar, es importante hacer una aclaración en cuanto a las posibilidades del análisis de IA en el seguimiento de sujetos: los resultados que ofrece gracias a esta característica son sobresalientes, pero sólo funciona con humanos. Al menos de momento. Estamos convencidos de que, al igual que las cámaras de fotos o de vídeo que inicialmente sólo reconocían personas y ahora son capaces de reconocer incluso ojos en multitud de especies animales, es muy probable que, en un futuro nada lejano y con las correspondientes actualizaciones, todas estas facultades se puedan ampliar.

Mientras tanto, vayamos preparándonos para sacar el máximo partido de todo lo que hoy ya tenemos a nuestro alcance, sin perder de vista que esto mismo era ciencia ficción hace muy poquito tiempo.

Related Tag:

Los comentarios están cerrados

Artículo relacionado