Multi-Camera Video Capture for Real-Time 3DGS Avatars Intern

About InterDigital

InterDigital is a global research and development company focused primarily on wireless, video, artificial intelligence (“AI”), and related technologies. We design and develop foundational technologies that enable connected, immersive experiences in a broad range of communications and entertainment products and services. We license our innovations worldwide to companies providing such products and services, including makers of wireless communications devices, consumer electronics, IoT devices, cars and other motor vehicles, and providers of cloud-based services such as video streaming. As a leader in wireless technology, our engineers have designed and developed a wide range of innovations that are used in wireless products and networks, from the earliest digital cellular systems to 5G and today’s most advanced Wi-Fi technologies. We are also a leader in video processing and video encoding/decoding technology, with a significant AI research effort that intersects with both wireless and video technologies. Founded in 1972, InterDigital is listed on Nasdaq.

InterDigital is a registered trademark of InterDigital, Inc.

For more information, visit: www.interdigital.com.

Summary

The InterDigital Immersive Video Lab is dedicated to advancing avatar-based communication. In this context, this internship aims to transform an existing photography setup comprising 14 DSLR cameras into a multi-view video capture rig. The primary objective is to develop a complete acquisition pipeline for synchronized recordings of facial expressions and head movements. The work will begin by assessing the cameras’ video capabilities, synchronization options, and data transfer constraints. It will include camera calibration, lighting configuration, and the development of tools to control and monitor recording sessions. Particular attention will be given to temporal alignment, consistent exposure, and image quality across viewpoints. A facial capture protocol will define the expressions, speech sequences, and head movements required for avatar reconstruction and animation. The second objective is to produce a structured multi-view video dataset for real-time avatar calls using 3D Gaussian Splatting. The dataset will include recordings from multiple participants, calibration data, capture metadata, and predefined training and evaluation sequences. The expected outcomes are an operational video capture rig, a documented acquisition workflow, and a quality-checked dataset collected with participant consent.

Responsibilities

• Convert the existing photography setup into a synchronized video capture rig
• Develop and document the acquisition pipeline
• Design and implement a facial capture protocol
• Collect, organize, and quality-check a multi-participant dataset

Qualifications

Master – High level in programming, code architecture and format interoperability. Some knowledge in 3D computer vision, computer graphics, 3D modeling, rendering or Maya/Houdini/Blender would be appreciated

Keywords: avatar-based communication, digital human and interoperability

Expected Outcomes: patents, publications and software modules.

Location: Cesson-Sévigné, France

Mentors: Quentin Avril and João Regateiro

InterDigital is an equal employment opportunity employer. InterDigital will not engage in or tolerate unlawful discrimination with regard to any employment decision, policy or practice based on a person’s sex, gender, pregnancy (including childbirth, breastfeeding and related medical conditions), age, race, color, religion, creed, national origin, ancestry, citizenship, military status, veteran status, mental or physical disability, medical condition, genetic information, sexual orientation, gender identity or expression, or any other factor protected by applicable federal, state or local  law. This policy applies to all terms and conditions of employment, including, but not limited to, recruiting, hiring, compensation, benefits, training, assignments, evaluations, coaching, promotion, discipline, discharge and layoff.

À propos d'InterDigital

InterDigital est une société internationale de recherche et développement spécialisée principalement dans les technologies sans fil, la vidéo, l'intelligence artificielle (« IA ») et les technologies associées. Nous concevons et développons des technologies fondamentales qui rendent possibles des expériences connectées et immersives dans un large éventail de produits et services de communication et de divertissement. Nous concédons des licences sur nos innovations dans le monde entier à des entreprises qui proposent ces produits et services, notamment des fabricants d'appareils de communication sans fil, d'électronique grand public, d'objets connectés (IoT), d'automobiles et d'autres véhicules à moteur, ainsi qu'à des fournisseurs de services cloud tels que la diffusion vidéo en streaming. Leader des technologies sans fil, InterDigital a vu ses ingénieurs concevoir et développer un large éventail d'innovations utilisées dans les produits et réseaux sans fil, des premiers systèmes cellulaires numériques jusqu'à la 5G et aux technologies Wi-Fi les plus avancées d'aujourd'hui. Nous sommes également un leader du traitement vidéo et des technologies de codage et de décodage vidéo, avec un important effort de recherche en IA à la croisée des technologies sans fil et vidéo. Fondée en 1972, InterDigital est cotée au Nasdaq.

InterDigital est une marque déposée d'InterDigital, Inc.

Pour en savoir plus, rendez-vous sur www.interdigital.com.

Résumé

L'Immersive Video Lab d'InterDigital se consacre au développement de la communication basée sur les avatars. Dans ce contexte, ce stage vise à transformer un dispositif photographique existant, composé de 14 appareils photo reflex numériques, en un système de capture vidéo multivue. L'objectif principal est de développer une chaîne d'acquisition complète permettant des enregistrements synchronisés des expressions faciales et des mouvements de la tête. Les travaux débuteront par l'évaluation des capacités vidéo des appareils, des options de synchronisation et des contraintes de transfert des données. Ils comprendront l'étalonnage des caméras, la configuration de l'éclairage et le développement d'outils de pilotage et de suivi des sessions d'enregistrement. Une attention particulière sera portée à l'alignement temporel, à la cohérence de l'exposition et à la qualité d'image d'un point de vue à l'autre. Un protocole de capture faciale définira les expressions, séquences de parole et mouvements de tête nécessaires à la reconstruction et à l'animation des avatars. Le second objectif est de constituer un jeu de données vidéo multivue structuré pour des appels avec avatars en temps réel reposant sur le 3D Gaussian Splatting. Ce jeu de données comprendra des enregistrements de plusieurs participants, des données d'étalonnage, des métadonnées de capture ainsi que des séquences prédéfinies d'entraînement et d'évaluation. Les résultats attendus sont un système de capture vidéo opérationnel, une procédure d'acquisition documentée et un jeu de données dont la qualité a été contrôlée, recueilli avec le consentement des participants.

Missions

• Transformer le dispositif de photographie existant en un système synchronisé de capture vidéo
• Développer et documenter le pipeline d’acquisition
• Concevoir et mettre en œuvre un protocole de capture faciale
• Collecter, organiser et contrôler la qualité d’un jeu de données comprenant plusieurs participants

Profil recherché

Master. Très bon niveau en programmation, en architecture logicielle et en interopérabilité des formats. Des connaissances en vision par ordinateur 3D, informatique graphique, modélisation 3D, rendu ou Maya/Houdini/Blender seraient appréciées

Mots-clés: communication basée sur les avatars, humain numérique et interopérabilité

Résultats attendus: brevets, publications et modules logiciels.

Lieu: Rennes, France

Encadrement: Quentin Avril et João Regateiro

InterDigital est un employeur qui garantit l'égalité des chances en matière d'emploi. InterDigital ne pratique ni ne tolère aucune discrimination illicite dans ses décisions, politiques ou pratiques en matière d'emploi fondée sur le sexe, le genre, la grossesse (y compris l'accouchement, l'allaitement et les problèmes de santé qui y sont liés), l'âge, l'origine raciale, la couleur de peau, la religion, les convictions, l'origine nationale, l'ascendance, la nationalité, la situation militaire, le statut d'ancien combattant, le handicap mental ou physique, l'état de santé, les informations génétiques, l'orientation sexuelle, l'identité ou l'expression de genre, ou tout autre critère protégé par la législation fédérale, étatique ou locale applicable. Cette politique s'applique à l'ensemble des conditions d'emploi, notamment, sans que cette liste soit limitative, le recrutement, l'embauche, la rémunération, les avantages sociaux, la formation, les affectations, les évaluations, l'accompagnement, la promotion, les sanctions disciplinaires, le licenciement et les suppressions de postes.