Real-Time Deep Learning Inference for Display Power Reduction Intern

About InterDigital

InterDigital is a global research and development company focused primarily on wireless, video, artificial intelligence (“AI”), and related technologies. We design and develop foundational technologies that enable connected, immersive experiences in a broad range of communications and entertainment products and services. We license our innovations worldwide to companies providing such products and services, including makers of wireless communications devices, consumer electronics, IoT devices, cars and other motor vehicles, and providers of cloud-based services such as video streaming. As a leader in wireless technology, our engineers have designed and developed a wide range of innovations that are used in wireless products and networks, from the earliest digital cellular systems to 5G and today’s most advanced Wi-Fi technologies. We are also a leader in video processing and video encoding/decoding technology, with a significant AI research effort that intersects with both wireless and video technologies. Founded in 1972, InterDigital is listed on Nasdaq.

InterDigital is a registered trademark of InterDigital, Inc.

For more information, visit: www.interdigital.com.

Summary

DeepPVR is InterDigital’s in-house deep-learning algorithm that reduces the energy consumed by images shown on OLED displays and on LCD displays with local dimming, while preserving perceived picture quality. The current implementation delivers the expected power savings but does not run in real time, mainly because of implementation inefficiencies rather than fundamental algorithmic limits. The intern will join the Video research team to make DeepPVR run in real time on modern GPUs and on mobile devices equipped with neural accelerators (TPU/NPU). The work spans inference-pipeline optimization, network-architecture modifications such as pruning and quantization, and an experimental study of the battery-life impact of running the algorithm live on a mobile device.

Responsibilities

• Profile the existing DeepPVR implementation to identify compute, memory and data-transfer bottlenecks.

• Re-implement and optimize the inference pipeline for real-time execution on modern GPUs (e.g., CUDA, TensorRT, ONNX Runtime).

• Port the model to mobile devices with TPU/NPU accelerators using on-device inference frameworks (e.g., LiteRT/TensorFlow Lite, Core ML, Qualcomm AI Engine) and optimize it for real-time throughput.

• Explore network-architecture modifications such as pruning, quantization, knowledge distillation and lightweight backbones, and quantify their impact on runtime, power savings and visual quality.

• Design and run experiments measuring the battery-life impact of running DeepPVR in real time on mobile devices, separating display power savings from the added compute cost.

• Document the work, present results to the team, and contribute to publications or invention disclosures where relevant.

Qualifications

• Currently enrolled in a Master’s degree in Computer Science, Electrical Engineering, Applied Mathematics or a related field.
• Strong programming skills in Python and C/C++.

• Experience with a deep-learning framework (PyTorch or TensorFlow) and with training and evaluating convolutional networks.

• Experience with GPU programming or inference optimization (CUDA, TensorRT, ONNX, LiteRT/TensorFlow Lite, Core ML) is a strong plus.

• Familiarity with model-compression techniques (pruning, quantization, distillation) is a plus.

• Knowledge of image processing, display technologies (OLED, LCD local dimming) or perceptual image quality is a plus.

• Experience with mobile development (Android/iOS), on-device benchmarking or power measurement is a plus.

• Good communication skills in English. Autonomous, curious and rigorous in experimental work. French communication skills is a plus.

Keywords:

Deep learning, model compression, pruning, quantization, real-time inference, GPU, TPU/NPU, edge AI, display power saving, energy efficiency, image processing.

Expected Outcomes:

• A real-time implementation of DeepPVR running on a modern GPU.

• A real-time implementation of DeepPVR running on a mobile device with a TPU/NPU.

• A quantitative analysis of the runtime / power-saving / visual-quality trade-offs of the optimized and pruned network variants.

• Measurements of the battery-life impact of running DeepPVR live on a mobile device.

• A technical report and, where relevant, a publication or invention disclosure.

Location: Rennes, France

Mentors:  to be determined

InterDigital is an equal employment opportunity employer. InterDigital will not engage in or tolerate unlawful discrimination with regard to any employment decision, policy or practice based on a person’s sex, gender, pregnancy (including childbirth, breastfeeding and related medical conditions), age, race, color, religion, creed, national origin, ancestry, citizenship, military status, veteran status, mental or physical disability, medical condition, genetic information, sexual orientation, gender identity or expression, or any other factor protected by applicable federal, state or local  law. This policy applies to all terms and conditions of employment, including, but not limited to, recruiting, hiring, compensation, benefits, training, assignments, evaluations, coaching, promotion, discipline, discharge and layoff.

À propos d'InterDigital

InterDigital est une société internationale de recherche et développement spécialisée principalement dans les technologies sans fil, la vidéo, l'intelligence artificielle (« IA ») et les technologies associées. Nous concevons et développons des technologies fondamentales qui rendent possibles des expériences connectées et immersives dans un large éventail de produits et services de communication et de divertissement. Nous concédons des licences sur nos innovations dans le monde entier à des entreprises qui proposent ces produits et services, notamment des fabricants d'appareils de communication sans fil, d'électronique grand public, d'objets connectés (IoT), d'automobiles et d'autres véhicules à moteur, ainsi qu'à des fournisseurs de services cloud tels que la diffusion vidéo en streaming. Leader des technologies sans fil, InterDigital a vu ses ingénieurs concevoir et développer un large éventail d'innovations utilisées dans les produits et réseaux sans fil, des premiers systèmes cellulaires numériques jusqu'à la 5G et aux technologies Wi-Fi les plus avancées d'aujourd'hui. Nous sommes également un leader du traitement vidéo et des technologies de codage et de décodage vidéo, avec un important effort de recherche en IA à la croisée des technologies sans fil et vidéo. Fondée en 1972, InterDigital est cotée au Nasdaq.

InterDigital est une marque déposée d'InterDigital, Inc.

Pour en savoir plus, rendez-vous sur www.interdigital.com.

Résumé

DeepPVR est un algorithme d'apprentissage profond développé en interne par InterDigital, qui réduit l'énergie consommée par l'affichage des images sur les écrans OLED et sur les écrans LCD à gradation locale (local dimming), tout en préservant la qualité d'image perçue. L'implémentation actuelle permet les économies d'énergie attendues mais ne fonctionne pas en temps réel, principalement en raison d'inefficacités d'implémentation plutôt que de limites algorithmiques fondamentales. La personne recrutée rejoindra l'équipe de recherche Video afin de faire fonctionner DeepPVR en temps réel sur des GPU récents et sur des appareils mobiles équipés d'accélérateurs neuronaux (TPU/NPU). Les travaux couvriront l'optimisation de la chaîne d'inférence, des modifications de l'architecture du réseau telles que l'élagage (pruning) et la quantification, ainsi qu'une étude expérimentale de l'impact sur l'autonomie de la batterie de l'exécution de l'algorithme en direct sur un appareil mobile.

Missions

• Profiler l'implémentation existante de DeepPVR afin d'identifier les goulets d'étranglement en matière de calcul, de mémoire et de transfert de données.

• Réimplémenter et optimiser la chaîne d'inférence pour une exécution en temps réel sur des GPU récents (par exemple CUDA, TensorRT, ONNX Runtime).

• Porter le modèle sur des appareils mobiles dotés d'accélérateurs TPU/NPU à l'aide de frameworks d'inférence embarquée (par exemple LiteRT/TensorFlow Lite, Core ML, Qualcomm AI Engine) et l'optimiser pour un débit de traitement en temps réel.

• Explorer des modifications de l'architecture du réseau telles que l'élagage, la quantification, la distillation des connaissances et des backbones allégés, et quantifier leur impact sur le temps d'exécution, les économies d'énergie et la qualité visuelle.

• Concevoir et mener des expérimentations mesurant l'impact sur l'autonomie de la batterie de l'exécution de DeepPVR en temps réel sur des appareils mobiles, en distinguant les économies d'énergie de l'écran du surcoût de calcul.

• Documenter les travaux, présenter les résultats à l'équipe et contribuer, le cas échéant, à des publications ou à des déclarations d'invention.

Profil recherché

• Étudiant ou étudiante en master d'informatique, de génie électrique, de mathématiques appliquées ou dans un domaine connexe.

• Solides compétences en programmation Python et C/C++.

• Expérience d'un framework d'apprentissage profond (PyTorch ou TensorFlow) ainsi que de l'entraînement et de l'évaluation de réseaux convolutifs.

• Une expérience de la programmation GPU ou de l'optimisation de l'inférence (CUDA, TensorRT, ONNX, LiteRT/TensorFlow Lite, Core ML) constitue un réel atout.

• Une connaissance des techniques de compression de modèles (élagage, quantification, distillation) est un plus.

• Des connaissances en traitement d'image, en technologies d'affichage (OLED, LCD à gradation locale) ou en qualité perceptuelle des images sont un plus.

• Une expérience du développement mobile (Android/iOS), de l'évaluation des performances embarquées ou de la mesure de consommation est un plus.

• Bonnes compétences de communication en anglais. Autonomie, curiosité et rigueur dans le travail expérimental. La maîtrise du français est un plus.

Mots-clés :

Apprentissage profond, compression de modèles, élagage (pruning), quantification, inférence en temps réel, GPU, TPU/NPU, IA embarquée (edge AI), réduction de la consommation des écrans, efficacité énergétique, traitement d'image.

Résultats attendus :

• Une implémentation en temps réel de DeepPVR fonctionnant sur un GPU récent.

• Une implémentation en temps réel de DeepPVR fonctionnant sur un appareil mobile doté d'un TPU/NPU.

• Une analyse quantitative des compromis entre temps d'exécution, économies d'énergie et qualité visuelle des variantes optimisées et élaguées du réseau.

• Des mesures de l'impact sur l'autonomie de la batterie de l'exécution de DeepPVR en direct sur un appareil mobile.

• Un rapport technique et, le cas échéant, une publication ou une déclaration d'invention.

Lieu : Rennes, France

 InterDigital est un employeur qui garantit l'égalité des chances en matière d'emploi. InterDigital ne pratique ni ne tolère aucune discrimination illicite dans ses décisions, politiques ou pratiques en matière d'emploi fondée sur le sexe, le genre, la grossesse (y compris l'accouchement, l'allaitement et les problèmes de santé qui y sont liés), l'âge, l'origine raciale, la couleur de peau, la religion, les convictions, l'origine nationale, l'ascendance, la nationalité, la situation militaire, le statut d'ancien combattant, le handicap mental ou physique, l'état de santé, les informations génétiques, l'orientation sexuelle, l'identité ou l'expression de genre, ou tout autre critère protégé par la législation fédérale, étatique ou locale applicable. Cette politique s'applique à l'ensemble des conditions d'emploi, notamment, sans que cette liste soit limitative, le recrutement, l'embauche, la rémunération, les avantages sociaux, la formation, les affectations, les évaluations, l'accompagnement, la promotion, les sanctions disciplinaires, le licenciement et les suppressions de postes.