Description

Les représentations 3D jouent un rôle crucial pour créer différentes formes d’interaction et de communication immersives. Avec pour objectif ultime de produire des expériences de haute qualité en termes de visualisation 3D, l’objectif scientifique du projet L3DCR est de développer des modèles appris de bout en bout pour la compression et la reconstruction de contenu 3D. À cette fin, le projet se concentrera sur deux composantes clés liées aux aspects de codage et de qualité visuelle de ces données. Plus précisément, les activités de recherche seront consacrées à la compression et à l’amélioration de la qualité des objets 3D reconstruits. En raison de l’énorme succès des réseaux de neurones dans le traitement d’images et de vidéos, il devient essentiel d’étendre leur champ d’utilisation et de les adapter à ce type de données 3D. Ainsi, ce projet vise à développer un ensemble de méthodes avancées basées sur des idées puissantes issues des structures de lifting, du traitement du signal sur les graphes, et des réseaux de neurones. Les algorithmes développés seront ensuite validés à l’aide de jeux de données 3D standard et évalués au moyen de métriques traditionnelles et basées sur l’apprentissage.

Compétences requises

Les candidats doivent répondre aux exigences suivantes : - Master ou études d'ingénieur dans des domaines pertinents (intelligence artificielle, science des données, mathématiques appliquées). Certaines connaissances en théorie des graphes sont utiles mais pas nécessaires. - Bonnes compétences en programmation en Python et au moins une bibliothèque d'apprentissage profond associée (PyTorch/TensorFlow). - Bonnes compétences en communication orale et écrite.

Bibliographie

1] K. Coel, et al., “Extended reality: Opportunities, success stories and challenges (health, education)”, European Commission, 2023.
[2] S. Schwarz, M. Preda, V. Baroncini, M. Budagavi, P. Cesar, P. A. Chou, R. A. Cohen, M. Krivokuca, S. Lasserre, Z. Li, J. Llach, K. Mammou, R. Mekuria, O. Nakagami, E. Siahaan, A. Tabatabai, A. M. Tourapis, V. Zakharchenko, “Emerging MPEG Standards for Point Cloud Compression”, IEEE Jour. on Emerg. and Sel. Top. in Circuits and Sys., vol. 9, no. 1, Mar. 2019.
[3] H. Liu, H. Yuan, Q. Liu, J. Hou, J. Liu, “A Comprehensive Study and Comparison of Core Technologies for MPEG 3D Point Cloud Compression”, IEEE Transactions on Broadcasting, vol. 66, no. 3, pp. 701-717, Sept. 2020.
[4] P. Hermosilla, T. Ritschel, T. Ropinski, “Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning”, IEEE International Conference on Computer Vision (ICCV), pp. 52-60, Nov. 2019.
[5] A. Mao, B. Yan, Z. Ma, Y. He, “Denoising Point Clouds in Latent Space via Graph Convolution and Invertible Neural Network”, in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle WA, 2024.
[6] J. Jia, L. Li, Z. Li, and S. Liu, “Deep Learning Geometry Compression Artifacts Removal for Video-Based Point Cloud Compression”, International Journal of Computer Vision, vol. 129, pp. 2947-2964, 2021.
[7] D. Chen, P. Zhang, I. Feldmann, O. Schreer, P. Eisert, “Recovering Fine Details for Neural Implicit Surface Reconstruction”, in IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2023.
[8] B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis, “3D gaussian splatting for real-time radiance field rendering”, ACM Transactions on Graphics, vol. 42, no. 4, 2023.
[9] K. Mammou, P. A. Chou, D. Flynn, M. Krivokuc, O. Nakagami and T. Sugio, “Geometry-based point cloud compression (G-PCC) codec description v2”, ISO/IEC JTC1/SC29/WG11 MPEG, N 18189, 3D Graphics, 2019.
[10] E. Pavez, B. Girault, A. Ortega and P. A. Chou, “Region Adaptive Graph Fourier Transform for 3D Point Clouds”, IEEE International Conference on Image Processing (ICIP), pp. 2726-2730, 2020.
[11] M. Quach, G. Valenzise, F. Dufaux. “Learning Convolutional Transforms for Lossy Point Cloud Geometry Compression”, IEEE International Conference on Image Processing (ICIP), 2019.
[12] M. Quach, G. Valenzise, F. Dufaux, “Improved Deep Point Cloud Geometry Compression”, IEEE International Workshop on Multimedia Signal Processing (MMSP), 2020.
[13] R. B. Pinheiro, J.-E. Marvin, G. Valenzise, F. Dufaux, “Reducing the complexity of normalizing flow architectures for point cloud attribute compression”, IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Apr. 2024.
[14] X. Sheng, L. Li, D. Liu, Z. Xiong, Z. Li and F. Wu, “Deep-PCAC: An End-to-End Deep Lossy Compression Framework for Point Cloud Attributes”, IEEE Transactions on Multimedia, 2021.
[15] A. Javaheri, C. Brites, F. Pereira, J. Ascenso, “Point Cloud Rendering after Coding: Impacts on Subjective and Objective Quality”, IEEE Transactions on Multimedia, vol. 23, pp. 4049-4064, Nov. 2020.
[16] A. C. Oztireli, G. Guennebaud, M. Gross, “Feature preserving point set surfaces based on non-linear kernel regression,” Computer Graphics Forum, vol. 28, no. 2, pp. 493-501, 2009.
[17] J. Digne, C. De Franchis, “The bilateral filter for point clouds”, Image Processing On Line, vol. 7, pp. 278-287, 2017.
[18] Y. Sun, S. Schaefer, W. Wang, “Denoising point sets via L0 minimization”, Computer Aided Geometric Design, vol. 35, pp. 2-15, 2015.
[19] W. Hu, X. Gao, G. Cheung, Z. Guo, “Feature graph learning for 3D point cloud denoising”, IEEE Transactions on Signal Processing, vol. 68, pp. 2841-2856, 2020.
[20] C. Duan, S. Chen, J. Kovacevic, “3D Point Cloud Denoising via Deep Neural Network Based Local Surface Estimation”, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 8553-8557, 2019.
[21] M.-J. Rakotosaona, V. La Barbera, P. Guerrero, N. J. Mitra, M. Ovsjanikov, “POINTCLEANNET: Learning to denoise and remove outliers from dense point clouds”, Computer Graphics Forum, vol. 39, pp. 185–203, 2020.
[22] C. R. Qi, H. Su, K. Mo, L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation”, Computer Vision and Pattern Recognition (CVPR), pp. 652-660, 2017.
[23] A. Akhtar, W. Gao, L. Li, Z. Li, W. Jia, S. Liu, “Video-based Point Cloud Compression Artifact Removal”, IEEE Transactions on Multimedia, 2021.
[24] X. Sheng, L. Li, D. Liu, Z. Xiong, “Attribute artifacts removal for geometry-based point cloud compression”, IEEE Transactions on Image Processing, vol. 31, pp. 3399-3413, 2022.
[25] T. Dardouri, M. Kaaniche, A. Benazza-Benyahia, J.-C. Pesquet, “Dynamic Neural Network for Lossy-to-Lossless Image Coding”, in IEEE Transactions on Image Processing, vol. 31, no. 3, p. 569-584, Dec. 2021.
[26] T. Dardouri, M. Kaaniche, A. Benazza-Benyahia, G. Dauphin, and J.-C. Pesquet, “Joint Learning of Fully Connected Network Models in Lifting Based Image Coders”, in IEEE Transactions on Image Processing, vol. 33, pp. 134-148, Nov. 2023.
[27] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, R. Ng, “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis,” European Conference on Computer Vision (ECCV), Glascow, UK, Aug. 2020.
[28] W. Liu, Q. Yan, Y. Zhao, “Densely Self-guided Wavelet Network for Image Denoising”, IEEE Conference on Computer Vision and Pattern Recognition, 2020.
[29] J.-J. Huang, P. L. Dragotti, “WINNet: Wavelet-inspired Invertible Network for Image Denoising”, IEEE Transactions on Image Processing, vol. 31, pp. 4377-4392, 2022.
[30] M. Terris, A. Repetti, J.-C. Pesquet, Y. Wiaux, “Enhanced Convergent PnP Algorithms For Image Restoration”, IEEE International Conference on Image Processing, pp. 1684-1688, 2021.
[31] M. Tliba, A. Chetouani, G. Valenzise, F. Dufaux, “PCQA-graphpoint: Efficient deep-based graph metric for point cloud quality assessment”, IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Apr. 2023.
[32] European Commission, “An EU initiative on Web 4.0 and virtual worlds: a head start in the next technological transition”, July 2023.

Mots clés

contenu 3D, compression, suppression des distorsions, transformations sur les graphes, réseaux neuronaux inversibles, apprentissage de bout en bout