GdT OT–PDE–ML

10:00 Hugo Koubbi

Homogenized Transformers

Résumé

Nous étudions un modèle aléatoire d’auto-attention profonde multi-têtes, dans lequel les poids sont rééchantillonnés indépendamment d’une couche et d’une tête à l’autre, comme lors de l’initialisation de l’entraînement. En considérant la profondeur comme une variable temporelle, le flux résiduel définit un système de particules en interaction à temps discret sur la sphère unité. Nous démontrons que, sous des changements d’échelle conjoints adéquats de la profondeur, du pas résiduel et du nombre de têtes, cette dynamique admet une limite homogénéisée non triviale. Selon le régime d’échelle, cette limite est soit déterministe, soit stochastique avec un bruit commun ; dans le régime de champ moyen, le second cas conduit à une équation de Fokker–Planck non linéaire stochastique pour la loi conditionnelle d’un token représentatif. Dans le cas gaussien, la dérive limite s’annule, ce qui rend la dynamique homogénéisée suffisamment explicite pour étudier l’effondrement des représentations. Nous obtenons ainsi des compromis quantitatifs entre la dimension, la longueur du contexte et la température, et identifions des régimes dans lesquels la formation d’amas peut être atténuée.

11:00 Alice Le Brigant

On the Wasserstein Geodesic Principal Component Analysis of probability measures

Résumé

Dans cet exposé, nous étudions comment réaliser une analyse en composantes principales (PCA) d’un jeu de données constitué de lois de probabilité, comparées à l’aide de la distance de Wasserstein. L’objectif est d’identifier, dans l’espace des mesures de probabilité, les courbes géodésiques qui décrivent le mieux les modes de variation du jeu de données. Pour cela, nous nous appuyons sur l’interprétation riemannienne de la métrique de Wasserstein. Nous abordons d’abord le cas d’une collection de lois gaussiennes centrées et montrons comment relever les calculs à l’espace des applications linéaires inversibles grâce à la géométrie de Bures-Wasserstein. Dans le cadre plus général des mesures de probabilité absolument continues, nous utilisons la géométrie d’Otto-Wasserstein et des réseaux de neurones pour paramétrer les géodésiques de l’espace de Wasserstein. Enfin, nous comparons cette approche à la PCA tangente classique au moyen de divers exemples et présentons des illustrations sur des jeux de données réels.

10:30 Vladimir Petrovic

Fast coresets for the Sinkhorn divergence

Résumé

La divergence de Sinkhorn est devenue une alternative largement utilisée à la distance de Wasserstein en apprentissage automatique. Tout en présentant un comportement topologique similaire, elle est plus facile à calculer et possède des propriétés qui la rendent particulièrement adaptée à l’optimisation. Dans cet exposé, nous chercherons à construire un petit sous-ensemble pondéré d’un grand jeu de données qui représente fidèlement l’ensemble des données au sens de la divergence de Sinkhorn. Nous y parviendrons en combinant trois algorithmes, pour un temps d’exécution total sous-quadratique. Nous montrons que le sous-ensemble obtenu, appelé coreset, présente une faible divergence de Sinkhorn par rapport aux données initiales. Nous évaluons numériquement l’efficacité de notre méthode face aux approches existantes sur différentes tâches d’apprentissage.

10:00 Rotem Assouline

Magnetic Brunn-Minkowski inequalities

Résumé

Dans cet exposé, nous considérerons des moyennes de Minkowski sur des variétés riemanniennes, où l’interpolation est définie par des géodésiques magnétiques minimisant l’action pour un potentiel magnétique donné. Nous verrons que les inégalités de Brunn-Minkowski associées à cette opération caractérisent les bornes inférieures d’une courbure de Ricci magnétique. Parmi les exemples figurent les champs magnétiques naturels sur les variétés kählériennes et sasakiennes ; le premier cas comprend notamment une inégalité de Brunn-Minkowski horocyclique sur l’espace hyperbolique complexe. Nous observons également que des potentiels magnétiques fermés appartenant à des classes de cohomologie différentes peuvent conduire à des moyennes géodésiques de Minkowski différentes.

11:00 Filippo Quattrocchi

Nonlinear kinetic equations as gradient flows

Résumé

De nombreuses EDP d’évolution, linéaires ou non linéaires, comme l’équation de la chaleur et l’équation des milieux poreux, peuvent être interprétées comme des flots de gradient dans l’espace métrique de Wasserstein des mesures de probabilité. Ce résultat classique fournit des outils généraux pour établir l’existence, l’approximation numérique, l’unicité et des estimations de convergence sous des hypothèses faibles. Dans cet exposé, nous étendons ce point de vue aux équations cinétiques. Nous introduisons d’abord des écarts d_h qui mesurent l’accélération minimale des trajectoires reliant deux mesures de probabilité données sur l’espace des phases. Nous montrons ensuite que, dans la géométrie induite par d_h, les solutions de l’équation de Fokker-Planck cinétique non linéaire peuvent être vues comme des flots de gradient de l’énergie libre. Nous en déduisons la convergence vers ces solutions d’un schéma d’Euler implicite fondé sur d_h. Cet exposé s’appuie sur arXiv:2502.15665, en collaboration avec G. Brigati (ISTA) et J. Maas (ISTA), ainsi que sur des travaux en cours avec G. Brigati (ISTA), G. Carlier (CEREMADE, Paris Dauphine-PSL) et J. Dolbeault (CEREMADE, Paris Dauphine-PSL).

14:00 Dario Trevisan

Large Deviations, Kernels, and Feature Learning in Bayesian Wide Neural Networks

Résumé

Les réseaux de neurones larges sont souvent décrits par des limites de processus gaussiens, qui rendent compte de leur comportement typique à l’initialisation et dans les régimes d’apprentissage dits « paresseux ». Cependant, ces approximations ne décrivent pas les fluctuations rares, mais structurellement importantes, qui gouvernent les effets de largeur finie, la concentration de la loi a posteriori et l’apprentissage de caractéristiques. Dans cet exposé, nous proposons un point de vue fondé sur les grandes déviations pour les réseaux de neurones profonds, au-delà des limites gaussiennes.

Nous présentons d’abord des résultats récents établissant un principe fonctionnel de grandes déviations pour les réseaux entièrement connectés, avec une initialisation gaussienne et des fonctions d’activation lipschitziennes, dont ReLU. Ce principe fournit une description probabiliste de la sortie complète du réseau comme fonction aléatoire sur des ensembles d’entrée compacts, avec une fonction de taux caractérisée par une structure variationnelle récursive d’une couche à l’autre.

Nous abordons ensuite les réseaux de neurones bayésiens et montrons comment la théorie des grandes déviations conduit à une caractérisation variationnelle explicite de la loi a posteriori des prédicteurs. Contrairement à la théorie des processus gaussiens, où le noyau est fixé, la fonction de taux des grandes déviations fait intervenir une optimisation conjointe des sorties et des noyaux internes, donnant une notion naturelle d’apprentissage de caractéristiques au niveau fonctionnel. Des expériences numériques montrent comment ce cadre rend compte des effets non gaussiens, de la déformation de la loi a posteriori et de la sélection de noyaux dépendant des données dans des réseaux de largeur modérée.

Ces résultats suggèrent que les grandes déviations offrent un cadre théorique solide pour comprendre l’apprentissage de représentations dans les réseaux de neurones larges, en reliant les asymptotiques probabilistes au comportement observé en pratique au-delà des approximations gaussiennes. D’après arXiv:2601.18276 et arXiv:2602.22925.

14:00 William Ford

Quantitative Uniqueness of Kantorovich Potentials

Résumé

Nous étudions l’unicité des solutions du problème dual de transport optimal, tant qualitativement que quantitativement, en bornant le diamètre de l’ensemble des optimiseurs. Nous montrons que, si une mesure marginale a un support connexe par arcs rectifiables, que l’autre a un support borné et que c est C^1_loc, les optimiseurs du problème dual sont uniques à une constante près dans L^1. Il s’agit du premier résultat d’unicité duale pour lequel les deux supports peuvent être concentrés sur des sous-ensembles de dimension inférieure à celle de l’espace ambiant. Sur le plan quantitatif, nous démontrons que, lorsque c est C^{1, \alpha} et que le support de l’une des mesures marginales est à une distance de Hausdorff \epsilon d’un ensemble régulier connexe de R^d, le diamètre en L^\infty de l’ensemble des potentiels duaux optimaux est au plus de l’ordre de \epsilon^{\alpha/(\alpha + 1)}. Ce résultat découle d’une nouvelle caractérisation de l’ensemble des potentiels duaux optimaux comme intersection d’une famille explicite de demi-espaces.

15:00 João Miguel Machado

From functional and geometric inequalities to quantitative stability of variational problems in optimal transport and convex geometry

Résumé

Ces dernières années, les communautés travaillant sur les inégalités fonctionnelles et géométriques ont consacré une attention particulière à leurs versions de stabilité quantitative. La question générale est la suivante : une fois identifiées les fonctions optimales, ou les ensembles optimaux dans le cas géométrique, associés à une inégalité, peut-on quantifier la distance d’une fonction quelconque à la variété des optimiseurs, c’est-à-dire à la classe des fonctions pour lesquelles l’inégalité devient une égalité ? Dans cet exposé, nous verrons comment utiliser ces résultats pour établir la stabilité quantitative des solutions de problèmes variationnels.

Nous commencerons par une version quantitative de l’inégalité de Brascamp-Lieb portant sur la variance d’une fonction par rapport à une mesure log-concave, dont nous montrerons qu’elle est optimale. Nos méthodes sont étroitement liées à la théorie des mesures de moments développée par Cordero-Eurasquin et Klartag (2015), puis par Santambrogio (2016). Nous montrerons ensuite comment utiliser la stabilité quantitative des inégalités de Prékopa-Leindler et de Brascamp-Lieb sur la variance pour comprendre celle des mesures de moments, au moyen d’une formulation variationnelle.

Des idées similaires s’appliquent naturellement à la stabilité quantitative des solutions du problème de Minkowski, qui remonte à Minkowski et Alexandrov dans les années 1930. Nous les étudierons à l’aide de la théorie de Brunn-Minkowski développée par Figalli-Maggi-Pratelli (2012), combinée à la théorie plus ancienne de Diskant (1964), fondée sur la distance de Hausdorff entre ensembles convexes. Travaux en collaboration avec João Pedro Ramos, ainsi qu’avec João Pedro Ramos et Károly Böröczky.

14:00 Filippo Santambrogio

Sans surprises, si on met Sinkhorn dans le JKO on trouve de la diffusion linéaire / No surprises: putting Sinkhorn into JKO yields linear diffusion

Résumé

Le schéma JKO est une méthode d’approximation pour trouver des solutions ρ d’EDP sous la forme “équation de continuité où le champ de vitesse v est l’opposé du gradient de la variation première d’une fonctionnelle F”, qui consiste à minimiser de manière itérative une combinaison de F et du carré de la distance W_2 à la densité trouvée à l’étape précédente, avec un paramètre τ qui correspond à un pas de temps. En particulier, lorsque F est l’entropie de ρ, on trouve l’équation de la chaleur. Pour des raisons computationnelles, on est tentés de remplacer le vrai coût de transport définissant W_2 par son approximation entropique, à l’origine de la méthode numérique de Sinkhorn, ce qui nécessite le choix d’un coefficient ε devant l’entropie du plan de transport γ. Si ε est très petit, on s’attend à converger vers la même EDP, flot de gradient de F, mais si ε est grand il semblerait qu’une diffusion supplémentaire apparaîtrait. Dans un article récent avec A. Baradat et A. Hraivoronska nous prouvons que c’est bien le cas. Plus précisément, lorsque ε/τ→α, l’équation qu’on obtient à la limite est celle du flot de gradient de F avec un terme de plus de la forme αΔρ.

Traduction du résumé anglais : le schéma JKO est une méthode d’approximation permettant de construire des solutions ρ d’EDP de la forme « une équation de continuité dont le champ de vitesse v est l’opposé du gradient de la première variation d’une fonctionnelle F ». Pour des raisons de calcul, il est tentant de remplacer le coût de transport définissant W_2 par sa régularisation entropique (approximation de Sinkhorn). Lorsque ε/τ→α, l’équation limite décrit le flot de gradient de F, avec un terme supplémentaire de la forme αΔρ.

14:00 Christophe Vauthier

Variational Analysis in the Wasserstein Hierarchy

Résumé

Soit M une variété riemannienne complète et connexe. Pour n ≥ 0, nous munissons l’espace de Wasserstein P⁽ⁿ⁾₂(M) = P₂(… P₂(M)…), équipé de la distance de Wasserstein W₂, d’une structure variationnelle qui généralise la structure usuelle de P₂(M) issue de la théorie du transport optimal. Notre approche s’appuie sur des outils de la théorie des catégories pour relever la structure géométrique de la variété M aux espaces P⁽ⁿ⁾₂(M), afin d’établir de manière systématique un cadre théorique rigoureux pour l’analyse variationnelle sur P⁽ⁿ⁾₂(M). En particulier, nous obtenons une caractérisation précise des géodésiques à vitesse constante de P⁽ⁿ⁾₂(M) en termes de plans de vitesse optimaux. Nous introduisons également une notion de gradient pour les fonctionnelles définies sur P⁽ⁿ⁾₂(M), qui permet d’étudier la différentiabilité et la convexité de différentes classes de telles fonctionnelles.

15:00 Dmitry Vorotnikov

Adaptive Gradient Flow Scheme and Dual Variational Solutions to the Nash System

Résumé

Nous étudions l’influence des états dits de base sur la cohérence de la formulation variationnelle duale de systèmes quadratiques d’EDP qui ne sont pas nécessairement conservatifs ; des exemples typiques sont les systèmes de Nash sans bruit, avec un hamiltonien quadratique et plusieurs joueurs. Nous identifions une condition nécessaire à cette cohérence sur de grands intervalles de temps. En particulier, dans le cas d’un seul joueur, il existe une suite d’états de base, chacun présentant une cohérence complète, qui converge en moyenne vers zéro. Nous proposons également un schéma fondé sur des flots de gradient hilbertiens qui, à partir d’un état de base arbitraire, produit une suite de nouveaux états de base dont on s’attend à ce qu’elle converge vers une solution de l’EDP initiale. D’après des travaux en cours avec A. Acharya (Carnegie Mellon).

14:00 Agnès Desolneux

La distance MW_2 entre mélanges de gaussiennes : définition, extensions et applications

Résumé

Dans cet exposé je présenterai plusieurs extensions et applications de la distance MW_2 introduite avec Julie Delon. Cette distance s’obtient en considérant le transport usuel W_2 et en le restreignant aux plans de transport qui sont eux-mêmes des mélanges de gaussiennes (GMM). Il en résulte une distance MW_2 qui s’exprime comme un problème de transport discret dans l’espace des mesures gaussiennes. Je montrerai plusieurs applications de cette distance, ce qui nécessite souvent d’abord de pouvoir obtenir une application (map) de transport à partir d’un plan de transport. Je parlerai aussi de l’extension à la distance de Gromov-Wasserstein pour pouvoir faire du transport entre GMM vivants dans des espaces euclidiens de dimensions différentes.

15:00 Luca Tamanini

La structure de « infimal convolution » de la distance de Hellinger-Kantorovich

Résumé

Liero, Mielke et Savaré ont conjecturé que la distance de Hellinger-Kantorovich peut être exprimée comme la « infimal convolution » métrique des distances de Hellinger et de Wasserstein. Cette affirmation est assez claire, du moins intuitivement, si l’on compare les représentations dynamiques des trois distances. Cependant, aucune démonstration rigoureuse n’avait encore été fournie.

14:25 Samuel Vaiter

Differentiation of Sinkhorn

Résumé

Le transport optimal entropique est désormais un outil courant en apprentissage automatique, grâce à l’algorithme de Sinkhorn. Il est donc fréquemment utilisé dans des procédures faisant appel à la rétropropagation. Dans cet exposé, je discuterai de certaines propriétés des dérivées de l’EOT et des itérés de Sinkhorn. Travail en collaboration avec E. Pauwels (TSE).

16:00 Benjamin Capdeville

Hidden gradient flow structures for the Moran process and the Kimura equation

Résumé

Dans cet exposé, je présenterai le processus de Moran et sa limite lorsque la taille de la population devient grande, l’équation de Kimura, puis j’expliquerai leurs liens avec les flots de gradient de Wasserstein. La dégénérescence de la diffusion au bord conduit en effet à étudier une version conditionnée de la dynamique. Celle-ci peut être vue comme un flot de gradient de Wasserstein pour une géométrie sous-jacente dégénérée faisant intervenir la métrique de Shahshahani. Enfin, nous verrons que la dissipation induite par ce flot de gradient caché dans le cadre continu constitue une bonne approximation de la dissipation du modèle discret à la limite des grandes populations.

16:20 Quentin Giton

A Kantorovich framework for diffusion models

Résumé

Les modèles génératifs visent à apprendre la loi de probabilité sous-jacente aux données observées et à en produire des échantillons. Après un bref panorama des approches existantes, je montrerai comment construire un modèle génératif à l’aide du transport optimal : nous faisons évoluer une loi quelconque vers la loi gaussienne en suivant le flot de gradient de Wasserstein d’une énergie libre, mis en œuvre par le schéma JKO. En pratique, nous ne pouvons pas calculer exactement la mesure suivante du schéma. Nous paramétrons donc linéairement le potentiel de Kantorovich associé et en apprenons les poids par SGD ; le cas semi-discret apparaît alors comme un cas particulier très interprétable. Je présenterai la construction et les résultats actuels, pour lesquels nous ne disposons pas encore de bornes d’erreur complètes, ainsi que quelques animations illustrant le comportement génératif du modèle.

16:40 Louis Tocquec

Convergence rates for regularized unbalanced optimal transport: the discrete case

Résumé

Le transport optimal non équilibré (UOT) est une extension naturelle du transport optimal (OT) qui permet de comparer des mesures de masses différentes. Il intervient naturellement en apprentissage automatique en apportant une robustesse aux valeurs aberrantes. Ce travail vise à établir des vitesses de convergence des plans et des potentiels de transport régularisés vers les solutions du problème initial, lorsque les deux mesures sont des sommes pondérées de masses de Dirac.

14:00 Giovanni Conforti

Semiconcavity of entropic potentials and exponential convergence of Sinkhorn’s algorithm

Résumé

Le problème de transport optimal entropique est une version régularisée du problème classique de transport optimal. Il consiste à minimiser l’entropie relative par rapport à une distribution de référence parmi tous les couplages de deux mesures marginales données. Dans cet exposé, nous étudions la stabilité des optimiseurs et la convergence exponentielle de l’algorithme de Sinkhorn, largement utilisé en pratique pour résoudre l’EOT. Dans la première partie, nous montrerons comment la semi-concavité des variables duales optimales, appelées potentiels entropiques, joue un rôle essentiel dans la compréhension de ces deux questions. Dans la seconde partie, nous verrons comment établir des bornes de semi-concavité dans des exemples importants, tels que les marginales log-concaves ou à support borné. Travail en collaboration avec A. Chiarini, G. Greco et L. Tamanini.

14:00 Averil Aussedat

Towards a characterization of the geometric tangent cone to the Wasserstein space

Résumé

L’espace de Wasserstein peut être muni d’une famille de cônes tangents géométriques construits à partir des géodésiques. Ces cônes tangents sont des sous-ensembles de mesures sur le fibré tangent, et le plus souvent des sous-ensembles stricts. Cet exposé aborde la question suivante : peut-on déterminer si un élément appartient au cône tangent en examinant la dérivée directionnelle de la distance de Wasserstein dans cette direction ? Nous présenterons le contexte de cette question, les résultats actuellement disponibles et quelques pistes encore ouvertes.

14:55 Julie Delon

Beyond Wasserstein: a general fixed-point approach for computing barycentres of measures

Résumé

Dans cet exposé, nous étudions le calcul de barycentres pour des coûts de transport optimal généraux, au-delà du cas bien étudié des barycentres de Wasserstein. Nous introduisons un algorithme de point fixe qui généralise les travaux antérieurs et démontrons sa convergence sous des hypothèses minimales. Notre approche s’applique à une large classe de fonctions de coût et de mesures de probabilité, offrant ainsi un cadre souple pour le calcul numérique de barycentres associés à des coûts de transport généraux. Travail en collaboration avec Eloi Tanguy et Nathaël Gozlan.

15:50 Clément Soubrier

Applying optimal transport based metrics to analyze biological shape heterogeneity

Résumé

L’analyse des formes est une étape essentielle pour comprendre les fonctions et les propriétés biologiques des cellules et des protéines. De subtiles variations de forme ou de conformation peuvent avoir un effet important sur leurs interactions avec leur environnement. Pour saisir ces variations, nous avons développé des outils d’alignement et des métriques fondés sur le transport optimal, qui permettent de quantifier l’hétérogénéité des formes et de classer les morphotypes. Je présenterai en particulier les défis numériques liés à l’alignement et au calcul de ces métriques, ainsi que des exemples de classification de données biologiques.

14:00 Johannes Hertrich

Wasserstein Gradient Flows for Maximum Mean Discrepancies with Riesz Kernels

Résumé

Motivés par les fonctions de perte à noyau utilisées en apprentissage automatique, nous étudions les flots de gradient de Wasserstein pour la discrépance maximale des moyennes (MMD) construite à partir de noyaux de Riesz, également connue sous le nom de distance d’énergie. Comme le noyau n’est ni lisse ni $\lambda$-convexe, la majeure partie de la théorie classique des flots de gradient de Wasserstein ne s’applique pas dans ce cas. Pour surmonter cette difficulté, nous caractérisons ces flots par les directions de plus forte descente, ce qui permet de calculer des solutions analytiques dans certains cas particuliers. Nous accordons une attention particulière au cas unidimensionnel, où l’espace de Wasserstein se plonge isométriquement dans un espace de Hilbert. Ce plongement permet de décrire explicitement les flots de gradient de Wasserstein à l’aide d’EDO unidimensionnelles. Sur le plan numérique, le calcul des flots de MMD peut être coûteux en raison de la double intégrale. Nous proposons donc une méthode de découpage en tranches pour accélérer le produit matrice-vecteur associé au noyau. Ce calcul rapide de la MMD nous permet d’appliquer les flots de MMD à des problèmes de grande taille ; nous présentons un exemple de modélisation générative sur des jeux de données d’images usuels.

15:15 Christophe Vauthier

Critical points of the Sliced-Wasserstein distance

Résumé

La métrique SW suscite un intérêt croissant dans les travaux sur le transport optimal et l’apprentissage automatique. Elle permet de saisir des propriétés géométriques complexes des lois de probabilité tout en restant accessible au calcul, ce qui en fait un outil précieux pour diverses applications, notamment la modélisation générative et l’adaptation de domaine. Notre étude vise à analyser rigoureusement les points critiques qui apparaissent lors de l’optimisation de l’objectif SW. En calculant des perturbations explicites, nous montrons que les points critiques stables de SW ne peuvent pas se concentrer sur des segments. Cette analyse de stabilité est essentielle pour comprendre le comportement des algorithmes d’optimisation appliqués aux modèles entraînés avec l’objectif SW. Nous étudions également les propriétés de cet objectif, afin d’éclairer l’existence des points critiques et leur comportement de convergence. Nous illustrons nos résultats théoriques par des expériences numériques.

14:00 Borjan Geshkovski

Measure-to-measure interpolation using Transformers

Résumé

Les Transformers sont des architectures de réseaux de neurones profonds à l’origine des succès récents des grands modèles de langage. Contrairement aux architectures plus classiques, que l’on peut voir comme des applications entre points, un Transformer agit comme une application entre mesures, mise en œuvre par un système particulier de particules en interaction sur la sphère unité : l’entrée est la mesure empirique des tokens d’une requête, et son évolution est régie par l’équation de continuité. Les Transformers ne se limitent pas aux mesures empiriques et peuvent, en principe, traiter n’importe quelle mesure d’entrée. Nous proposons un choix explicite de paramètres permettant à un seul Transformer d’associer N mesures d’entrée arbitraires à N mesures cibles arbitraires, sous la seule hypothèse que chaque paire de mesures d’entrée et de sortie puisse être reliée par une application de transport.

15:15 Erwan Stämpfli

Ballistic Benamou Brenier formulation of Porous media and viscous Burgers equations

Résumé

Nous étudions une formulation variationnelle de l’équation des milieux poreux et de l’équation de Burgers visqueuse établie par Yann Brenier. Nous reconstruisons les solutions à partir du minimiseur d’une fonctionnelle en espace-temps qui présente une ressemblance frappante avec la formulation de Benamou Brenier du transport optimal. Nous construisons une discrétisation et établissons la convergence du schéma numérique associé.

14:00 Maxime Sylvestre

Estimées de régularité du transport optimal via régularisation entropique

Résumé

Le théorème de contraction de Caffarelli assure le caractère Lipschitz du transport optimal entre une gaussienne et une mesure à log-densité fortement concave. En 2022 Chewi et Pooladian ont proposé une preuve de ce théorème utilisant la version entropique du transport optimal. Nous proposons ici une extension de ces deux résultats qui se fonde sur l’inégalité de Prekopa-Leindler. L’utilisation de l’inégalité de Prekopa-Leindler permet de relâcher les hypothèses de régularité sur les log-densité et d’introduire une anisotropie. Nous en déduisons des résultats de régularité et de croissance pour le transport optimal lorsque la cible est log-concave.

15:15 Raphaël Barboni

Convergence of gradient flow for the training of deep neural networks

Résumé

Nous étudions la convergence du flot de gradient pour l’entraînement de réseaux de neurones profonds. Si les réseaux de neurones résiduels sont un exemple courant d’architectures très profondes, leur entraînement reste un problème d’optimisation difficile, notamment en raison de la non-convexité et de la non-coercivité de l’objectif. Pourtant, en pratique, de simples algorithmes tels que la descente de gradient parviennent à résoudre ces problèmes. Pour mieux comprendre ce phénomène, nous considérons un modèle de champ moyen de ResNet de profondeur infinie et de largeur arbitraire, paramétré par des mesures de probabilité sur le produit de l’ensemble des couches et de l’ensemble des paramètres, dont la marginale sur l’ensemble des couches est constante. Dans le cas des réseaux peu profonds, les modèles de champ moyen présentent des paysages de perte simplifiés et de bonnes garanties théoriques lorsqu’ils sont entraînés par un flot de gradient pour la métrique de Wasserstein sur l’espace des mesures de probabilité. Inspirés par cette approche, nous proposons d’entraîner notre modèle par un flot de gradient pour la distance de transport optimal conditionnelle : une restriction de la distance de Wasserstein classique qui impose notre condition sur la marginale. Au moyen d’une analyse locale de Polyak-Łojasiewicz, nous établissons la convergence du flot de gradient pour des initialisations bien choisies : si le nombre de caractéristiques est fini mais suffisamment grand, et si le risque initial est suffisamment faible, le flot de gradient converge vers un minimiseur global.

14:00 Arthur Stephanovitch

Smooth transport maps via diffusion and applications to generative models

Résumé

Nous montrons que l’application de Langevin qui transporte la loi gaussienne en dimension d vers une déformation de régularité k est de régularité (k+1). Nous présentons des applications de ce résultat aux inégalités fonctionnelles ainsi qu’aux modèles génératifs.

15:15 Louis-Pierre Chaintron

14:00 Pablo López Rivera

Un taux pour la convergence uniforme des potentiels entropiques

Résumé

Dans le cadre euclidien quadratique, le théorème de Brenier-McCann nous dit que, sous de faibles hypothèses, le problème de transport optimal entre deux mesures a une solution unique qui possède une structure bien définie : l’application optimale correspond au gradient d’une fonction convexe, que l’on appelle potentiel de Brenier. Cependant, leur estimation est difficile, car cela revient à résoudre l’équation de Monge-Ampère associée, une EDP non linéaire d’ordre deux. Cependant, si l’on régularise le problème de transport optimal en ajoutant une entropie modulée par un paramètre de température, cette régularisation entropique nous fournit une approximation de l’application optimale si la température est basse. Dans cet exposé, j’exhiberai un taux de convergence pour les potentiels entropiques et leurs gradients vers leurs équivalents non régularisés, pour la convergence uniforme sur tout compact, sous des hypothèses de convexité.

14:00 Anastasia Hraivoronska

The fully discrete JKO scheme for nonlinear diffusion and crowd motion models

Résumé

Cet exposé présente une formulation du schéma JKO restreinte aux mesures atomiques sur une grille régulière, qui constitue une approximation discrète en espace du schéma JKO classique. Nous discuterons de l’utilisation de cette formulation entièrement discrète pour construire de nouveaux schémas numériques pour les équations de diffusion non linéaires avec dérive et pour le modèle de mouvement de foule. Le résultat principal est la convergence du schéma vers les EDP correspondantes lorsque les pas de discrétisation en temps et en espace tendent vers zéro.

15:00 Nicola Meunier

TBD