Refonte d'un site et référencement

Bonjour à tous !

Je viens à vous car j'ai quelques petites interrogations sur le referencement Google pour lesquelles je ne parviens pas à trouver de réponse.

Un site existant était référencé par son domaine en .com. Ce site a été entièrement refondu et le domaine en .fr a été acquis.
Le domaine principal sur l'hébergement OVH est le .fr, c'est à dire que www.domaine.com, domain.com, domaine.fr redirigent vers www.domain.fr. OVH m'a dit qu'il n'était pas nécessaire de changer le domaine principal (ce dont je doute, peut être qu'ils avaient pas compris qu'un site existait avant et que je souhaitais conserver le referencement acquis).

J'ai ajouté les 4 domaines (en comptant les deux sous domaines en www) sur la Google Search Console.

Mais je me retrouve confronté à un problème : Google référence le site avec le domaine en .fr. Ce qui fait que j'ai perdu le référencement existant... De plus le site en .com est toujours référencé (avec l'ancienne architecture) ce qui fait que je me retrouve avec le site référencé deux fois sur Google.

Le changement de DNS a été fait il y a une dizaine de jours donc Google n'a peut être pas encore pris en compte le changement de site pour le .com.
Mais si je laisse comme ça, je vais perdre le référencement acquis par le passé.
Dois-je changer le domaine principal ?

Je suis un peu perdu :/
J'espère que mon explication est suffisamment claire, si ça n'est pas le cas n'hésitez pas à me signaler les éléments manquants.
Merci d'avance pour vos conseils précieux !