Originaire de Žiar nad Hronom en Slovaquie, le défenseur a débuté sa carrière professionnelle au MŠK Žilina. Il a disputé ses premières minutes de championnat slovaque le 27 mars 2012, alors âgé de 17 ans et 49 jours. Il a terminé la saison 2011-2012 et commencé la saison 2012-2013 avec le MŠK Žilina avant d'être prêté au Zlaté Moravce pour acquérir un peu plus d’expérience.
Il a ensuite continué sa progression en partant en Série A, du côté de la Sampdoria. Il a fait ses débuts avec son nouveau club lors d'une victoire à domicile contre la Lazio Rome le 24 avril 2016, et a terminé la campagne comme le plus jeune défenseur à avoir fait au moins 35 apparitions en Serie A. Il se fait alors remarquer par les plus grandes équipes d’Italie et décide de rejoindre l’Inter Milan en 2017.
Il a réalisé par la suite une première saison très réussie qui lui vaut d'être considéré comme l'un des meilleurs défenseurs du championnat. Avec l'arrivée de Stefan de Vrij, il compose l'une des défenses les plus solides de Serie A, avec qui il est sacré champion d’Italie lors de la saison 2020-2021. Après avoir passé toutes les étapes du côté de l’Inter Milan où il est même devenu capitaine, il s’est engagé libre, à 28 ans, avec le Paris Saint-Germain lors du mercato estival 2023.
