Urodził się 13 sierpnia 1850 roku w Lalatta, Parma. Ukończył seminarium w rodzinnej diecezji Parma i został wyświęcony na kapłana 20 grudnia 1873. Pracował m.in. jako wykładowca w seminarium (fizyka i matematyka). Był też rektorem. W latach późniejszych wykładał teologię fundamentalną i historię Kościoła. W 1876 roku złożył profesję zakonną jako franciszkanin świecki w III Zakonie św. Franciszka z Asyżu. Duchowość franciszkańska przenikała jego postawę i osobistą pobożność. 29 maja 1890 został mianowany biskupem Guastalla. Konsekrował go kardynał Lucido Maria Parocchi. W pierwszą rocznicę nominacji biskupiej przeniesiony na biskupstwo Como. 18 maja 1894 otrzymał kapelusz kardynalski, a trzy dni później został arcybiskupem Mediolanu. Przybrał wtedy drugie imię Carlo na cześć św. Karola Boromeusza. Brał udział w konklawe 1903 i 1914 roku. W ciągu 27 lat rządów w archidiecezji kilkakrotnie wizytował wszystkie jej parafie, także te najbardziej odległe położone w górach, gdzie docierał pieszo lub na mule. Przygotował trzy synody diecezjalne oraz wiele kongresów religijnych. Był zaangażowany w sprawy społeczne, czerpiąc inspiracje z encykliki "Rerum novarum" papieża Leona XIII, tercjarza franciszkańskiego. Organizował kasy zapomogowe, popierał prasę katolicką, a podczas I wojny światowej na dużą skalę zorganizował pomoc dla rodzin poległych żołnierzy. Krótko przed śmiercią pisał: "Wola Boża niech się dzieje we wszystkim". Zmarł po krótkiej chorobie 2 lutego 1921 roku. Kardynał Ferrari został ogłoszony błogosławionym przez Jana Pawła II w Rzymie 10 maja 1987 r.