1962 wurde Huber als Exponent des konservativen Parteiflügels zum CSU-Fraktionsvorsitzenden gewählt. Nach dem Rücktritt des Ministers Theodor Maunz übernahm er 1964 zusätzlich das Kultusministerium. In den von einem Entwicklungsschub auf dem Bildungssektor geprägten 1960er Jahren setzte er mit der Neuerrichtung von weiterführenden Schulen (Schulentwicklungsplan) und der Verbandsschulreform (Auflösung einklassiger Volksschulen) Akzente. Unter seiner Beteiligung wurde 1968 die Bekenntnisschule in Bayern durch die Christliche Gemeinschaftsschule ersetzt. In der zweiten Hälfte der 1960er Jahre galt er als kommender Ministerpräsident. 1968 stand er im Zentrum des studentischen Protests. 1970 schied Huber aus dem Kabinett aus, blieb jedoch Fraktionsvorsitzender. 1972 trat er erneut als Finanzminister in die Staatsregierung ein und gab den Fraktionsvorsitz ab. Als sich andeutete, dass Franz Josef Strauß nach der Landtagswahl 1978 das Amt des Ministerpräsidenten übernehmen würde, schied Huber vorzeitig aus dem Kabinett aus und wurde 1977–1988 Präsident der Bayerischen Landesbank, die 1983 Konsortialführerin beim Milliardenkredit für die DDR war. Am 29. Januar 1988 trat Huber im Zuge einer Finanzaffäre zurück.