Leveson-Gower, Granville George, 2. Earl Granville britischer Staatsmann, mehrfach Außen- und Kolonialminister