Μετά την απώλεια της πρωθυπουργίας ο Ράλλης χάνει και την αρχηγία του κόμματος του