Личная жизнь Дарема была достаточно драматичной. Его первая жена умерла совсем юной леди. Все три дочери от этого брака скончались, едва пережив отроческий возраст. Первый ребёнок, сын, от второго брака умер 13-летним подростком. До преклонного возраста дожили остальные дети от второго брака – четыре дочери и младший сын. На одной из его дочерей Lady Mary Louisa был женат лорд Элгин (James Bruce, 8th Earl of Elgin), который с 1847 по 1854 год занимал пост генерал-губернатора Канады.
Лорд Элгин придерживался либеральных взглядов, после 4-х лет губернаторства на Ямайке, oн не был новичком в губернаторским деле и не понаслышке был знаком с идеями Дарема. Он верил в ответственное правительство и прибыл в Канаду с намерением внедрять его в жизнь. Элгин был первым генерал-губернатором, который устранился от дел законодательной власти; c тех пор генерал-губернатор стал играть главным образом символическую роль в политических делах страны.
Становление новой системы управления проходило в горячих спорах политиков и широкой публики как в Канаде, так и в Англии – люди не понимали, как можно быть самостоятельными и в то же время преданными короне и империи. Дело доходило до вооружённых столкновений. В 1849 году, когда реформаторы, после поражения 1844 года, одержали триумфальную победу на выборах в Ассамблею, лорд Элгин поручил Болдвину и Лафoнтену сформировать новый Кабинет и при поддержке Великобритании официально одобрил учреждение ответственного правительства объединённых провинций Канады.