Năm 1956, ông bà cưới nhau và năm 1958, sinh cậu con trai đầu Lê Hồng Trường. 2 năm sau (1960), bà Duyên sinh thêm con trai Lê Minh Trường tại Thái Nguyên, khi đang theo học lớp trung cấp sư phạm. 3 năm sau (1963) bà sinh con trai út Lê Khánh Trường, khi đang dạy học tại Thất Khê, Lạng Sơn.câu lạc bộ bóng đá manchester united