Theo bài thơ Đập đá Côn Lôn cụ Tây Hồ sáng tác trong thời gian ở Côn Đảo, người ta biết rằng có thời điểm cụ phải đi đập đá, vốn là một trong những công việc cực nhọc của người tù:genvip