Có rất nhiều lời đồn đoán về kho gia bảo tùy táng của Chưởng hữu quân Quận công Nguyễn Văn Nhân và phu nhân, còn gọi là 'Lăng quan lớn Sen', trong khu nghĩa địa dòng họ của Nguyễn tao nhân thuộc địa phận ấp Đông Quới (Quế), xã Tân Khánh Đông, thị xã Sa Đéc, tỉnh Đồng Tháp.
Theo tộc phả họ Nguyễn được lưu tại đền thờ Kinh Môn Quận công Nguyễn Văn Nhân, do các hậu duệ là Nguyễn Bá Sung, Nguyễn Bá Yên soạn lại, năm 1920 nước sông Tiền lên cao, xói mòn khu lăng mộ. dòng tộc và chính quyền địa phương đã bốc mộ đưa lăng tẩm,Lăng Mộ Đá – Mẫu mộ đá xanh đẹp nguyên khối của ông và phu nhân về an táng tại vị trí hiện giờ. Tương truyền, khi đào đến huyệt mộ, có rất nhiều châu báu là những vật dụng được vua tặng thưởng và gia tư của đại thần Nguyễn Văn Nhân được chôn theo.
Hiện tại, lăng tẩm Nguyễn tao nhân và phu nhân vẫn còn giữ lại 2 tấm bia mộ của ông bà. Bia được đặt dựng ốp sát tường hậu của nhà mộ, bia ông bên tả, bia bà bên hữu, kích tấc bằng nhau: cao 110 cm, rộng 80 cm. Cả hai lăng thờ đá đều chung một phong cách kỹ thuật là trán bia chờm ngang ra hai bên, chạm khắc hình hoa lá hóa long thuộc đồ án lưỡng long tranh châu; diềm bìa chạm khắc hình hoa cúc, hoa mai dạng dây uốn lượn hình sin rất tinh xảo. Theo tư liệu hiện biết, thì đây là hai tấm bia mộ có hoa văn đặc sắc và tinh xảo nhất trong hệ thống lăng tẩm thời Nguyễn ở Nam bộ. Trong quần thể khu lăng mộ còn có một số ngôi mộ của thân quyến, trên bia mộ đều khắc ghi nội dung là những người được triều đình ban sắc chức tước, tập ấm...Việc có những lời đồn đoán về kho gia bảo tùy táng của hai ông bà không phải là ngẫu nhiên. Nguyễn Văn Nhân từng được giao nắm giữ nhiều trọng trách trong triều đình nhà Nguyễn. Tương truyền trong thời gian làm Tổng trấn thành Gia Định, ông từng được vua Gia Long ban tặng thanh gươm vàng nạm đá quý. Năm 1822, khi Nguyễn tao nhân chết, ông được vua Minh Mạng tặng thưởng 1.000 quan lại, 300 lạng bạc, 2 cây gấm chân kim, 3 cây gấm Tống, 30 tấm lụa. Đến hôm đám đưa về Gia Định, vua ngự giá đến nhà, thân rót rượu cúng. Ngày mai táng, vua ban nghỉ chầu, cấp cho 10 người mộ phu. Năm 1824, nhà vua cho con của Nguyễn Văn Nhân là Nguyễn Văn Thiện lấy trưởng công chúa là Ngọc Khuê; người con gái Nguyễn Văn Nhân là Nguyễn Thị Nhiệm được vào cung làm Lệnh phi của vua Thiệu Trị... Quyền thế và gia thế của dòng họ Nguyễn tao nhân hẳn đã cuộn sự chú ý của những kẻ đạo tặc. Người ta đồn rằng đã có người nhìn thấy những thỏi vàng ròng, thanh gươm vàng nạm đá quý do vua Gia Long ban tặng, cân đai mũ mão đại triều và thường triều... ở khu mộ Nguyễn Văn Nhân, nhưng trong khoảnh khắc những bảo bối này biến mất.Không rõ nguồn gia bảo tùy táng của Nguyễn tao nhân và phu nhân với số lượng là bao nhiêu và gồm những loại gì, tuy nhiên, hậu duệ và quần chúng. # trong vùng cho biết thời Pháp thuộc nguồn gia bảo này đã bị người Pháp đem đi, sau đó không rõ hiện nguồn bảo vật này đang phiêu bạt ở đâu.Năm 1969, hậu duệ Nguyễn Văn Nhân sửa sang và tôn tạo lại tất khu nghĩa trang của họ, hiện còn khá khang trang. Tuy nhiên, đến nay hầu như chưa có một công trình nào nghiên cứu tìm hiểu về thế cuộc và sự nghiệp cũng như những giá trị của di tồn vật chất hiện còn hệ trọng đến ông.