ขณะกำลังก่อสร้าง พระนิเวศนั้นก็สร้างด้วยศิลา ซึ่งเตรียมมาจากบ่อศิลา เพราะฉะนั้นจึงไม่ได้ยินเสียงค้อนหรือขวาน หรือเครื่องมือเหล็กใดๆ ในพระนิเวศ ขณะทำการก่อสร้าง