แต่แพะที่ได้รับเลือกโดยฉลากให้เป็นแพะรับบาปจะถูกนำมาถวายทั้งที่ยังมีชีวิตต่อหน้าองค์พระผู้เป็นเจ้า เพื่อเป็นการลบบาป โดยส่งมันเข้าไปในถิ่นกันดารเป็นแพะรับบาป