Sejak zaman nabi Ibrahim as, sampai zaman nabi Muhammad saw tiba di Mekkah, itu pengurusan pelayanan jamaah yang berziarah ke Baitullah, selalu di urus oleh salah satu puak/suku padang Pasir yang berkuasa dan menguasai daerah itu. Selama ini tak ada masalah. bahkan Allah swt yang memiliki rumah tua itu (sebutan untuk Baitullah), selama masa itu pun tak mempermasalahkan mereka seperti misalnya menurunkan azab karena mereka dinilai Allah telah menyalahi aturan di dalam melayani penziarah ke Baitullah itu.