Ka’bah adalah bait yang pertama kali dibangun atas nama Allah, untuk menyembah dan mentauhidkan-Nya. Dibangun oleh bapak para nabi, Ibrahim as, setelah menghadapi ‘perang berhala’ dan menghancurkan tempat-tempat peribadatan yang didirikan di atasnya. Ibrahim as membangunnya berdasarkan wahyu dan perintah dari Allah:
Dan (ingatlah), ketika Ibrahim meninggikan (membina) dasar-dasar Baitullah bersama Ismail (seraya berdoa): “Ya Tuhan kami terimalah daripada kami (amalan kami), sesungguhnya Engkaulah Yang Maha Mendengar lagi Maha Mengetahui”.(QS. 2:127)
Sesungguhnya rumah yang mula-mula dibangun untuk (tempat beribadah) manusia, ialah Baitullah yang di Bakkah (Mekah) yang diberkahi dan menjadi petunjuk bagi semua manusia. (QS. 3:96)
Di dalam Alkitab ada terdapat demikian:
Berbahagialah manusia yang kekuatannya di dalam Engkau, yang berhasrat mengadakan ziarah! Apabila melintasi lembah Baka, mereka membuatnya menjadi tempat yang bermata air; bahkan hujan pada awal musim menyelubunginya dengan berkat. (Mazmur 84:6-7)
Setelah itu ka’bah mengalami beberapa kali peristiwa yang mengakibatkan kerapuhan bangunannya. Diantaranya adalah serangan banjir yang menenggelamkan Makkah beberapa tahun sebelum pengangkatan Muhammad sebagai Rasulullah, sehingga menambah kerapuhan bangunannya. Maka orang-orang Quraisy membangun Ka’bah kembali demi menjaga kehormatan dan kesucian bangunannya. Penghormatan dan pengagungan terhadap Ka’bah merupakan sisa peninggalan dari syari’at Ibrahim as yang masih terpelihara di kalangan orang Arab. Muhammad Rasulullah ikut serta mengusung batu di atas pundaknya. Pada waktu itu Muhammad Rasulullah berusia 35 tahun. Muhammad Rasulullah berperan besar dalam menyelesaikan kemelut yang timbul akibat perselisihan antar kabilah tentang siapa yang berhak mendapatkan kehormatan meletakkan Hajar Aswad ditempatnya. Semua pihak tunduk kepada usulan yang diajukan Muhammad saaw, karena mereka mengenalnya sebagai al-Amin dan mencintainya. Muhammad Rasulullah membentangkan kain dan meletakkan Hajarul Aswad di atas kain itu. Masing-masing pemimpin kabilah memegang ujung-ujung kain itu dan membawanya ke dekat tempat Hajar Aswad semestinya. Lalu mereka meletakkan kain itu ke tanah. Dan Muhammad Rasulullah saaw mengangkat Hajarul Aswad dari kain itu dan meletakkan batu itu di tempatnya.