Ketika Nabi Ibrahim AS bersama anaknya membina Kaabah banyak kekurangan yang dialaminya. Pada mulanya Kaabah itu tidak ada bumbung dan pintu masuk.
Nabi Ibrahim AS bersama Nabi Ismail bertungkus lumus untuk menjayakan pembinaannya dengan mengangkut batu dari berbagai gunung.
Dalam sebuah kisah disebutkan apabila pembinaan Kaabah itu selesai, ternyata Nabi Ibrahim masih merasakan kekurangan sebuah batu lagi untuk diletakkan di Kaabah.
Nabi Ibrahim berkata kepada Nabi Ismail : "Pergilah engkau mencari sebuah batu yang akan aku letakkan sebagai penanda bagi manusia."
Kemudian Nabi Ismail AS pun pergi dari satu bukit ke satu bukit untuk mencari batu yang baik dan sesuai. Ketika Nabi Ismail AS sedang mencari batu di sebuah bukit, tiba-tiba datang malaikat Jibril AS memberikan sebuah batu yang cantik. Nabi Ismail dengan segera membawa batu itu kepada Nabi Ibrahim AS, Nabi Ibrahim AS merasa gembira melihat batu yang sungguh cantik itu, beliau menciumnya beberapa kali. Kemudian Nabi Ibrahim AS bertanya : "Dari mana kamu dapat batu ini?"
Nabi Ismail berkata : "Batu ini kuterima daripada yang tidak memberatkan cucuku dan cucumu (Jibril)."
Nabi Ibrahim mencium lagi batu itu dan diikuti oleh Nabi Ismail AS sehingga sekarang Hajar Aswad itu dicium oleh orang-orang yang pergi ke Baitullah. Siapa sahaja yang bertawaf di Kaabah disunnahkan mencium Hajar Aswad. Beratus ribu kaum muslimin berebut ingin mencium Hajar Aswad itu, yang tidak mencium cukuplah dengan memberikan isyarat lambaian tangan sahaja.
Ada riwayat mengatakan bahawa dulunya batu Hajar Aswad itu putih bersih tetapi akibat dari dicium oleh setiap orang yang datang menziarahi Kaabah, ia menjadi hitam seperti yang terdapat sekarang. Wallahu a'lam.
Apabila menusia mencium batu itu maka timbullah perasaan seolah-olah mencium ciuman Nabi Ibrahim dan Nabi Ismail. Ingatlah wahai saudara-saudaraku, Hajar Aswad itu merupakan tempat diperkenan doa. Bagi yang ada kelapangan, berdoalah di sana, InsyaALLAH doanya akan dikabulkan oleh Allah. Jagalah hati kita sewaktu mencium Hajar Aswad supaya tidak menyekutukan Allah, sebab tipu daya syaitan kuat di Tanah Suci Mekah.
Ingatlah kata-kata Khalifah Umar bin Al-Khattab apabila beliau mencium batu itu (Hajar Aswad) : "Aku tahu, sesungguhnya engkau hanyalah batu biasa. Andaikan aku tidak melihat Rasulullah SAW menciummu, sudah tentu aku tidak akan melakukan (mencium Hajar Aswad)."
