Ketika kakek Rasulullah wafat, Abu Thalib lah yang bersedia merawat dan membesarkan Rasulullah. Hubungan antara Rasulullah dengan keluarga paman dan bibinya memang sangat baik.
Ketika Ali berusia 10 tahun, dia berkunjung ke rumah Rasulullah tepat ketika beliau sedang melaksanakan shalat. Saat itu, berita tentang kenabian Rasulullah belum tersebar. Dan orang yang memeluk Islam serta mempercayai Rasulullah baru Siti Khadijah, istri Rasulullah saja. Dan Ali merasa penasaran pada apa yang dilakukan sepupunya itu. Dia pun bertanya, "Muhammad apakah yang engkau lakukan?".
Rasulullah kemudian memberitahu tentang Islam kepada Ali. Bahwa Islam adalah agama yang dirahmati Alloh SWT. Dan Islam merupakan agama penyempurna. Sedangkan beliau adalah nabi yang diutus oleh Alloh SWT.
Rasulullah mengajak Ali untuk memeluk Islam. Namun Ali berkata "Sesungguhnya agama ini sama sekali belum pernah aku dengar. Karena itu aku harus berunding dengan ayahku." Rasulullah meminta Ali untuk merahasiakan hal ini. Beliau khawatir ajaranya akan tersebar sebelum Alloh memerintahkan untuk disebarkan. "Ali, jika engkau belum mau masuk Islam, sembunyikanlah dahulu kabar ini" sabda Rasulullah. Mendengar ucapan Rasul ini, Ali pun kembali berfikir dan akhirnya dia merasa yakin bahwa apa yang dikatakan oleh sepupunya adalah benar.
Ali bin Abi Thalib termasuk ke dalam orang yang sangat dipercaya oleh Rasulullah. Ia banyak membantu Rasulullah dan selalu berada didekatnya. Ali memiliki banyak sekali kelebihan. Akhlaknya mulia, pemaaf, penuh kasih sayang, tegas dan sangat cerdas. Ketika Ali masih mudah, dia berada di bawah bimbingan Rasulullah secara langsung.
Ali dikenal sebagai seorang muslim yang memiliki pengetahuan luas. Hal ini karena dia belajar langsung dari Rasulullah. Rasulullah pernah bersabda, "Aku adalah pintunya ilmu, dan Ali adalah kuncinya."
Andai ada 10 orang bertanya dengan pertanyaan yang sama, pasti Ali akan menjawab dengan 10 jawaban yang berbeda. Karena itulah, dia sering disebut sebagai Kunci Ilmu.
Setelah Rasulullah wafat, banyak kelompok yang berusaha untuk menjatuhkan Islam. Salah satunya adalah kelompok Yahudi. Kelompok ini menetap dan tinggal di Mekkah. Dan setiap ada kesempatan, mereka selalu bertanya hal-hal sulit hanya untuk menguji para ulama.
"Mari kita datang kepada Umar. Dia pasti tidak mampu menjawab pertanyaan kita". kata salah satu pendeta Yahudi kepada rekannya. Maka salah satu perwakilan pendeta Yahudi pergi menemui Umar Bin Khattab. Beliau adalah Khalifah atau pemimpin umat Islam ke-2 setelah Rasulullah wafat.
Wafat Umar, engkau adalah pemimpin setelah Muhammad. Aku ingin bertanya sesuatu. Jika engkau bisa menjawabnya, barulah aku percaya jika Islam adalah agama yang benar. Dan Muhammad memang utusan Alloh. Khalifah Umar pun menjawab, "Silahkan bertanya tentang apa saja".
Sang Pendeta kemudian mulai bertanya :
- Jelaskan kepada kami tentang kunci yang mampu membuka langit.
- Jelaskan tentang sebuah kuburan yang berjalan bersama penghuninya.
- Sebutkan makhluk yang dapat memberi peringatan kepada bangsanya. Tetapi ia bukan golongan manusia atau jin.
Pendeta itu berhenti sejenak dan mengamati Khalifah Umar dengan teliti. Dia berharap melihat raut bingung dari wajah Khalifah Umar. Kemudian dia bertanya lagi, "Jelaskan tentang lima jebis makhluk yang dapat berjalan di muka bumi tapi makhluk itu tidak dilahirkan dari kandungan ibu atau induknya.
Khalifah Umar bin Khattab menundukkan kepalanya. Beliau berkata, "Bukan hal yang memalukan bagiku jika aku berkata tidak bisa menjawabnya". Pendeta itu lantas bersorak gembira. Dia berkata "Sekarang kami bersaksi bahwa Muhammad memang bukan seorang nabi, Islam itu agam yang bathil." Pendeta itu merasa puas karena tujuannya untuk mempermalukan para ulama Islam telah tercapai.
Namun, tanpa diduga, salah satu sahabat pergi untuk menjemput Ali. "Ya Ali, tolong selamatkan agama Islam," pinta Salman Al-Farisi. Maka, berangkatlah Ali dan Salman untuk menemui pendeta itu di rumah Khalifah Umar. Sesampainya disana Khalifah Umar langsung memeluk Ali. Beliau berkata "Ya Ali, Setiap ada kesulitan besar, engkau selalu ku panggil."
Ali kemudian berkata kepada pendeta itu, "Rasulullah telah mengajarkanku seribu macam ilmu. Dan setiap ilmu itu memiliki seribu macam cabang ilmu." "Baiklah, aku harap engkau dapat menjawab pertanyaanku," kata pendeta itu. Jika aku bisa menjawab pertanyaanmu, apakah engkau bersedia mengucap syahadat dan beriman kepada Alloh serta mengakui bahwa Muhammad adalah benar utusan Alloh?"
Pendeta yahudi itu meras yakin bahwa pertanyaannya tidak mungkin bisa dijawab. Maka, diapun menerima tantangan itu dengan mudah. Asalkan engkau mampu menjawab, maka akan kupenuhi syaratmu itu. Ali tersenyum simpul. Dia meminta sang pendeta untuk mengulangi lagi apa saja yang ingin ditanyakan.
Pertanyaan pertama, anak kunci apakah yang dapat membuka pintu-pintu langit? Ali menjawab, bahwa anak kunci itu adalah kesaksian atau syahadat yang menyatakan bahwa tiada Tuhan selain Alloh dan Muhammad adalah Rasulullah. Pendeta itu terdiam. Jawaban yang diberikan oleh Ali memang masuk akal. Dia tidak menyangka jika pertanyaan-pertanyaan bisa dijawab dengan begitu mudah.
Pertanyaan kedua, tentang sebuah kuburan yang berjalan bersama penghuninya. Jawaban Ali adalah ikan paus yang menelan Nabi Yunus putra Matta. Nabi Yunus merupakan nabi yang ditelan oleh ikan paus dan dibawa oleh paus terserbut mengelilingi samudra. Sebelum Alloh menyelematkan Nabi Yunus, ikan paus itu sama saja dengan kuburan bagi sang Nabi. Dan kuburan itu membawanya berkeliling samudra.
Pertanyaan ketiga, tentang makhluk yang dapat memberi peringatan kepada bangsanya. Tetapi ia bukan golongan manusia atau jin. Makhluk itu adalah semut Nabi Sulaiman. Salah satu semut pernah berkata kepada kaumnya, "Hai para semut bersembunyilah agar tidak diinjak oleh Nabi Sulaiman dan pasukannya dalam keadaan mereka tidak sadar."
Pertanyaan terakhir adalah lima jenis makhluk yang dapat berjalan dimuka bumi tapi makhluk itu tidak dilahirkan dari kandungan ibu atau induknya. Ali menjawab dengan mudah, "Lima makhluk itu adalah Adam, Hawa, Unta Nabi Shaleh, Domba Nabi Ibrahim, dan Tongkat Nabi Musa yang dapat berubah menjadi ular."
Semua jawaban Ali penuh dengan hikmah. Semua ucapannya mengandung nilai sastra. Indah namun jernih dan dapat dipertanggungjawabkan. Belia merupakan sosok Kunci Ilmu sesungguhnya. Pendeta itu pun memenuhi janjinya. Dia beriman kepada Alloh dan menjadi bagian dari kaum muslimin Subhanallah.