Beliau dilahirkan di Tunggul Irang, Dalam Pagar, Martapura pada malam Rabu tanggal 27 Muharram 1361 H bertepatan dengan tanggal 11 Februari 1942 M. Diceriterakan oleh Abu Daudi, Asy Syekh Muhammad Zaini Ghani sejak kecil selalu berada di samping ayah dan neneknya yang bernama Salbiyah. Kedua orang ini yang memelihara Qusyairi kecil. Sejak kecil keduanya menanamkan kedisiplinan dalam pendidikan. Keduanya juga menanamkan pendidikan tauhid dan akhlak serta belajar membaca Al-Quran. Karena itulah, Abu Daudi meyakini, guru pertama dari Alimul Allamah Asy Syekh Muhammad Zaini Ghani adalah ayah dan neneknya sendiri.
Semenjak kecil beliau sudah digembleng orang tua untuk mengabdi kepada ilmu pengetahuan dan ditanamkan perasaan cinta kasih dan hormat kepada para ulama. Guru Sekumpul sewaktu kecil sering menunggu al-Alim al-Fadhil Syaikh Zainal Ilmi yang ingin ke Banjarmasin hanya semata-mata untuk bersalaman dan mencium tangannya.
Pada tahun 1949 saat berusia 7 tahun, beliau mengikuti pendidikan "formal" masuk ke Madrasah Ibtidaiyah Darussalam, Martapura. Guru-guru beliau pada masa itu antara lain, Guru Abdul Muiz, Guru Sulaiman, Guru Muhammad Zein, Guru H. Abdul Hamid Husain, Guru H. Rafi'i, Guru Syahran, Guru Husin Dahlan, Guru H. Salman Yusuf. Kemudian tahun 1955 pada usia 13 tahun, beliau melanjutkan pendidikan ke Madrasah Tsanawiyah Darussalam, Martapura. Pada masa ini beliau sudah belajar dengan Guru-guru besar yang spesialis dalam bidang keilmuan seperti al-Alim al-Fadhil Sya'rani Arif, al-Alim al-Fadhil Husain Qadri, al-Alim al-Fadhil Salim Ma'ruf, al-Alim al-Allamah Syaikh Seman Mulya, al-Alim Syaikh Salman Jalil, al-Alim al-Fadhil Sya'rani Arif, al-Alim al-Fadhil al-Hafizh Syaikh Nashrun Thahir, dan KH. Aini Kandangan.
Tiga yang terakhir merupakan guru beliau yang secara khusus untuk pendalaman Ilmu Tajwid. Kalau kita cermati deretan guru-guru beliau pada saat itu adalah tokoh-tokoh besar yang sudah tidak diragukan lagi tingkat keilmuannya. Seperti KH. Husin Qadri lewat buku-buku beliau seperti Senjata Mukmin yang banyak dicetak di Kal-Sel. Sedangkan al-Alim al-Allamah Seman Mulya, dan al-Alim Syaikh Salman Jalil, Syaikh Seman Mulya adalah pamanda beliau yang secara intensif mendidik beliau baik ketika berada di sekolah maupun di luar sekolah. Dan ketika mendidik Guru Sekumpul, Guru Seman hampir tidak pernah mengajarkan langsung bidang-bidang keilmuan itu kepada beliau kecuali di sekolahan. Tapi Guru Seman langsung mengajak dan mengantarkan beliau mendatangi tokoh-tokoh yang terkenal dengan sepesialisasinya masing-masing baik di daerah Kal-Sel (Kalimantan) maupun di Jawa untuk belajar. Seperti ketika ingin mendalami Hadits dan Tafsir, guru Seman mengajak (mengantarkan) beliau kepada al-Alim al-Allamah Syaikh Anang Sya'rani yang terkenal sebagai muhaddits dan ahli tafsir. Menurut Guru Sekumpul sendiri, di kemudian hari ternyata Guru Tuha Seman Mulya adalah pakar di semua bidang keilmuan Islam itu. Tapi karena kerendahan hati dan tawadhu tidak menampakkannya ke depan khalayak. Sedangkan al-Alim al-Allamah Salman Jalil adalah pakar ilmu falak dan ilmu faraidh. (Pada masa itu, hanya ada dua orang pakar ilmu falak yang diakui ketinggian dan kedalamannya, yaitu beliau dan al-marhum KH. Hanafiah Gobet). Selain itu, Salman Jalil juga adalah Qhadi Qudhat Kalimantan dan salah seorang tokoh pendiri IAIN Antasari Banjarmasin. Beliau ini pada masa tuanya kembali berguru kepada Guru Sekumpul sendiri. Peristiwa ini yang beliau contohkan kepada kami agar jangan sombong, dan lihatlah betapa seorang guru yang alim besar tidak pernah sombong di hadapan kebesaran ilmu pengetahuan, meski yang sekarang sedang menyampaikannya adalah muridnya sendiri.
Selain itu, di antara guru-guru beliau lagi selanjutnya adalah Syaikh Syarwani Abdan (Bangil) dan al-Alim al-Allamah al-Syaikh al-Sayyid Muhammad Amin Kutbi. Kedua tokoh ini biasa disebut Guru Khusus beliau, atau meminjam perkataan beliau sendiri adalah Guru Suluk (Tarbiyah al-Shufiyah). Dari beberapa guru beliau lagi adalah Kyai Falak (Bogor), Syaikh Yasin bin Isa Padang (Makkah), Syaikh Hasan Masyath, Syaikh Ismail al-Yamani, dan Syaikh Abdul Kadir al-Bar. Sedangkan guru pertama secara ruhani adalah al-Alim al-Allamah Ali Junaidi (Berau) bin al-Alim al-Fadhil Qadhi Muhammad Amin bin al-Alim al-Allamah Mufti Jamaludin bin Syaikh Muhammad Arsyad al-Banjari, dan al -Alim al-Allamah Muhammad Syarwani Abdan Bangil. (Selain ini. Terhitung jumlah guru beliau adalah sebanyak 179 orang, spesialis bidang keilmuan Islam yang terdiri dari berbagai wilayah, yaitu Kalimantan sendiri, Jawa-Madura dan langsung dari Mekkah.
Berikut guru-guru 'Alimul 'allamah Al 'Arif Billah Asy Syekh H. M. Zaini Abd. Ghani :
Ditingkat Ibtida adalah: Guru Abd Mu'az, Guru Sulaiman, Guru Muh. Zein, Guru H. Abd. Hamid Husin, Guru H. Mahalli, Guru H. Rafi'I, Guru Syahran, Guru H. Husin Dakhlan, Guru H. Salman Yusuf. Ditingkat Tsanawiyah adalah: 'Alimul Fadhil H. Sya'rani'Arif, 'Alimul Fadhil H, Husin Qadri, 'Alimul Fadhil H. Salim Ma'ruf, 'Alimul Fadhil H. Seman Mulya, 'Alimul Fadhil H. Salman Jalil. Guru di bidang Tajwid ialah: 'Alimul Fadhil H. Sya'rani 'Arif, 'Alimul Fadhil At Hafizh H. Nashrun Thahir, 'Al-Alim H. Aini Kandangan. Guru Khusus adalah: 'Alimul'allamah H. Muhammad Syarwani Abdan, 'Alimul'allamah Asy Syekh As Sayyid Muh. Amin Kutby.
Sanad sanad dalam berbagai bidang ilmu dan Thariqat di terima dari:
Kyai Falak (Bogor), 'Alimul 'Allamah Asy Syekh Muh Yasin Padang (Mekkah). 'Alimul'allamah As Syekh Hasan Masysyath, 'Alimul'allamah Asy Syekh Isma'il Yamani dan 'Alimul'allamah Asy Syekh Abd. Qadir Al Baar.
Guru pertama secara Ruhani ialah: 'Alimul 'allamah Ali Junaidi (Berau) bin 'Alimul Fadhil Qadhi H. Muhammad Amin bin 'Alimul 'allamah Mufti H. Jamaluddin bin Syekh Muhammad Arsyad, dan 'Alimul 'allamah H. Muhammad Syarwani Abdan.
Kemudian 'Alimullailamah H. Muhammad Syarwani Abdan menyerahkan kepada Kyai Falak dan seterusnya Kyai Falak menyerahkan kepada 'Alimul'allamah Asy Syekh As Sayyid Muh. Amin Kutby, kemudian beliau menyerahkan kepada Syekh Muhammad Arsyad yang selanjutnya langsung dipimpin oleh Rasulullah saw.
Atas petunjuk 'Alimul'allamah Ali Junaidi, beliau dianjurkan untuk belajar kepada 'Alimul Fadhil H. Muhammad (Gadung) bin 'Alimul Fadhil H. Salman Farlisi bin 'Allimul'allamah Qadhi H. Mahmud bin Asiah binti Syekh Muhammad Arsyad, mengenal masalah Nur Muhammad; maka dengan demikian diantara guru beliau tentang Nur Muhammad antara lain adalah 'Alimul Fadhil H. M. Muhammad tersebut di atas.
Dalam usia kurang lebih 10 tahun, sudah mendapat khususiat dan anugerah dari Tuhan berupa Kasyaf Hissi yaitu melihat dan mendengar apa-apa yang ada di dalam atau yang terdinding.
Gemblengan ayah dan bimbingan intensif pamanda beliau semenjak kecil betul-betul tertanam. Semenjak kecil beliau sudah menunjukkan sifat mulia; penyabar, ridha, pemurah, dan kasih sayang terhadap siapa saja. Kasih sayang yang ditanamkan dan juga ditunjukkan oleh ayahnda beliau sendiri. Seperti misalnya suatu ketika hujan turun deras sedangkan rumah beliau sekeluarga sudah sangat tua dan reot. Sehingga air hujan merembes masuk dari atap-atap rumah. Pada waktu itu, ayah beliau menelungkupi beliau untuk melindungi tubuhnya dari hujan dan rela membiarkan dirinya sendiri tersiram hujan.
Abdul Ghani bin Abdul Manaf, ayah dari Syekh Muhammad Ghani juga adalah seorang pemuda yang shalih dan sabar dalam menghadapi segala situasi dan sangat kuat dengan menyembunyikan derita dan cobaan. Tidak pernah mengeluh kepada siapapun. Cerita duka dan kesusahan sekaligus juga merupakan intisari kesabaran, dorongan untuk terus berusaha yang halal, menjaga hak orang lain, jangan mubazir, bahkan sistem memenej usaha dagang. Beberapa cerita yang dikumpulkan adalah sebagai berikut. Sewaktu kecil mereka sekeluarga yang terdiri dari empat orang hanya makan satu nasi bungkus dengan lauk satu biji telur, dibagi empat. Tak pernah satu kalipun di antara mereka yang mengeluh. Pada masa-masa itu juga, ayahnda beliau membuka kedai minuman. Setiap kali ada sisa teh, ayahnda beliau selalu meminta izin kepada pembeli untuk diberikan kepada beliau. Sehingga kemudian sisa-sisa minuman itu dikumpulkan dan diberikan untuk keluarga. Adapun sistem mengatur usaha dagang, beliau sampaikan bahwa setiap keuntungan dagang itu mereka bagi menjadi tiga. Sepertiga untuk menghidupi kebutuhan keluarga, sepertiga untuk menambah modal usaha, dan sepertiga untuk disumbangkan. Pernah sewaktu kecil beliau bermain-main dengan membuat sendiri mainan dari gadang pisang. Kemudian sang ayah keluar rumah dan melihatnya. Dengan ramah sang ayah menegur beliau, "Nak, sayangnya mainanmu itu. Padahal bisa dibuat sayur." Beliau langsung berhenti dan menyerahkannya kepada sang ayah. Beberapa Catatan lain berupa beberapa kelebihan dan keanehan: Beliau sudah hapal al-Qur`an semenjak berusia 7 tahun. Kemudian hapal tafsir Jalalain pada usia 9 tahun. Semenjak kecil, pergaulan beliau betul-betul di jaga. Kemanapun bepergian selalu ditemani. Pernah suatu ketika beliau ingin bermain-main ke pasar seperti layaknya anak sebayanya semasa kecil. Saat memasuki gerbang pasar, tiba-tiba muncul pamanda beliau Syaikh Seman Mulya di hadapan beliau dan memerintahkan untuk pulang. Orang-orang tidak ada yang melihat Syaikh, begitu juga sepupu yang menjadi "bodyguard' beliau. Beliaupun langsung pulang ke rumah.
Pada usia 9 tahun pas malam jum'at beliau bermimpi melihat sebuah kapal besar turun dari langit. Di depan pintu kapal berdiri seorang penjaga dengan jubah putih dan di gaun pintu masuk kapal tertulis "Sapinah al-Auliya". Beliau ingin masuk, tapi di halau oleh penjaga hingga tersungkur. Beliaupun terbangun. Pada malam jum'at berikutnya, beliau kembali bermimpi hal serupa. Dan pada malam jum'at ketiga, beliau kembali bermimpi serupa. Tapi kali ini beliau dipersilahkan masuk dan disambut oleh salah seorang syaikh. Ketika sudah masuk, beliau melihat masih banyak kursi yang kosong.
Dan dalam usia itu pula beliau didatangi oleh seorang bekas pemberontak yang sangat ditakuti masyarakat akan kejahatan dan kekejamannya. Kedatangan orang tersebut tentunya sangat mengejutkan keluarga di rumah beliau. Namun apa yang terjadi, laki-laki tersebut ternyata ketika melihat beliau langsung sungkem dan minta ampun serta memohon minta dikontrol atau diperiksakan ilmunya yang selama ia amalkan, jika salah atau sesat minta dibetulkan dan diapun minta agar supaya ditobatkan.
Mendengar hal yang demikian beliau lalu masuk serta memberitahukan masalah orang tersebut kepada ayah dan keluarga, di dalam rumah, sepeninggal beliau masuk ke dalam ternyata tamu tersebut tertidur. Setelah dia terjaga dari tidurnya maka diapun lalu diberi makan dan sementara tamu itu makan, beliau menemui ayah beliau dan menerangkan maksud dan tujuan kedatangan tamu tersebut. Maka kata ayah beliau tanyakan kepadanya apa saja ilmu yang dikajinya. Setelah selesai makan lalu beliau menanyakan kepada tamu tersebut sebagaimana yang dimaksud oleh ayah beliau dan jawabannva langsung beliau sampaikan kepada ayah beliau. Kemudian kata ayah beliau tanyakan apa lagi, maka jawabannya pun disampaikan beliau pula. Dan kata ayah beliau apa lagi, maka setelah berulamg kali ditanyakan apa lagi ilmu yang ia miliki maka pada akhirnya ketika beliau hendak menyampaikan kepada tamu tersebut, maka tamu tersebut tatkala melihat beliau mendekat kepadanya langsung gemetar badannya dan menangis seraya minta tolong ditobatkan dengan harapan Tuhan mengampuni dosa-dosanya.
Pernah rumput rumputan memberi salam kepada beliau dan menyebutkan manfaatnya untuk pengobatan dan segalanya, begitu pula batu-batuan dan besi. Namun kesemuanya itu tidaklah beliau perhatikan dan hal-hal yang demikian itu beliau anggap hanya merupakan ujian dan cobaan semata dari Allah SWT.
Dalam usia 14 tahun, atau tepatnya masih duduk di Kelas Satu Tsanawiyah, beliau telah dibukakan oleh Allah SWT atau futuh, tatkala membaca Tafsir: Wakanallahu syamiiul bashiir.
'Alimul'allamah Al-'Arif Billah Asy Syekh H. M. Zaini Abd. Ghani, yang sejak kecilnya hidup di tengah keluarga yang shalih, maka sifat sifat sabar, ridha, kitmanul mashaib, kasih sayang, pemurah dan tidak pemarah sudah tertanam dan tumbuh subur di jiwa beliau; sehingga apapun yang terjadi terhadap diri beliau tidak pernah mengeluh dan mengadu kepada orang tua, sekalipun beliau pernah dipukuli oleh orang-orang yang hasud dan dengki kepadanya.
Di masa remaja 'Alimul 'allamah Al 'Arif Billah Asy-Syekh H. M. Zaini Abd Ghani pernah bertemu dengan Saiyidina Hasan dan Saiyidina Husin yang keduanva masing-masing membawakan pakaian dan memasangkan kepada beliau lengkap dengan sorban dari lainnya. Dan beliau ketika itu diberi nama oleh keduanya dengan nama Zainal 'Abidin.
Setelah dewasa, maka tampaklah kebesaran dan keutamaan beliau dalam berbagai hal dan banyak pula orang yang belajar. Para Habaib yang tua-tua, para ulama dan guru-guru yang pernah mengajari beliau, karena mereka mengetahui keadaan beliau yang sebenarnya dan sangat sayang serta hormat kepada beliau.
Ketika beliau merantau ke tanah Jawa untuk mencari ilmu, tak disangka tak dikira orang yang pertama kali menyambut beliau dan menjadi guru adalah orang yang menyambut beliau dalam mimpi tersebut.
Salah satu pesan beliau tentang karamah adalah agar kita jangan sampai tertipu dengan segala keanehan dan keunikan. Karena bagaimanapun juga karamah adalah anugerah, murni pemberian, bukan suatu keahlian atau skill. Karena itu jangan pernah berpikir atau berniat untuk mendapatkan karamah dengan melakukan ibadah atau wiridan-wiridan. Dan karamah yang paling mulia dan tinggi nilainya adalah istiqamah di jalan Allah itu sendiri. Kalau ada orang mengaku sendiri punya karamah tapi shalatnya tidak karuan, maka itu bukan karamah, tapi "bakarmi" (orang yang keluar sesuatu dari duburnya).
Selain sebagai ulama yang ramah dan kasih sayang kepada setiap orang, beliau juga orang yang tegas dan tidak segan-segan kepada penguasa apabila menyimpang. Karena itu, beliau menolak undangan Soeharto untuk mengikuti acara halal bil halal di Jakarta. Begitu juga dalam pengajian-pengajian, tidak kurang-kurangnya beliau menyampaikan kritikan dan teguran kepada penguasa baik Gubernur, Bupati atau jajaran lainnya dalam suatu masalah yang beliau anggap menyimpang atau tidak tepat.
Beliau adalah seorang yang sangat mencintai para ulama dan orang-orang yang shalih, hal ini tampak ketika beliau masih kecil, beliau selalu menunggu tempat-tempat yang biasanya 'Alimul Fadhil H. Zainal Ilmi lewati pada hari-hari tertentu ketika hendak pergi ke Banjarmasin semata-mata hanya untuk bersalaman dan mencium tangan tuan Guru H. Zainal Ilmi.
Sifat lemah lembut, kasih sayang, ramah tamah, sabar dan pemurah sangatlah tampak pada diri beliau, sehingga beliau dikasihi dan disayangi oleh segenap lapisan masyarakat, sababat dan anak murid. Kalau ada orang yang tidak senang melihat akan keadaan beliau dan menyerang dengan berbagai kritikan dan hasutan maka beliaupun tidak pernah membalasnya. Beliau hanya diam dan tidak ada reaksi apapun, karena beliau anggap mereka itu belum mengerti, bahkan tidak mengetahui serta tidak mau bertanya.
Tamu-tamu yang datang ke rumah beliau, pada umumnya selalu beliau berikan jamuan makan, apalagi pada hari-hari pengajian, seluruh murid-murid yang mengikuti pengajian yang tidak kurang dari 3000-an, kesemuanya diberikan jamuan makan. Sedangkan pada hari-hari lainnya diberikan jamuan minuman dan roti.
Beliau adalah orang yang mempunyai prinsip dalam berjihad yang benar-benar mencerminkan apa yang terkandung dalam Al Quran, misalnya beliau akan menghadiri suatu majelis yang sifatnya da'wah Islamiyah, atau membesarkan dan memuliakan syi'ar agama Islam. Sebelum beliau pergi ke tempat tersebut lebih dulu beliau turut menyumbangkan harta beliau untuk pelaksanaannya, kemudian baru beliau datang. Jadi benar-benar beliau berjihad dengan harta lebih dahulu, kemudian dengan anggota badan. Dengan demikian beliau benar-benar mengamalkan kandungan Al Quran yang berbunyi: Wajaahiduu bi'amwaaliku waanfusikum fii syabilillah.
'Alimul 'allamah Al 'Arif Billah Asy-Syekh H. M. Zaini Abd. Ghani, adalah satu-satunya Ulama di Kalimantan, bahkan di Indonesia yang mendapat izin untuk mengijazahkan (bai’at) Thariqat Sammaniyah, karena itu banyaklah yang datang kepada beliau untuk mengambil bai'at thariqat tersebut, bukan saja dari Kalimantan, bahkan dari pulau Jawa dan daerah lainnya.
'Alimul'allamah Al 'Arif Billah Asy Syekh H. M. Zaini Abd. Ghani dalam mengajar dan membimbing umat baik laki-laki maupun perempuan tidak mengenal lelah dan sakit. Meskipun dalam keadaan kurang sehat beliau masih tetap mengajar.
Dalam membina kesehatan para peserta pengajian dalam waktu-waktu tertentu beliau datangkan doktcr-dokter spesialis untuk memberikan penyuluhan kesehatan sebelum pengajian di mulai. Seperti dokter spesialis jantung, paru-paru, THT, mata, ginjal, penyakit dalam, serta dokter ahli penyakit menular dan lainnya. Dengan demikian beliau sangatlah memperhatikan kesehatan para peserta pengajian dari kesehatan lingkungan tempat pengajian.
Rabu 10 Agustus 2005 jam 05.10 pagi, beliau telah berpulang ke rahmatullah pada usia 63 tahun. Dulu almarhum Guru Ayan (Rantau), salah seorang syaikh yang dikenal kasyaf pernah menyampaikan bahwa kehidupan
Syaikh M. Zaini Ghani itu seperti Nabi. Bahkan usia beliau pun sama seperti usia Nabi. Salah seorang murid dekat Guru Ayan, yaitu M. Yunus pernah mencoba melihat-lihat ciri-ciri hissiyahnya. Salah satu yang menjadi sorotannya adalah kepindahan Beliau dari Keraton Martapura ke wilayah Sekumpul seperti Rasulullah s.a.w. hijrah (dan beberapa hal lainnya). Dan sekarang, ucapan tersebut terbukti. Kebetulan? Wallahu A'lam.