او در چهار سالگي مادر و در 16 سالگي پدرش را از دست داد و كودكي سختي را از سر گذراند. در جواني به قم رفت و از محضر آيات عظام حجت كوه كمرهاي، سيدمحمدتقي خوانساري و مدت چهار سال از دروس فلسفه، عرفان و اخلاق امام كسب فيض كرد. او پس از مدتي به نجف اشرف رفت و ضمن تكميل تحصيلات عالي خود، به دستور آيتالله حكيم تدريس لمعه، رسائل، مكاسب و كفايه را آغاز كرد و در مدت كوتاهي از اساتيد برجسته حوزه علميه نجف شد. وي در نجف از محضر اساتيد بزرگي چون آيات عظام سيد عبدالهادي شيرازي، حكيم و خوئي بهرهها برگرفت و از مراجع بزرگي چون آيتالله حكيم، آيتالله حجت كوه كمرهاي و آيتالله خوانساري اجازه اجتهاد دريافت كرد. شهيد مدني مبارزات سياسي و اجتماعي خود را از همان دوران تحصيل در قم شروع كرد. رضاخان و عوامل داخلي استعمار تلاش ميكردند زمينه ترويج بهائيت را در ايران فراهم كنند و به همين دليل سرمايهداران بهايي در آذربايجان و مخصوصاً تبريز اداره نقاط حساس اقتصادي از جمله كارخانههاي برق را به عهده داشتند. آيتالله مدني به زادگاه خود رفت و در آنجا با روشنگريهاي شجاعانهاي مردم را به تحريم برق و نيز دادوستد با بهاييها تشويق كرد. وي در پي اين اقدامات دستگير و به همدان تبعيد شد.
آيتالله مدني با مبارزان همدوره خود از جمله آيتالله كاشاني و شهيد نوابصفوي رابطه نزديك داشت تا آنجا كه هنگامي كه ميخواست به تبريز سفر كند، آيتالله كاشاني طي تلگرافي از آيتالله سيد مهدي انگجي خواست كه هنگام ورود او به تبريز، از وي استقبال خوبي شود. در نجف هم شهيد نوابصفوي هنگامي كه به فكر مبارزه با كسروي افتاد، آيتالله مدني كتابهايش را فروخت و پولش را به شهيد نواب داد تا اسلحه تهيه كند. در سال 42 و به دنبال آغاز نهضت امام، شهيد آيتالله مدني از جمله نخستين كساني بود كه به دعوت امام لبيك گفت و در نجف كلاسهاي درس خود را تعطيل و با سخنرانيهاي افشاگرانه مبارزه خود را با رژيم شاه علني كرد. وي در نجف سردمدار جريان دفاع از نهضت امام بود. پس از تبعيد امام به نجف هم همواره يار و ياور ايشان بود و گفتهاند زماني كه امام به علتي نميتوانستند براي اقامه نماز جماعت حاضر شوند، شهيد مدني به جاي ايشان به اقامه نماز ميپرداخت. وي در تابستانها كه حوزه نجف تعطيل بود به ايران ميآمد و در شهرهاي مختلف به تبليغ و روشنگري ميپرداخت و مبارزه جزء لاينفك زندگي او بود. وي حركت تبليغي خود را از روستاي دره مرادبيك در همدان شروع كرد و با انتقال به همدان بر مبارزات خود افزود. او در 9 آذر 1341 در مسجد جامع همدان سخنراني تندي عليه لايحه انجمنهاي ايالتي و ولايتي ايراد كرد و تحت تعقيب قرار گرفت. پس از قيام 15 خرداد بر مبارزاتش افزود و با همكاري روحانيون سرشناس همدان براي رفع توقيف روحانيون بازداشت شده تلاش كرد و به عنوان يكي از سرسختترين مدافعان نهضت امام شناخته شد. در سال 46 ممنوعالمنبر شد و با آنكه بردن نام امام و داشتن رساله ايشان جرم محسوب ميشد با كمال شجاعت در هر مناسبتي مرجعيت امام را مطرح و به نفع نهضت امام تبليغ ميكرد. در سال 50، در پي درگذشت عالم روحاني خرمآباد، آيتالله روحالله كمالوند به دعوت مردم آنجا به خرمآباد رفت و فعاليت خود را در حوزه علميه كمالوند شروع كرد و از سوي امام سرپرست حوزه و وكيل تامالاختيار ايشان در منطقه شد و با دريافت وجوه شرعي به پرداخت شهريه طلاب، كمك به محرومين و تأسيس مراكز عامالمنفعه پرداخت و در عين حال لحظهاي از تبليغ مرجعيت امام و افشاگري درباره رژيم غافل نشد. پس از به ثمر رسيدن انقلاب، اين يار قديمي امام همچنان به تلاشهاي خستگيناپذير خود ادامه ميدهد. وي در انتخابات مجلس خبرگان قانون اساسي از سوي مردم همدان به نمايندگي انتخاب ميشود، سپس امام او را با اختيارات تام به امامت جمعه آن شهر منصوب ميكنند. قبل از شهادت آيتالله قاضي، شهيد مدني براي تقويت جناح انقلاب به تبريز ميآيد تا با ياري آيتالله قاضي به اوضاع آشفته آن ديار كه در اثر فعاليت ضد انقلاب، بهويژه حزب خلق مسلمان دچار آتش تفرقه و اختلاف شده بود سروسامان بدهد. با شهادت آيتالله قاضي، شهيد مدني از سوي امام به امامت جمعه تبريز منصوب ميشود و بارها از سوي حزب خلق مسلمان مورد تهديد قرار ميگيرد و حتي جايگاه نماز جمعه به آتش كشيده ميشود، اما شهيد مدني پيشاپيش نمازگزاران حركت و نماز جمعه را برگزار ميكند. سرانجام اين مجاهد بزرگ در 20 شهريور 1360 پس از اتمام خطبههاي نماز جمعه به دست يكي از منافقين كوردل به شهادت ميرسد.
