Mehmet Ali Yılmaz, 21 Ekim 1948 tarihinde Trabzon'un Of ilçesi Gülderen Köyü'nde dünyaya geldi.
Babası Mehmet ve annesi Fatma'dır. İlkokulu doğduğu köyde tamamladıktan sonra ailesiyle birlikte İstanbul'a taşındı. Ortaokul eğitimini Kadıköy Kemal Atatürk Ortaokulu'nda, ardından lise eğitimini de Haydar Paşa Lisesi'nde tamamladı. Lise eğitimini sürdürürken 16 yaşında evlendiği için okula ara vermek zorunda kaldı ve bir yıl boyunca ilkokulda vekil öğretmenlik yaptı.
1965 yılında İstanbul'a geri döndü ve lise eğitimine devam etti. Eşi memlekette kaldı. Üniversite eğitimini Yıldız Teknik Üniversitesi İnşaat Bölümü'nde tamamladıktan sonra inşaat mühendisi olarak iş hayatına adım attı. Askerlik görevini 1 Temmuz - 1 Kasım 1975 tarihleri arasında İzmir Narlıdere İstihkam Er Eğitim Alayı'nda kısa dönem olarak tamamladı.
1973 yılında "TEK-ART" adlı inşaat şirketini kurarak inşaat sektörüne giriş yaptı. 1978 ve 1988 yılları arasında toplamda 10 kez Türkiye Vergi Rekortmeni oldu. 1979 yılında Türkiye İthalat İhracat Bankası'nın (Titibank - Impexbank) sahibi oldu ve bankacılık sektöründe de faaliyet gösterdi. Ancak 1988 yılında bankayı elden çıkardı. Ayrıca, 1983 ile 1989 yılları arasında Güneş gazetesinin sahibi olarak basın sektörüne adım attı. 1996 yılında Antalya Kemer'de Zigana Tatil Köyü'nü faaliyete geçirerek turizm sektörüne de giriş yaptı.
1991 ile 1995 yılları arasında Demokratik Sol Parti (DYP) Trabzon milletvekili olarak görev yaptı. Ayrıca, 49. ve 50. Dönem hükümetlerinde Spordan Sorumlu Devlet Bakanı olarak görev aldı. Halen Trabzonspor Kulübü Onursal Başkanı olan Mehmet Ali Yılmaz, 1982-2001 yılları arasında çeşitli dönemlerde Trabzonspor Kulübü Başkanlığı görevini üstlendi.
Ayrıca, Mehmet Ali Yılmaz Basın Konseyi, Gazeteciler Cemiyeti, Türkiye Spor Yazarları Derneği, Mühendisler Odası ve Müteahhitler Sendikası gibi çeşitli kuruluşlara üyedir. Ayrıca, Uydu üzerinden yayın yapan "TVem" kanalı ile Trabzon'da yayın yapan Zigana TV ve Zigana FM gibi medya kuruluşlarının da sahibidir.
