Mustafa Yılmaz,  1967 yılında Ankara ili Çamlıdere İlçesi Örenköy köyünde doğdu. İlk, orta ve lise öğrenimini Ankara’da tamamladı. 1988 yılında Ankara Üniversitesi Siyasal Bilgiler Fakültesi İşletme Bölümü’nden mezun oldu. Aynı yıl açılan Kaymakam Adaylığı sınavını kazanarak 1989 yılında Çorum Kaymakam Adayı olarak meslek hayatına başladı. 1990-1991 yılları arasında İngiltere’de İngilizce dil eğitimi ve kamu yönetimi kursu aldı. Daha sonraki yıllarda çeşitli ilçelerde Kaymakamlık, Vali Yardımcılığı ve Sınır Mülki İdare Amirliği görevlerinde bulundu. 2013 yılında İçişleri Bakanlığına Hukuk Müşaviri olarak atandı ve daha sonra 1. Hukuk Müşaviri Yardımcılığı, TBMM’de Bakan Danışmanlığı ve İçişleri Bakanlığı İdari ve Mali İşler Daire Başkanlığı görevlerinde bulundu. 2015 yılında 1 ay süreyle Rusya’da Kamu Yönetimi Akademisinde, Kamu Yönetimi kursuna katıldı. 2017 yılında da Adalet Meslek Yüksekokulunu bitirdi. 2018 Kasım ayında Moskova Büyükelçiliği İçişleri Müşavirliği görevine atandı. Yaklaşık 3,5 yıllık yurt dışı görevinin ardından Haziran 2022’de tekrar İçişleri Bakanlığında Hukuk Müşaviri olarak görevlendirildi. Ağustos 2022’de çıkan kararname ile de Tepebaşı Kaymakamlığı görevine atandı.

Kaymakam Yılmaz, İngilizce ve orta derecede Rusça bilmekte olup, 2 çocuk babasıdır.