Masjid ini dibangun sejak tahun 2001 dan diresmikan pada tahun 2006.
Pembangunan masjid ini dibangun diatas tanah wakaf Ki Ageng Panandaran II, yang pada saat itu menjabat sebagai bupati pertama Semarang.
Masjid Agung Jawa Tengah ini dirancang dengan perpaduan aristektur Jawa, Romawi, serta Islam.
Bangunan ini dirancang oleh Ir. H. Ahmad Fanani dari PT Atelier Enam Jakarta.
Masjid Agung Jawa Tengah memiliki 25 pilar di halaman masjid yang menunjukkan gaya romawi.
Pilarnya mirip dengan gaya Colossum Athena di Roma yang dihiasi dengan kaligrafi.
Terdapat juga prasasti dari batu alam setinggi 3,2 meter yang didatangkan dari lereng Gunung Merapi.
Salah satu ciri khas masjid ini yaitu enam buah paying hidrolik raksasa yang berada di teras masjid, payung tersebut dapat membuka dan menutup secara otomatis.
Seperti model yang terdapat di Masjid Nabawi, Madinah.
Terdapat juga teropong diatas menara masjid, sehingga pengunjung dapat melihat pemandangan indah kota Semarang.
Pada bagian dalam, pintu masjid ini bergaya khas Jawa lalu terlihat bagian dalam yang luas dan megah didominasi warna cokelat muda pada lantai dan aksen kayu warna hijau pada atap bagian dalam.
Baca Juga: Gaga Muhammad Kini Sudah Bebas Bersyarat, Begini Tanggapan Kakak dari Mendiang Laura
Gerbang masjid juga terdapat tulisan dua kalimat syadahat dan tertulis huruf Arab Melayu “Sucining Guni Gapuraning Gusti” yang memiliki arti kemauan dan upaya yang tulus membawa kea rah Ridha Allah.
Masjid ini kini menjadi wisata religi di Semarang Jawa Tengah.