Pasar ini telah ada sejak abad ke-16, hal itu membuat Pasar Legi dinoabtkan sebagai pasar tradisional tertua di Yogyakarta.
Dulunya Sultan Hadiwijaya memberikan hadiah kepada Ki Ageng Pamanahan dan Ki Penjawi yang telah berhasil menyingkirkan Arya Panangsang yakni pada tahun 1549.
Maka dari itu mereka mendapat hadiah tanah di kawasan alas Mentaok, yang pada saat itu berupa hutan.
Sebagai penguasa daerah tersebut, Ki Ageng Pamanahan berganti nama menjadi Ki Gede Mataram atau Ki Ageng Mataram.
Sebelum Alas Mentaok menjadi sebuah kota, Ki Gede Pemanahan membangun Pasar Gede.
Pasar tersebut menjadi pusat ekonomi bagi masyarakat Mataram.
Seiring berjalannya waktu, Pasar Gede berganti nama dengan Pasar Legi, yang sampai sekarang dikenal.
Pasar ini juga pada masa pemerintahan Hindia Belanda semakin berkembang, dengan menjual kayu bakar, menjual nasi, dan menjual minuman.
Pada tahun 1986 pasar ini direnovasi dan diresmikan oleh Wali Kota Jogja pada tanggal 22 Februari 1986.
Pasar tersebut memiliki luas 4.158 meter masih berdiri kokoh sebagai pusat perekonomian yang menjual berbagai macam kebutuhan masyarakat.
Pasar Legi saat ini menjual berbagai macam sayuran, buah, lauk pauk, daging, rempah, makanan tradisional dan sebagainya.
Pasar ini diisi oleh lebih dari 600 pedagang.