Waduk ini dibangun pada tahun 1994 dan diresmikan oleh Presiden Soeharto pada 20 November 1996.
Waduk ini dulunya dibangun untuk menjamin pasokan air ke daerah irigasi Kalibawang seluas 7.152 hektar.
Waduk ini dibangun dengan cara membendung dari Sungai Ngrancah di Desa Hargowilis, Kapanewon Kokap.
Waduk ini memiliki manfaat untuk irigasi dan perikanan, manajemen air, tempat wisata, bahkan tempat olahraga.
Selain manfaatnya yang banyak, dibalik keindahan waduk tersebut terdapat kisah mistis.
Dahulu sebelum dibangun, Waduk Sermo merupakan desa dan pemukiman warga.
Terdapat 100 kepala keluarga yang ditransmigrasikan ke luar kota untuk membangun waduk ini.
Pada desa tersebut terdapat sebuah makam keramat.
Menurut warga sekitar, makam leluhur tersebut ikut tergenang air saat pembangunan waduk selesai dan mulai terisi air.
Pada saat pembangunan Waduk Sermo selesai terddapat kejadian aneh yang muncul.
Di antaranya muncul ikan pemakan daging dari dalam waduk, ikan tersebut berwarna merah sehingga banyak yang menyebut ikan setan merah.
Selain itu terdapat kejadian orang meninggal di tengah perairan Waduk Sermo.
Seperti salah satunya yaitu kisah seorang bocah tenggelam saat bermain menggunakan rakit, rakit yang ditumpangi tiba-tiba terbalik dan akirnya bocah tersebut meninggal karena tidak bisa berenang.
Menurut mistis kepercayaan orang sekitar, orang yang meninggal di Waduk Sermo menjadi pengikut atau tumbal bagi Mbah Sermo yang merupakan leluhur di dusun yang kini telah hilang.