Tidak diketahui kapan mata air mulai mengalir di tempat yang sekarang bernama Tirtagangga, namun jika melihat pohon beringin yang ada, yang biasanya ditanam dekat tempat suci, mata air tersebut dapat berumur 300 tahun. Hingga saat ini air dari mata air tersebut digunakan sebagai air suci untuk banyak upacara keagamaan.
Mata air yang digunakan untuk acara keagamaan, cuaca yang sejuk dan pemandangan yang indah di sekitar bukit menginspirasi Raja Karangasem, Anak Agung Anglurah Ketut Karangasem, untuk membangun taman air rekreasi untuk dirinya dan rakyatnya, yang ia mulai bangun tahun 1948. Membuat berbagai macam taman air sudah menjadi hobinya. Ia tidak hanya membuat rancangannya sendiri, namun ia juga bekerja dengan pekerjanya, menggali tanah, berdiri di air yang dalam, dikotori lumpur. Pengunjung yang melihat proses pembangunan selalu terkejut ketika melihat Raja yang berada di sekitar pekerjanya. Orang-orang menyukainya dan itu adalah salah satu kelebihan Raja yang menawan.
Taman mulai dibangun sekitar Januari 1948 dan diperkirakan selesai sekitar September 1948, yang setelahnya digunakan secara resmi oleh Keluarga Kerajaan sebagai peristirahatan dan sampai sekarang masih digunakan untuk kepentingan Keluarga Kerajaan serta masyarakat lokal Ababi, Temega dan Pladung untuk aktivitas keagamaan Tirta Yatra.
Tahun 1963 Gunung Agung meletus dan menyebabkan banyak gempa yang menghancurkan sebagian besar bangunan dan kolam di taman. Keluarga Kerajaan dan masyarakat Karangasem mengungsi ke daerah Bali yang lebih aman. Sekitar sepuluh bulan kemudian saat situasi sudah aman, Raja kembali dan menemukan taman indahnya telah hancur. Ia tidak memiliki uang untuk membangun kembali kolam dan strukturnya. Dengan diberlakukannya Undang-Undang Agraria, para raja, seperti pemilik lahan besar lainnya, kehilangan sarana untuk memperbaikinya. Rehabilitasi Tirtagangga hanya dapat dilakukan dengan sangat hemat dan seadanya.
Tahun 1966 Raja meninggal dunia akibat stroke di umur 87 tahun. Setelah kepergiannya, taman air diwariskan kepada 10 putranya. Untuk menjaga warisan keluarga, taman-taman dan arsitektur khusus yang diciptakan oleh Raja Karangasem menjadi bagian dari milik keluarga “Druwe Tengah”. Sayangnya keluarga tidak memiliki dana untuk melanjutkan perawatan, dan tempat ini sangat sulit untuk dirawat, bahkan setelah diputuskan untuk memungut biaya dari tamu yang memasuki taman.
Sejak 1979, setelah tugas yang panjang di luar negeri, salah satu putra mendiang Raja, Dr. Anak Agung Made Djelantik, memimpin rehabilitasi taman. Dengan sedikit kenaikan biaya masuk pada tahun 1985 dan donasi dari uang pribadinya, sedikit perbaikan dapat dicapai. Kesepakatan juga dibuat dengan perusahaan air lokal (PDAM) untuk menggunakan sebagian air dari mata air bagi konsumsi kota Karangasem, dan ini membantu merenovasi kolam renang bagian atas. Sedikit demi sedikit taman air menjadi lebih baik, dan mulai dikenal di dunia pariwisata.
Pada tahun 2002, dengan bantuan beberapa yayasan dan donor yang diprakarsai oleh Dr. A.A. Made Djelantik dan dikelola lebih lanjut oleh putranya, A.A. Widoera Djelantik, seorang arsitek, taman dapat direnovasi lebih intensif, langkah demi langkah menurut rencana induk yang dibuat saat itu. Setelah beberapa tahun kerja keras, A.A. Widoera dibantu anggota Keluarga Kerajaan lainnya berhasil mengembalikan keindahan taman kerajaan ini, Taman Tirtagangga.
Sejak pertengahan 2018 pengelolaan taman diserahkan kepada anggota Keluarga Kerajaan yang lain, A.A. Made Kosalya, bersama tim manajemen dan operasional yang beranggotakan sekitar 40 orang.