Lokasi pura Goa Raja berada sebelah selatan Pura Ulun Kulkul. Dari pura Ulun Kulkul harus menyeberang jalan raya dan menuruni sebuah tebing dengan beberapa anak tangga.Pura Goa Raja merupakan stana dari Ida Batara Rambut Sedana. Di pura ini terdapat sebuah sungai dan pada tebingnya ada sebuah gua besar, tetapi sekarang gua tersebut sudah tertimbun runtuhan tanah longsor pada saat Gunung Agung meletus.
Dalam ceritera tentang perjalanan Dang Hyang Sidimantra ke Besakih, diceriterakan bahwa di gua inilah beliau setiap hari-hari tertentu mempersembahkan haturan kepada Hyang Naga Basuki berupa empahan (susu), madu dan telur. Juga di tempat ini Dang Hyang Manik Angkeran memotong ekor Naga Basuki, sehingga Dang Hyang Manik Angkeran dibakar oleh Naga Basuki sampai meninggal, tetapi kemudian dihidupkan lagi setelah Dang Hyang Sidimantra (Ayah Dang Hyang Manik Angkeran) dapat memasang kembali ekor Naga Basuki yang terpotong itu.

Menurut ceritera rakyat, dahulu kala gua itu tembus sampai ke Gua Lawah Klungkung, sehingga pernah terjadi pada waktu ada sabungan ayam di Gua Lawah, salah seekor ayam sabungan itu lari masuk ke Gua Lawah kemudian dikejar terus oleh pemiliknya dan akhirnya ia keluar di Pura Goa Raja Besakih.
Pada permukaan gua sekarang ini sudah diperbaiki sehingga memungkinkan orang duduk untuk sembahyang atau semadi. Yang paling unik dari gua ini adalah di atas gua terdapat pohon mangga yang lumayan besar dan tumbuhnya tepat di atas gua. Anehnya lagi pohon mangga tersebut tidaklah roboh dan berdiri kokoh dan tegak. Piodalan di pura Goa Raja pada hari Buda Wage Kelawuatau Buda Cemeng Kelawu.