เดิมเป็นเทวสถานในศาสนาพราหมณ์ ลักษณะเป็นปรางค์สามยอดแบบขอม ตั้งอยู่ทางทิศใต้ของวัดมหาธาตุ มีคูน้ำล้อมรอบปรางค์สามองค์ โบราณสถานดังกล่าวนี้มีที่มาจากทรงปราสาทแบบขอม แต่ได้รับการดัดแปลงแตกต่างจากต้นแบบ เช่นส่วนประดับของปราสาทขอมที่เรียกว่า บันแถลง กลายเป็นรูปกลีบขนุน และปูนปั้นประดับกลีบขนุนเป็นรูปครุฑยุดนาคและเทวดา ปรางค์วัดศรีสวายจึงแตกต่างจากปรางค์สมัยกรุงศรีอยุธยาซึ่งมีต้นแบบจากปรางค์ในศิลปะขอมและคล้ายคลึงแบบขอมมากกว่าปรางค์ในแบบของช่างสุโขทัย

          เมื่อครั้งพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว เสด็จประพาสเมืองสุโขทัย ทรงพบรูปพระอิศวรและและโบราณวัตถุหินจำหลักเป็นทับหลังรูปพระนารายณ์บรรทมสินธุ์ รูปพระนารายณ์สี่กร และชิ้นส่วนของเทวรูปและศิวลึงค์ทำด้วยสำริด จึงทรงสันนิษฐานว่า วัดนี้คงเป็นสถานที่พวกพราหมณ์ใช้ทำพิธีโล้ชิงช้า (ตรียัมปวาย) แต่ต่อมาเมื่อคนไทยเข้ามาครอบครองกรุงสุโขทัย วัดนี้จึงถูกดัดแปลงให้เป็นวัดทางพระพุทธศาสนา