ศาลพระกาฬ เดิมเรียกว่า"ศาลสูง"เป็นปราสาทเดี่ยวก่อด้วยศิลาแดง ตั้งอยู่กึ่งกลางบนฐานสูงในแผนผังรูปกากบาท มีมุขยื่นออกมาเป็นบันไดทางขึ้นทั้งสี่ด้าน น่าจะสร้างขึ้นในวัฒนธรรมเขมร ประมาณพุทธศตวรรษที่ ๑๖ - ๑๘ ต่อมาในสมัยอยุธยาได้สร้างอาคารก่ออิฐบริเวณฐานของปราสาทองค์เดิม
ในปีพ.ศ.๒๔๗๖ ได้สร้างอาคารขึ้นใหม่ ทางด้านตะวันตกต่อจากปราสาท เพื่อประดิษฐานพระวิษณุ หรือพระโพธิสัตว์อวโลกิเตศวร ศิลปะแบบเขมร หรือที่เรียกกันว่า"เจ้าพ่อพระกาฬ" ซึ่งแต่เดิมไม่มีเศียร ชาวเมืองได้นำเศียรพระพุทธรูป ศิลปะอยุธยา มาประกอบติดไว้