腓特烈堡的岩石顶端被称为斯瓦米岩（Swami Rock），上面有一座供奉湿婆的印度教寺庙。在同一地点，建于公元前 200 年的 Thirukonamalai Konesar 神庙曾经吸引了来自亚洲各地的朝圣者，但在 1624 年被葡萄牙人摧毁。葡萄牙人的目的是重新利用这些材料建造堡垒，也就是后来的弗雷德里克堡。如果考虑到毁坏者自己称其为 "千柱之庙"，就可以想象这座纪念碑的辉煌了。1963 年，它以 Koneswaram Kovil 的名字重建。虽然规模小于其前身，但它仍然是印度教徒的重要礼拜场所，也是其他宗教信徒的热门参观地。一座巨大的湿婆神像守护着这个地方。每逢普雅节，这里都非常热闹。

斯瓦米岩（Swami Rock）是腓特烈堡和科内斯瓦拉姆科维尔（Koneswaram Kovil）所在岩石的北部。斯瓦米岩高出海面 130 米，可将其周围的两个海湾--后湾（Back Bay）和荷兰湾（Dutch Bay）尽收眼底，风景如画。

情人崖是斯瓦米岩的最高点，这里隐藏着一个真实发生过的悲剧。1687 年 4 月 24 日，一位荷兰军官的女儿弗朗西娜-范里德（Francina Van Reed）就是在这里目睹未婚夫的船只消失在地平线后投海自尽的。这场悲剧的日期刻在一根柱子上，几乎被抹去了。