这座城堡是南宋宗室赵若和的第十世孙赵范建造的。赵若和是宋太祖赵匡胤的弟弟魏王赵匡美的第十世孙，其时就藩福州。1178年4月．赵若和随年方8岁的卫王赵昺到广州崖山。陆秀夫扶佐赵昺为帝。1277年2月元军陷崖山，文天样被俘，陆秀夫负帝昺投海自尽，南宋亡。赵若和率领十几条船夺港而出，准备往福州，再图恢复，但船到梧屿，遇到狂风，不得已改在漳浦登陆。明穆宗隆庆五年(公元1571年)，赵若和的第十世孙赵范告老回家，在湖西硕高山麓修建此堡。以后，赵范之子赵义加以扩建，形成现在的规模。
赵家城除嫁来的媳妇外，全部姓赵。且内外城墙保存完好，使它自成一个世界。赵家城分内外城，外城四方都是城门。东门门额上刻有“东方钜障”4个大字。明时，我国东南沿海时常遭受倭寇和海盗的侵袭，这正是由海滨入湖西盆地之咽喉，防卫至为重要。西门面对硕高山，可据险隐居；所以刻有“硕高居胜”。南门外是丹山和鼎山，丹山相传为东晋葛洪炼丹处，故门上刻有“丹鼎钟祥”字样、只有北门门额无字。
“完璧楼”，为赵家城一大胜迹。楼名取其完璧归赵之意。因赵氏先人深痛失国之恨，故建此城以寄托怀宋之情。“完璧楼”呈方形，占地484平方米，高20米有48个房间，三合土墙至今甚为牢固。
城堡中另一有名的古建筑是汴派桥，它横跨两湖之上，一端平缓如地，一端高高隆起。相传过去妇女过桥，到隆起处要爬着才能过去；此桥长21米，宽2米。
桥旁原有一梳妆楼，现已倾坍。赵宋后裔念念不忘京城汴京，并自认为是一脉相承的“汴派”，怀宋之深，由此可见一斑。
五座五进的赵范府第可说是城堡中的主体建筑了。每进房子长67.40米,阔19米，共有30间房子，大厅四周挂有宋朝历代皇帝的画像。
赵家城原有十景，其中读书处——“辑卿小院”等遗迹尚存。1983年以来，赵家城的历史文物价值得到了专家、学者的一致肯定和高度评价。许多人认为“赵家城”遗址丰富、保存完好，且立意布局犹汴京之旧，是一处不可多得的古城堡遗址。因此，文化部文物局拔出专款，对赵家城进行全面维修。