在荔湾地区，能够与华林寺身世媲美的古建筑，大概就数仁威祖庙了。仁威祖庙位于龙津西路庙前街，始建于宋皇祐四年（1052），当然，和华林寺一样，如今看到的仁威祖庙建筑，并非宋代遗构，都是后来修建的。
据说当年泮塘乡有一对兄弟，兄名仁，弟名威，以捕鱼为业，某日捡到一块奇石，放在家中，从此家道兴旺。泮塘乡人无不啧啧称奇，认为奇石有灵，纷纷撮土为香，诚心朝拜。后来干脆集资，兴修庙宇，以这对兄弟的名字命名为“仁威庙”。更奇的是，那块石头在一场雷暴中被劈开两半，而阿仁、阿威兄弟也在那天出海不归，从此杳无踪影。乡人就用这两块石头做了庙的门柱。
但也有另一种说法，魏校在广州取缔淫祠时，金花娘娘、天后娘娘、急脚先锋、田公元帅、司命帝君、三界之神，甚至连观音娘娘，都在扫地出门之列。四乡八镇，到处掀砖揭瓦，拆庙的拆庙，拆祠的拆祠，一片鬼哭神嚎。仁威庙也被列入扫荡范围。
乡人情急之下，把仁威庙后殿改为供奉孔子和关公，请秀才题写了楹联：“仁敷四海，威镇之城”，仁指孔子，威指关公。这两位圣人是朝廷批准祭祀的，所以庙宇才逃过一劫。清同治以前，这里的香火都不太盛。有一年荔湾发大水，乡民把玄武帝君的神像请了回来，从此改祀北帝，仁威庙的名气才愈来愈大。
玄武帝君在珠江三角洲多称北帝，被道教奉为管水的神祗，不仅有化解水厄的神通，而且是北极星化身，为海上的船只指明方向。泮塘河涌纵横，池塘棋布，仁威庙大门便对着三桠涌。清同治年间所立的一块“重修仁威祖庙碑记”这么写道：“我泮塘乡近连珠海，远接石门，无旱干水溢之虞，具菱芡菰茭之利，以水乡而虔祀水神，理固然也。”北帝被视为泮塘水乡的守护神，每年夏历三月初三北帝诞期，都会灯棚设醮，大肆庆祝。反映了仁威庙与水乡的深切关系。
经过明代天启年间、清代乾隆、同治年间，泮塘乡曾动员大批人力物力，对仁威庙进行大规模修葺。乾隆年间重修时，从原先只有中路和西序的前三进房舍，增设了后二进建筑和东序，成为泮塘恩洲十八乡第一大庙，“骎骎乎有桂殿兰宫之盛矣”。
今天的仁威祖庙，占地两千多平方米，坐北朝南，广三路，深五进，沿着南北中轴线，依次为头门、拜香亭、正殿、中殿、后殿和后面的二层花楼。东西序的格局与中路一样。在设计上，仁威庙有一个奇特之处，就是它的前三路三进，看上去和普通的岭南乡村民居差不多，有天井、凹门斗、青云巷和左右侧门，但到了后两进，才变成典型的庙宇布局。三路以连续九间的排列方式，以及头门外一对石雕的龙柱华表，表明其道教建筑的身份。
庙宇的主体建筑为砖木混合结构，大门嵌花岗岩石门夹，上悬“仁威庙祖庙”牌匾。门两侧悬一副楹联：“旭日湛珠江源接香浦石门四海同沾圣泽；龙津连泮水派通虹桥荔岸千秋共浴仁威”。中门上悬木匾“海不扬波”。两边楹联：“安静河神藏宝剑星旗临北极；馨香陈土物红菱碧藕熟西园”。三路建筑之间，以青云巷（取“平步青云”之意，因有防水、防火功能，故又称冷巷、火巷、水巷）相隔，东西青云巷前门额，为题“瞻宸”，右题“趋所”，后门额则分别题“奎联”、“壁拱”。
房顶是五级叠阶梯形的风火山墙，覆以绿灰筒瓦，采用蓝色琉璃瓦剪边。屋顶正脊和两侧山墙顶的瓦饰陶塑人物、脊饰亭台楼阁和舞台戏曲人物，全部出自佛山石湾文如壁店的制作，使用琉璃釉彩，主要有黄、绿、宝蓝、褐、白五色，错彩镂金，日晒雨淋而不改。
在仁威祖庙的每个位置，无论你的目光落在花衽、彩门、斗拱、走廊上，还是梁柱、檀枋、驼峰、雀替、山墙上，都可以欣赏到精美的木雕、石雕、砖雕、灰塑等民间工艺。木雕采用潮州金漆工艺，遍施金彩，荧煌耀目。题材有狮子舞球、龙凤呈祥、鲤跃龙门、喜上眉梢、福寿如意以及武松打虎、钟馗打鬼、仙人指路等民间故事，充分体现了雕刻艺人丰富的想象力和高超的技艺。
1924年孙科当市长时，拍卖公产，筹措军费，仁威庙几乎被拆毁拍卖，好在醒目的泮塘乡人灵机一动，把庙宇改为小学，又逃过了一劫。但在“文革”中，仁威庙的所有神像，却逃不过被红卫兵捣毁的命运，头门和正殿改为塑料工厂，东西配殿给学校做了校办小工厂。各种建筑构件，都受到程度不同的损坏，朽坏的朽坏，坍塌的坍塌，剩下的也是歪歪扭扭，摇摇欲坠；工艺构件更是脱落、破损严重。但值得庆幸的是，那些精美的雕梁画栋和砖雕灰塑，被泮塘乡人事先用灰泥涂抹掩盖，得以保存下来。
1983年，广州市政府公布仁威庙为市级文物保护单位，但直到1993年，头门、拜亭、大殿才由工厂交还给文物部门。1994年开始动工修葺，逐步恢复了仁威祖庙昔日的规模与容貌，而且还开辟了宽敞的广场，立起雄伟的牌坊，环境变得更加美观，重现其“龙楼凤阁之奇，羽盖霓旌之制，伏虎降龙之力”的风韵神气。泮塘人在端午节扒龙舟时，身上的“战衣”都写上“仁威”二字，以显气势，由此而有了一句歇后语：“泮塘龙船——借仁（人）威”。每年的太岁诞、北帝诞，这里都是人山人海，香火鼎盛，甚至出现排队进庙上香的人龙，从仁威庙一直蜿蜒至中山八路的盛况。