金山寺原名金山塔寺，始建于宋代绍兴年间，位于闽江下游乌龙江上，寺庙四面环水，寺随江动，水绕寺转。原是江心的小石埠，因其形状像石印浮于水面，故曰“小金山”。但因地处江心，易遭洪水侵袭，现在的金山寺是1934年重建的。

前殿为天后宫，供奉着妈祖娘娘，昔时洪塘是出入闽江的要道，商贾、船民在启航出海前，要先祭拜妈祖保佑顺风和安全。妈祖殿后墙上的横匾“是最胜处”，为1935年时任国民政府主席的林森游寺时所书。

大慈楼位于妈祖殿正后方，是金山寺的主殿，供奉着西方三圣——代表光明与寿命的阿弥陀佛、代表大慈大悲普救人间疾苦的观世音菩萨、智慧之光的大势至菩萨；三圣的两侧分奉着地藏王菩萨和目犍连尊者。

大慈楼前的左厢房是怡怡斋，是古时学子读书的地方，现在这里供奉的是伽蓝菩萨，以感恩伽蓝菩萨护法护教的殊胜功德。大慈楼前的右厢房借借室，是当年三一教主林兆恩的寓居之所，林兆恩曾于此著书立说并为倭患死难者建造普度，因普度用的器具都是向周边的村民借来的，所居之所也被称为借借室，后又被辟为三一教主祖殿，敬塑金身供人敬拜。

福州河流众多，先民在江河以及一些支流畔建有不少塔，但直接位于江中的塔较少。金山寺的金山塔主要的作用是船舶航信标志，建于五代时期，高约十米，由185块白梨石砌成，是座七级八角实心石塔。金山寺依塔而建，在石塔建成数百年后，于宋代绍兴年间在塔的周围修建殿堂、厢房等形成寺庙。金山寺塔也被称为“浮塘金印”，眺望寺塔，犹如一方带柄的金印。

金山寺前殿正门有一副对联，是宋代理学大师朱熹讲学时所题：“日夜长浮，不用千篙争上水；乾冲屹立，独能一柱抵中流。”上联写出金山寺特殊的“水中寺”的建筑特色，江水绕寺而流，远望金山寺，仿佛一条逆水而行的船，力争上游。下联则写出金山寺屹立江中的气势。

金山寺地理位置特殊，空间有限，其古树名木按作用可分为两类：一类是景观植物，南端有一棵百年榕树，不仅点缀寺院，还起到了障景的作用，让游人自江中上岸以后无法一览寺庙全景，而产生了“探幽”的心理。该古榕树上世纪60年代因台风损坏后，在1992年被重新种植，现已长成一棵参天大树，犹如重生之凤，在夜景灯光的投影中更加的灵光四射。

另一类是祈福植物。在金山寺位西方向有一棵古樟树，是明代万历年间状元翁正春亲手所植，距今已有400多年的历史。古樟树高20多米，两人合抱才可，离地3米高的地方又生一横枝把两枝相连紧紧地抱在一起，似一条虬龙盘在树上，枝干相连，人称连理树、爱情树。因它生长在西方，沾大慈楼三圣菩萨雨露，又被称为菩提树。学子在此树下求金榜题名，所以又被誉为状元树。

金山寺中的水与山石相伴而生，因潮汐的原因，每日有两个时段的水位是最低的，这时被淹没的鼋石便会露出水面，形成天然的石桥，从鼋石走到金山寺只需半分钟左右。时至今日，洪塘一带的渔民相信，金山寺之所以能“从潮升降，水涨山升而不淹没”，是因其所建的岩石是鼋的化身。潮落鼋则下潜，潮起鼋则上浮，即使洪水泛滥，古寺也会在鼋忠心耿耿的守护下安然无恙。

金山寺不仅景色优美，还是福州洪塘地区的文化摇篮，明朝名将张经、学者林龙江、状元翁正春和吏部尚书曹学佺相继读书、著作于此。金山寺虽因地形限制，没有巍峨的殿堂和巨大的佛像，但却小巧精致，是福州唯一的水中寺庙。

金山寺岸边的清水亭畔是著名的洪塘古渡口。明万历乙未年（1595年），洪塘乡绅在金山寺造桥以通人，但文人墨客认为“通以桥反损佳趣”，在翁正春的主持下，拆除了石桥。时至今日香客想要入寺，仍需小舟引渡。江岸距离金山寺70余米，船只不需用桨，有麻绳相连，艄公双手交替拉拽麻绳，惯力带动船只前行，远离岸边，驶近金山寺。