始祖应麟公，江西泰和人，明永乐2年（1404）徙武冈城西三岗铺。九世应斗，字章辰，明崇祯进士，授万州知州，改吏部郎中，加太常寺卿，著《白石山史评补》、《武冈图经》等书，诗见《沅湘耆旧集》。该族后裔多分布于邓元泰、城西、江塘和城步威溪等处。

洞口潘氏

    始祖贞周公，北宋神宗熙宁7年（1075）自山东临朐县竹搭桥迁居黔阳中方。又传八世至志齐公于宋元之际迁洞口岩塘。今多分布于横溪、醪田、石柱、山门等乡镇。

城步潘氏

    始祖金盛公，唐末五代系“飞山蛮”，后裔分布城步、绥宁、靖州、会同、通道等县。据清光绪32年《城步县乡土志》载：城步青苗潘氏分布于杓杓、蓬峒之横水、上下岩头。

汉寿铁山、金孔、沧港潘氏

    始祖开基公，兵燹后家南京，一说世居江西吉安府吉水县。生八子，第八子元八公，素具雄才大略，矢志从戎，以功授都督将军，镇守辰州，后移屯常德汉寿，四子：琴、海、聪、明，琴公落业汉寿铁山，海公落业辰郡辰溪，聪、明二公落业汉寿金孔岭，称金孔支。又有存实公，清初由江西吉安府吉水县拖船埠迁辰阳（汉寿），卜居沧浪港，称沧港支。清道光18年（1838）金孔支始修族谱，光绪10年（1881）续修。同治11年（1872）沧港支始修族谱，1915年二支合修，堂号紫岩。

桃源潘氏

    始迁祖志高公，明永乐2年（1404）由江西南昌府丰城县大栎树迁桃源县东大田村，生四子：华、福、金、银，金、银后迁石门白羊湖。清光绪33年（1907）首修族谱，2002年续修。乾隆59年（1794）建宗祠于潘家溶。长房一修时入谱人口994人，其中男592人，娶进媳257人，嫁出女298人，幼女144人。二修时长房入谱人口1753人，男918人，女835人。长房老派：志单景德彦兴万朝世之星单。二房老派：志单兆明单大文印腾士单一。合族续派：学士应光国，邦家定永昌，诗书贻谋远，忠孝裕训长。

桃源木塘潘氏

    始迁祖思源公，明中叶自吉水迁于桃源县东杜青村之潘家河。至1948年，已传17代，全族人口约1000余人，分布于浔阳、白麟洲、河洑等地。清咸丰间建宗祠于潘家河。族谱创修于清光绪6年（1880），宣统2年（1910）、1941年续修。

石门施家山潘氏

    原籍河南，后迁常德，明洪武时迁石门。

石门县城潘氏

    清咸同间自江南迁石门。

湘阴高明乡口泉、石楼潘氏

    元朝末年由江西南昌铁树岩徙湘阴县高明乡，今属汨罗。族人分布于新门前、大路潘。1934年建祠。至1948年，共1500人。

平江石桥、石坑、岐山、西门潘氏

    一世祖维文公，宋武威节度使，封晋平王。至六世大成（字又孔）、大章（字景云）二公，原江西南昌人，元天历元年（1329），兄弟南游于楚，始迁平江。大成公长子惟达，字特聪为石桥、石坑、湖源之祖；大章公长子惟春，字仁济为西门忠孝桥之祖。清嘉庆14年（1809）、光绪30年（1904）续修族谱。至1994年，全族人口7420人。

华容潘氏

    始祖致尧公，居金华，仕宋高宗，子良贵，为高宗时中书舍人。良贵弟良能，生怀振，号十二郎，居江西南昌县龙架村安林，生万五、万六、万八、万九、千五。万八公始迁衡山，生子禄，禄生在龙、在现、在田，在现于元至正4年（1338）自衡山经岳州太平街徙华容东山，落籍龙开河牛栏嘴。在龙生和裕、和梅，和梅官巴东副总，自衡山迁巴陵东乡沙壁。和梅孙其彪，明永乐2年（1404）迁华容，子孙落籍东山松里铺、潘家湾。和裕，官安陆指挥，自衡山迁岳州太平街，生会锦，会锦生其虎、其豹，其虎孙致先、致福；其豹孙致光、致德，先后来华。致先官岳州游击，明景泰间定居松木桥东南二里许潘家牌坊屋场，为军籍，子孙分布于松木桥、三岔港、潘家湾、南山、花申垸、钱粮湖、团洲等处。致福由岳州太平街于明天顺间迁居华容，先居潘家牌坊屋场，复迁巴陵河西刘家冲，子孙再迁马鞍山、惊雷寺、龙坑庙下，为民籍。其虎、其豹房旧派：在和会其仲，致盛启应良，文士必愈发，世绍祖志昌。新派：修为善培远，泽存心训长，原在厚方久，率屦正自常，以克守大道，可相传宏章，名成家学立，继嗣秉周行。斗冈房新派：克缵前人绪，家声丕振长，诚心惟孝友，启后在忠良，书囗囗囗囗，池田翰墨香，积善浪流远，百世运其昌。

华容东西垸潘氏

    始迁祖启鸿公，为生计，清道光末年自监利潘王岭迁居华容又东垸（今操军闸口），围垦湖洲开荒。现人丁集居操军闸口、六角等地。派语：友尔鸿家学，宗祖启佑芝，传经昭惟守，树泽永治长。

益阳宝林冲潘氏

    始迁祖木盛公，明天顺年间自江西泰和督兵来益阳，遂定居此地，其后居侍郎桥、宝林冲。

益阳牛潭河、龙拱滩潘氏

    始迁祖乌田公，宋靖康时由浙江永嘉避乱益阳，衍居牛潭河、龙拱滩，今属桃江。