晋时，潘勖之裔孙潘才因任广宗太守，而落籍广宗(今河北省威县)，后又发展成为潘姓历史上第二大郡望，此期亦有潘姓人播迁广东。
北魏时，破多罗氏改汉姓潘，并逐渐在洛阳形成潘姓的第三大郡望，其开基始祖为潘威。此期潘才的八世孙潘绍业因任随州(今湖北省随县)刺史落籍当地。
