回族中的胡姓取自祖辈回回名首音。据《元史氏族表》载：赡思丁三子忽辛，纳速刺丁四子忽先的后裔有以忽为姓者，也有改为虎姓和胡姓的。又据金吉堂《回教民族说》称：“胡山……之后裔姓胡。《枣林杂组》：长安县儒学训导胡山……长安回人众多，而胡姓在明清间为大族。”再有，清代内务府的回回人喀尔迪克，后改姓胡，遂为胡姓回族的又一支。胡姓回族主要分布在天津、南京和陕西。