怀化市的回族，主要分布在新晃侗族自治县、沅陵县、靖州苗族侗族自治县及洪江、溆浦、芷江、鹤城等地，人数不多。据人口普查统计，1964年为608人，1982年928人，1990年2135人，2000年4115人。

新晃回族主要聚居在方家屯乡枫树屯村的犀角洞、杨家桥村的蔡家。其次，少数散居于新晃镇、波洲、鱼市、新寨等地。其来源，均为从外地迁入。清代康熙年间，有回民蔡忠山等人从宝庆（今邵阳）等地来晃州做石工和行医，后定居在犀角洞。清代后期，又迁来马、苏二姓，繁衍成两个自然村落，他们信奉伊斯兰教，在两个自然村的中心地带建有清真寺。据《湖南回族》记载，迁入晃州的回民“海氏、蔡氏是明洪武二年（1369年）分别从北京、南京迁徙邵阳”的，是最早进入湖南的一部分。抗日战争时期，又有杨、徐等姓回族难民从沦陷区迁入晃县城镇落户。

散居在新晃境内的回族信仰伊斯兰教，旧称回教。基本信条是：信安拉，信诸天使，信《古兰经》诸经典，相信“万物非主，唯有真主；穆罕默德，真主使者”。教会主持为阿訇。晃州最早的阿訇为蔡定安，以后代代相传。解放后，回民的正常宗教活动受到人民政府的保护，给阿訇蔡治民安排工作，选举他为县人大代表、县政协委员、常委。1983年，经县人民政府批准，对在50年代被拆的清真寺予以恢复，使教徒有了活动场地。

世居在靖州的回民，以丁姓为主，大多分布在飞山、艮山口、渠阳等乡镇。据清代同治年间续修的《丁氏族谱》记载，他们的祖先是明洪武年间从金陵（南京）迁到靖州的，至今已“祖孙杠承四百余载”。至1988年县内回族158人，他们除保留清明节扫墓和春节（过年）用牛肉祭祖祠俗外，其它与汉族无异。

沅陵县的回族是清嘉庆八年（1803），常德回民马新盛、凤凰回民郑大勋先后迁入定居发展起来的。至1987年县城有回民139人。