西汉朝元鼎三年(丁卯，公元前441年)置郡，治所在平襄(今甘肃通渭)，其时辖地在今甘肃省通渭县、秦安县、定西县、清水县、庄浪县、甘谷县、张家川县及天水市西北部、陇西东部、榆中东北部地一带地区。东汉朝永平十七年(甲戌，公元74年)改为汉阳郡。三国时期曹魏仍改为天水郡。西晋时期移治到上邽(今甘肃天水)，北魏时期仍改回为天水郡，其时辖地在今甘肃省天水市、秦安县、甘谷县等市县一带地区。
