Huyện được thành lập ngày 15 tháng 12 năm 1962 trên cơ sở tách 13 xã: Cán Chu Phìn, Giàng Chu Phìn, Khâu Vai [note 1], Lũng Chinh, Lũng Pù, Mèo Vạc, Pả Vi, Pải Lủng, Sơn Vĩ, Sủng Máng, Sủng Trà, Thượng Phùng, Xín Cái thuộc huyện Đồng Văn.
Ngày 14 tháng 5 năm 1981, Hội đồng Chính phủ ban hành Quyết định 185/1981/QĐ-CP[5] về việc tách hai xóm Lùng Sư và Thèn Sư của Xín Cái để sáp nhập vào xã Thượng Phùng.
Ngày 21