Askerlikten istifasını takiben Erzurumluların isteği üzerine Vilâyat-ı Şarkiye Müdafaa-i Hukuk-u Milliye Cemiyeti Erzurum şubesinin Heyet-i Faale başkanlığına getirildi. Cemiyet, o günlerde daha evvelce alınan bir karar gereğince doğu illerini kapsayan bir kongrenin hazırlıkları içinde idi. Mustafa Kemal'in Heyet-i Faale reisi olarak bu kongreye iştiraki mümkündü; fakat o, bu kongreye özellikle Erzurum'dan üye olarak iştirak etmek istiyordu. Ne çare ki Erzurum üyeleri evvelce seçilmişti; ama buna da bir çözüm bulundu. Erzurum'un iki değerli evlâdı, Kâzım Yurdalan ve Cevat Dursunoğlu Erzurum üyeliğinden istifa etmek suretiyle yerlerini Mustafa Kemal ve Rauf Bey'e bıraktılar. Bu suretle Mustafa Kemal Paşa'nın kongreye girişi meşruluk kazandı.
Erzurum Kongresi, 23 Temmuz 1919'da tek katlı bir ilkokul salonunda 62 delegenin iştirakiyle toplanmıştı. Kongre bir kurucu meclis gibi çalışarak 14 gün devam etti ve 7 Ağustos 1919 da çalışmalarına son verdi. Kongreyi geçici başkan olarak Erzurum delegelerinden Hoca Raif Efendi açmış, delegelerin isim okunarak yoklaması yapıldıktan sonra başkanlık seçimine geçilmişti. Yapılan oylamada Mustafa Kemal Paşa başkan seçildi.
Millî Mücadele'ye bayrak olan bir kongrenin Erzurum'da toplanışı bir tesadüfün eseri değildi; Mondros Mütarekesi'nden sonra müdafaa şuurunun en keskin bir şekilde meydana çıktığı bölgelerden biri Erzurum idi. Zira Mütareke hükümlerine göre asırlarca şehit kanıyla sulanmış Erzurum topraklarını da içine almak üzere bir Ermenistan kurulması isteniyordu. Bu durum, bölgedeki millî birlik ve mukavemet şuurunu daha da bileyledi. Keza Kongre'ye Doğu Karadeniz il ve kasabalarını temsil etmek üzere 17 delege ile iştirak eden Trabzon'da da Pontus tehlikesi vardı. Bölge Rumları, Mondros Mütarekesi'nden faydalanarak Doğu Karadenız şehirlerini kapsayacak bir Pontus Rum Devleti kurma hayali içindeydiler. Bu bakımdan Doğu Anadolu şehirleri ile tehlike müşterekti
