Arafat, Filistin direnişindeki en eski ve büyük örgütlerden biri olan Filistin Ulusal Kurtuluş Hareketi'ni (Fetih) kurdu. Sosyal demokrasi ve seküler Arap milliyetçiliği temelinde bir direniş hareketi olan Fetih, Filistin’in İsrail işgaliyle mücadelesinde etkin rol oynadı.
Filistinlilerin uluslararası camiada temsil edilebilmesi için Arap devletleri tarafından kurulan Filistin Kurtuluş Örgütü'nün (FKÖ) 1969'da liderliğini üstlendi.
Arafat, 1974'te Birleşmiş Milletler (BM) kürsüsünde yaptığı konuşmada şu meşhur sözlerini sarf etti:
"Elimde bir zeytin dalı ile bir özgürlük savaşçısının silahını taşıyorum. Zeytin dalının elimden düşmesine izin vermeyin."