Det er avgrenset i nord av Saudi-Arabia, i vest av Rødehavet, i sør av Adenbukta og Arabiahavet, og i øst og nordøst av Oman. Selv om Sanaa er Jemens offisielt erklærte hovedstad, har byen vært under opprørers kontroll siden februar 2015. Som et resultat er Jemens hovedstad midlertidig flyttet til Aden, en havneby på landets sørkyst. Jemens territorium består av rundt 200 øyer, hvorav den største er Socotra.
Jemen var hjemmet til sabaerne (bibelsk Sheba), en handelsstat som varte over tusen år og sannsynligvis omfattet deler av dagens Etiopia og Eritrea. Området ble styrt av det senere jødisk-påvirkede Himyarit-riket i 275 e.Kr. Kristendommen kom i det fjerde århundre, da jødedommen og lokal hedenskap allerede hadde etablert seg. På det syvende århundre ekspanderte islam raskt, og jemenittiske soldater spilte en viktig rolle i de tidlige islamske erobringene. Jemens administrasjon har lenge vært notorisk tøff.
Fra det niende til det sekstende århundre oppsto mange dynastier, med Rasulid-dynastiet som det mektigste og mest velstående. På begynnelsen av det tjuende århundre ble nasjonen delt mellom de osmanske og britiske imperiene. Før dannelsen av Den arabiske republikk i Jemen i 1962 ble Zaydi Mutawakkilite-riket Yemen grunnlagt i Nord-Jemen etter første verdenskrig. Frem til 1967 var Sør-Jemen et britisk protektorat kjent som Aden-protektoratet. I 1990 slo de to jemenittiske statene seg sammen for å skape det nåværende landet Jemen.
Jemen er en utviklingsnasjon og Midtøstens fattigste land. Jemen ble karakterisert som et kleptokrati under president Ali Abdullah Salehs regjeringstid. Jemen rangerte 164 av 182 nasjoner som ble spurt i Transparency Internationals 2009 International Corruption Perception Index. I mangel av sterke statlige institusjoner, dannet Jemens elitepolitikk en de facto type samarbeidende styring, der motstridende stamme-, regionale, religiøse og politiske interesser ble enige om å holde hverandre i sjakk via stilltiende aksept av balansen den genererte. En maktdelingsavtale mellom tre menn holdt det uformelle politiske oppgjøret sammen: president Ali Abdullah Saleh, som kontrollerte staten; Generalmajor Ali Mohsen al-Ahmar, som kontrollerte flertallet av republikken Jemens væpnede styrker; og Abdullah ibn Husayn al-Ahmar, figurhode for det islamistiske Islah-partiet og Saudi-Arabias utvalgte megler av transnasjonale patronagebetalinger. De saudiske midlene ble gjort for å fremme stammenes uavhengighet fra den jemenittiske regjeringen og for å gi den saudiske regjeringen et redskap for å veie inn i Jemens politiske beslutninger.
Jemen har vært i en politisk krise siden 2011, og begynte med offentlige demonstrasjoner om fattigdom, arbeidsledighet og korrupsjon, samt president Salehs intensjon om å endre Jemens grunnlov og fjerne grensen for presidentperioden, og dermed gjøre ham til president på livstid. President Saleh trakk seg, og embetet ble overført til visepresident Abd Rabbuh Mansur Hadi, som offisielt ble valgt til president ved et enmannsvalg 21. februar 2012. Konflikter mellom houthiene og al-Islah, samt al-Qaida opprør, hemmet overgangsprosessen.
Houthiene tok over Sana'a i september 2014, og satte seg deretter til å ha ansvaret for regjeringen i et kupp. Siden den gang har en Saudi-ledet intervensjon funnet sted, men den har ikke klart å få slutt på den sivile konflikten.