Området Harlem ligger på, var faktisk indtil midten af 1800-tallet en lille by for rige farmere. Jorden blev dog groft udnyttet, og byen gik i forfald. Først kom jøderne til, siden italienere og finner, men det var først i starten af 1900-tallet at de sorte kom til Harlem. På det tidspunkt var huspriserne faldet kratigt, og udlejerne kunne ikke finde nok lejere blandt den hvide del af befolkningene. Fra 1920 til 1930 flyttede næsten 90.000 tusinde sorte til Harlem, mens over 100.000 hvide flygtede fra bydelen. Men jobbene til de sorte forsvandt sammen med de hvide, da en stor del af de sorte arbejdede i underholdningsindustrien, der var afhængig af rige hvide, eller også forsvandt jobbene til andre etniske grupper.

Fra 1910-1990'erne blev der faktisk ikke foretaget investeringer i bygningerne i Harlem, men alligevel var priserne ofte højere i Harlem end andre steder i New York. Dette skyldes, at udlejere ikke ville leje ud til sorte i de andre dele af byen, samt at den sorte del af befolkningen voksede. Dette førte til, at der i 1920'erne boede ca. 80.000 mennesker pr. kvadratkilometer i Harlem, mens der i 2000 kun boede ca. 30.000 pr. kvardratkilometer på Manhatten. Bygningerne gik i forfald, og til sidst kunne de ikke udlejes. I 1960 var kun ca. halvdelen af husene i Harlem i fornuftig stand og op gennem det tyvende århundrede blev flere og flere huse forladt. Det manglende arbejde og den høje husleje førte til kriminalitet, og mordraterne var mange gange højere i Harlem end på resten af Manhatten.

Op genne 1990'erne begyndt man en gennemgribende byforbedring. Der var efterhånden styr på resten af Manhatten, og med borgmester Rudy Giuliani i spidsen, gik arbejdet igang. Man bekæmpede kriminaliteten og prøvede at få 125th til at blive den forretningsgade, den tidligere havde været. Der blev udført mange forbedringer og huspriserne steg over 300% op gennem 90'erne. Det gav sig også udslag i kriminalitet, der faldte kraftigt. Antallet af røverier faldte fra 6500 i 1981 til 1700 i 2000. Mellem 93 og 04 faldte mordraten med 68%, voldtæg med 70%, røveri med 60% og indbrud med 81%. I dag betragtes Harlem som relativt sikkert, men det anbefales stadig at man bruger sin sunde fornuft.

Men Harlem er også kendt for mere og andet end fattigdom og kriminalitet. Harlems gospel, jazz og hip-hop er verdenskendt. Det anbefales at man bruger en søndag, og tager til Harlem på gospeltur. Der er mange selskaber der har specialiseret sig i at arrangere gospelture, se fx. Harlemspirituals.com. . Et af de mest kendte gospelkor fra Harlem er Harlem Boys Choir, der har optrådt for Pave Johannes Paul 2., Mandela og 150.000 andre hvert ' år. Harlem er også kendt for at have en stærk hip-hop kultur, og bydelen har forstret mange stjerner, den mest kendte er nok P. Diddy.