Традиционно считается афроамериканским деловым и культурным центром города. Несмотря на близость от небоскребов Манхэттена, в Гарлеме в основном трех-шестиэтажные дома. Преобладающий здесь архитектурный стиль, как и во многих местах Нью-Йорка, напоминает голландские, английские и прочие европейские традиции. Дома в этом стиле попадаются в основном на улицах, не загруженных транспортом. В Гарлеме можно встретить и образцы викторианской архитектуры.