Город Мерефа находится в 25 км от Харькова на реке Мерефа в месте впадения её в реку Мжа (левый приток). На территории города в реку Мерефа впадает река Ржавчик (левый приток). Выше по течению реки Мерефа примыкает город Южный.
Выше по течению реки Мжа примыкает пгт Утковка. На противоположном берегу реки Мжа находится посёлок Селекционное. На расстоянии в 1 км от города расположено село Нижняя Озеряна. К городу примыкает несколько лесных массивов (дуб), в том числе лес Большой Бор.