Отсчет истории Малой Южной принято вести с 8 ноября 1940 года – с того дня, когда дорога открылась для пассажиров. Однако истоки харьковской детской железной дороги следует искать за несколько лет до этого события.
6 сентября 1935 года по инициативе Павла Постышева в Харькове открылся первый в Советском Союзе Дворец пионеров. Открыт он был в здании, до революции использующегося как дом Дворянского собрания, а после революции – как здание Верховного Совета УССР. После перевода столицы УССР из Харькова в Киев здание было решено отдать детям.
Внутренние помещения были значительно реконструированы. Именно в этом здании впервые в Харькове появились автоматические двери. Для безопасности детей все комнаты имели закруглённые углы.
Количество и качество секций и кружков поражало воображение. Во Дворце открылся первый в стране клуб исследователей Арктики, члены которого совершили экспедицию за Северный Полярный круг, клуб помощников пожарных, оборонный кружок, клуб авиамоделистов, юных техников, юных физиков, литературный и физкультурный кружок, театральная студия. Конечно же, была комната Ленина и Сталина.
Среди многочисленных кружков Дворца видное место занимала железнодорожная лаборатория, находившаяся на высочайшем техническом уровне. Лаборатория имела макет электрифицированной железной дороги, включавший в себя две станции, называвшиеся «Пионерская» и «Жовтеня» («Октябренок»), действующую сигнализацию и даже телефонную связь. При помощи этого макета ребята учились основам организации движения поездов, выполняли работу диспетчера и дежурного по станции, изучали сигнализацию и связь. Кружковцы даже носили железнодорожную форму!
Помимо «игрового» железнодорожного кружка, при лаборатории действовала секция железнодорожного моделизма, члены которой изготавливали действующие модели в масштабе 1:30. Спустя три года после открытия Дворца – в 1938 году, одна из моделей – паровоз серии «Ис» – побывала на Всемирной выставке в Париже.
В том же 1935 году в Тбилиси была открыта первая в СССР (и в мире) детская железная дорога. О ней писали газеты. Во многих школах и домах пионеров демонстрировался видеосюжет об этой дороге. В разных городах страны пионеры и комсомольцы выступали с предложением построить детские дороги.
В мае 1936 года был создан Комитет содействия строительству детских железных дорог СССР под председательством будущего академика Виктора Николаевича Образцова, в те годы – профессора Московского института инженеров железнодорожного транспорта. Тогда же в Москве состоялся съезд пионеров из 12 городов СССР, на котором обсуждалось строительство детских железных дорог.
В результате в 1936 году в стране были построены еще 4 детских железных дороги – в Гомеле, Днепропетровске, Донецке и Красноярске.
Хотя в 1936 году в стране было только пять действующих железных дорог, заместителем председателя Комитета Содействия строительству детских железных дорог А. И. Волковым была написана книга под громким названием «25 детских железных дорог СССР». Информация в этой книге была, мягко говоря, неточной. Описывались строящиеся детские железные дороги в местах, где их никогда, ни в 1936 году, ни после, не было – например, в селе Бабчинец Винницкой области, в городах Пятигорск, Краматорск, Кировабад, в неуказанном населенном пункте Одесской области и др.
Харьковской же дороге, реально проектирующейся и впоследствии построенной, было посвящено всего 4 слова: «имеются решения местных организаций».
Несмотря на принятое в 1936 году решение о постройке ДЖД в Харькове, реально дорогу начали строить только в 1939 году. Что послужило причиной такой задержки – нам неизвестно. Хотя, возможно, это было и к лучшему – за три года был накоплен немалый опыт постройки детских дорог (в 1939 году их число работающих дорог выросло до десяти). Было решено отказаться от идеи, что проектировать и строить дороги должны сами дети, не имеющие ни специальных знаний, ни опыта. Например, в Днепропетровске при проектировании трассы ДЖД неправильно была выбрана высота двух тоннелей, из-за чего впоследствии приходилось укорачивать трубы паровозов, кроме того, радиусы кривых были слишком малыми для эксплуатировавшихся в то время двухосных вагонов, из-за чего нередко случались сходы подвижного состава с рельсов.
На стадии проектирования было предложено несколько вариантов постройки трассы ДЖД. Один из них предполагал строительство дороги в парке им. Шевченко. В этом случае длина ДЖД составляла бы не более 1 км. В другом проекте предлагалось построить ДЖД вокруг стадиона Дворца пионеров по ул. Динамовской. Согласно этому проекту ДЖД должна была бы быть кольцевой. Существовали и другие предложения, до наших дней не дошедшие. В конце концов было принято решение о постройке ДЖД между Центральным парком им. Горького и Лесопарком – загородной (в то время) зоной отдыха.