Освоившись на новом месте, Алчевский решил организовать кредитное учреждение нового типа, призванное осуществлять краткосрочные финансовые операции, удовлетворяющие сиюминутные нужды торгового и промышленного люда. Собрав группу единомышленников, он написал устав будущего общества и в 1866 г. получил разрешение на открытие в Харькове одного из первых в стране Обществ взаимного кредита. На его основе спустя полтора года родился Харьковский торговый банк – второй в Российской империи банк коммерческого кредита. Характерной чертой этого учреждения был выдвинутый Алчевским новый принцип – банк строился на акционерных началах, освобождающих его клиентов от взаимного ручательства и ответственности за убытки, – эта ответственность переносилась на акционерный капитал. Некоторые исследователи отдают Алчевскому приоритет «первооткрывателя» подобных учреждений, поскольку его банк впервые был создан на частной основе, а не при содействии казны.

Почти одновременно, в 1869–1870 гг., по проекту устава, написанному Алчевским, в Харькове было учреждено Второе общество взаимного кредита, предназначавшееся для финансирования бизнеса мелких торговцев и промышленников. В управлении делами этих учреждений Алексей Кириллович долгие годы принимал не только активнейшее участие, но и занимал главенствующее положение.

И так 30-летний купец 1-й гильдии стал банкиром. Эту перемену рода деятельности Алексея Кирилловича современники объясняли тем, что он совершенно не походил на «классического купца». По своей натуре и взглядам на жизнь Алчевский больше напоминал европейского бизнесмена. Кроме того, накопление богатства не составляло смысл его существования. Деньги были нужны ему, чтобы созидать что-то новое, интересное ему лично и полезное для родной земли и людей, ее населяющих.

Именно по этой причине Алчевский задумал следующее грандиозное дело, способное принести существенную пользу обществу. Молодой банкир обратил внимание на то, что за 10 лет после отмены крепостного права местные землевладельцы стали влачить жалкое существование. Они не имели возможности закладывать принадлежащие им имения на нормальных условиях. Ростовщики, которых в то время в стране развелось предостаточно, брали с любого кредита немыслимые 15–20 % годовых. Этому беспределу нужно было положить конец, и сделал это Алексей Кириллович.

В первых числах сентября 1871 г. А. К. Алчевский открыл в Харькове Земельный банк, учредителями которого стали профессор-экономист И. В. Вернадский, землевладелец А. Ф. Бантыш, купец 1-й гильдии Ф. И. Добрынин и другие состоятельные люди города и губернии. Земельный стал первым и некоторое время единственным в тогдашней России банком ипотечного кредита – он ссужал деньги под залог земли, а также сельской или городской недвижимости. Основной его особенностью была долгосрочность кредита. Кроме того, закладное имущество оставалось в руках должника, который, уплачивая проценты или погашая долг, продолжал эксплуатировать это имущество.

Земельный банк нанес сокрушительный удар по ростовщикам, выдавая кредиты всего лишь под 7,5 % годовых, «считая в том числе и амортизацию долга». Поэтому и потянулись за помощью в Харьков многие тысячи земледельцев не только Слобожанщины и Войска Донского, но и Курской, Черниговской и других губерний Российской империи. Примеру Алчевского вскоре последовали другие финансисты – через полтора года после открытия этого банка в стране возникло 11 таких же финансовых учреждений. Алексей Кириллович стал видным банковским авторитетом, с которым часто общались министры финансов тех лет – Н. X. Бунге, И. А. Вышнеградский, С. Ю. Витте…