İlçe Gümüşhane ilinin güneyine düşer. Doğusunda Köse ilçesi, Kuzeyinde Gümüşhane ili, Batısında Şiran ilçesi ve Güneyinde Erzincan ili ile çevrilidir. Yüzölçümü 1610 km² olup, denizden yüksekliği 1412 m dir. Yüzey şekilleri itibariyle genel olarak dağlık ve engebeli bir arazi yapısına sahiptir. Kelkit Çayı vadisinde Özlüce Vadisi, Kelkit ile Köse arasında Koşmasat Vadisi bulunmaktadır. İlçenin zirvelerini Kuzeyde 2507 m. İle Tersun Dağı, güneyde ise 2716 m. yükseklikteki Akdağ ile güney batısındaki 2746 m. yükseklikte olan Çimen dağları oluşturmaktadır. İlçeyi kuzeyden ve güneyden kuşatan sıradağlar genel olarak kütlevi bir görünüme sahiptir. Bu durum, yörenin kuzeyden Gümüşhane, güneyde ise Erzincan ile olan ulaşım bağlantılarını güçleştirdiği için ilçenin tek seçeneği olan karayolları, Ünlüpınar ve Pöske Dağı geçitlerini takip etmek zorunda kalmıştır.
İlçenin en önemli akarsuyu olan Kelkit Çayı üç büyük derenin Kelkit ilçesi yakınında birleşmesi ile oluşur. Bunlar, Kelkit’in güney akıntısı olan Dayısı ve Balahor dereleri ile Kelkit Çayı’nın Doğu uzantısı olan Koşmasat deresidir. Toplam uzunluğu 320 km. olup, 27 km. kadarı İlçe içerisinde kalmaktadır. Kelkit Çayı Yeşilırmağı besleyen en büyük koludur.
