Rivayete göre Fatih Sultan Mehmet, Trabzon seferine çıktığında yolu Şebinkarahisar’a düşer. Ordu burada konakladığında, civarda yalnız başına koyun güden yaşlı bir adam dikkat çeker. Askerler, şaka niyetine ihtiyardan kendileri için bir koyun kesmesini ister.
İhtiyar hiçbir şey söylemeden koyunları kesmeye başlar…
Ama tuhaf bir şey olur:
Kesilen koyunlara rağmen sürüde hiç eksilme olmaz.
Askerlerin tamamı doyar, kazanlar taşar, fakat koyunların sayısı hep aynı kalır. O an herkes onun sıradan biri değil, bir gönül eri olduğunu anlar. Saygıyla yanından ayrılırlar ve bu keramet kısa sürede çevre köylere yayılır.
Zaman geçer, ihtiyar vefat eder. Mezarı Kelkit Çayı’nın batı yakasında kalır. İnsanlar dertlerine şifa, gönüllerine huzur bulmak için mezarını ziyaret etmeye başlar. Gerçek adı unutulduğu için ona artık “Koyun Baba” denir.
Ancak çayın doğu yakasında yaşayanlar için durum zordur. Azgın sular geçit vermez, türbeye ulaşamazlar. Bu hasret yıllarca sürer.
Derken bir gün bölgede büyük bir heyelan meydana gelir. Ve rivayete göre Koyun Baba’nın türbesi yerinden kayarak tam ırmağın ortasında durur. Küçük bir ada oluşur. Artık adı da değişir:
Koyun Baba gider, Ada Baba gelir.
Bir yıl su türbenin sağından akar, ertesi yıl solundan…
Böylece her iki yakadaki insanlar sırayla türbeye ulaşma imkânı bulur.
Bu ziyaretler uzun yıllar sürer. Ta ki Kılıçkaya Barajı yapılana kadar…
Baraj inşaatı sırasında birkaç kişi aynı rüyayı görür:
Ada Baba onlara şöyle der:
“Beni sulara gömmeyin… Türbem yerinde kalırsa barajı yıkarım.”
Bu rüyalar ciddiye alınır ve türbe taşınmak üzere açılır. Mezarı açanlar, bozulmamış bir bedenle ve yanında kısa ama kalın bir yılanla karşılaşır. Bu durum görenleri derinden etkiler.
Sonunda Ada Baba’nın naaşı, sular altında kalmayacak bir yere taşınır ve yeniden defnedilir.
Ve bugün hâlâ bölgede yaşayanlar, onun adını saygıyla anar:
Koyun Baba… Ada Baba… Sessiz bir keramet sahibi.