खेलों में शानदार उपलब्धियां हासिल करने के बावजूद पान सिंह का जीवन आसान नहीं रहा. 1970 के दशक में गांव में जमीन के विवाद ने हालात बदल दिए. परिजनों पर लगातार दबाव और अन्याय सहने के बाद वे व्यवस्था से निराश हो गए.
1977 में हालात इतने बिगड़े कि उन्होंने हथियार उठा लिए और बीहड़ के डकैतों में शामिल हो गए. यहीं से एक गोल्ड मेडलिस्ट एथलीट का नाम "बागी पान सिंह तोमर" के रूप में कुख्यात हो गया.