Родился 13 ноября 1954 года в городе Вольск Саратовской области.

Имеет два высших образования: в 1984 году окончил Ульяновский политехнический институт (ныне – университет) по специальности «инженер-электрик», в 2003 году окончил Финансовую академию при Правительстве Российской Федерации по специальности «экономист».

С 1973 по 1975 год служил в рядах советской Армии на космодроме «Байконур».

С 1976 по 1977 год — электромонтер саратовского КБ «Электроприбор»; с 1977 по 1979 год — электромонтер ульяновского завода «Искра»; с 1979-го по 1990-й прошел трудовой путь от электромонтера до главного энергетика завода крупнопанельного домостроения.

С 1988 года — секретарь парткома домостроительного комбината; с 1990 по 1991 год — заведующий отделом Ульяновского обкома КПСС, депутат Ульяновского Горсовета; с 1992 по 1996 год — заместитель главы администрации Ульяновской области.

С 1996 по 2001 год — председатель Законодательного собрания Ульяновской области, член Совета Федерации Федерального Собрания Российской Федерации, заместитель председателя Комитета Совета Федерации по науке, культуре, образованию, здравоохранению и экологии, председатель временной комиссии Совета Федерации по молодежной политике.

C 2001 года — аудитор Счетной палаты Российской Федерации (18 июля 2012 года назначен на должность аудитора Счетной палаты на третий срок Советом Федерации Федерального Собрания Российской Федерации по представлению Президента Российской Федерации).

С 20 сентября 2013 года - член Совета Федерации Федерального Собрания Российской Федерации, Председатель Комитета Совета Федерации по бюджету и финансовым рынкам (представитель Законодательного собрания Ульяновской области). 

20 сентября 2018 года снова наделен полномочиями сенатора, занимает должность первого заместителя председателя Комитета Совета Федерации по бюджету и финансовым рынкам.

Награжден медалями «В память 850-летия Москвы» и «В память 300-летия Санкт-Петербурга», а также орденами: Почета, Дружбы, а заслуги перед Отечеством (4 степени), святого благоверного князя Даниила Московского (3 степени).

Почетный гражданин Ульяновска, Ульяновской области и города Мурома (Владимирская область).

Член партии «Единая Россия».

В феврале 2022 года вошел в попечительский совет Ульяновского института гражданской авиации имени Главного маршала авиации Б.П. Бугаева.

Входит в региональный политический совет «Единой России».

Автор двух монографий: «Аудит эффективности государственных ресурсов» и «Федеральные целевые программы развития регионов».

Женат, имеет двоих дочерей.

С 2013 года Сергея Рябухин занимался проблемой дезактивации Соловьева оврага в Ульяновске.

3 октября 2018 года депутатский мандат Сергея Рябухина, оказавшийся вакантным после делегирования того в Совет Федерации, перешел к председателю молодежного правительства Ульяновской области, советнику губернатора по вопросам молодежной политики Марии Рогаткиной.