Hay grabadoras como la Zoom que recomendaban más arriba que te pueden servir como todo-en-uno: para grabar ensayos o instrumentos, no solo eléctricos, y como tarjeta de audio conectándola por USB al ordenador, e incluso como multipistas autónomo.
Y programas de música con grabación multipista y MIDI hay a cholón, muchos con versiones gratuitas, que para empezar tienes de sobra. Hasta el ProTools lo tienes gratis. Ahora bien, creo que es mejor empezar por lo más sencillo (pocos cacharros, pocas pistas, pocos efectos...) y cuando lo tengas dominado pasar al siguiente nivel. Demasiadas opciones pueden agobiar a un primerizo.
O sea: persevera.