Mudou-se para o Recife em 1950, e foi para a Rádio Tamandaré. De lá, logo foi convidado, com a ajuda de Sivuca (acordeonista conhecido), para integrar a Rádio Jornal do Commercio, onde José Neto já estava. Formaram o trio O Mundo Pegando Fogo e, segundo Hermeto, ele e seu irmão estavam apenas começando a tocar acordeão, ou seja, eles só tocavam o acordeão de 8 baixos até então.



Porém, por não querer tocar pandeiro e sim acordeão, foi mandado para a Rádio Difusora de Caruaru, como refugo, pelo diretor da Rádio Jornal do Commercio, o qual disse-lhe que "não dava para a música". Ficou nessa rádio em torno de três anos. Quando Sivuca passou por lá, fez muitos elogios sobre o Hermeto ao diretor dessa rádio, o Luís Torres, e Hermeto, por conta disso, logo voltou para a Rádio Jornal do Commercio, em Pernambuco, ganhando o que havia pedido, a convite da mesma pessoa que o tinha mandado embora. Ali, em 1954, casou-se com Ilza da Silva, com quem viveu 46 anos e teve seis filhos: Jorge, Fabio, Flávia, Fátima, Fabiula e Flávio. Foi nessa época também que descobriu o piano, a partir de um convite do guitarrista Heraldo do Monte, para tocar na Boate Delfim Verde. Dali, foi para João Pessoa, onde ficou quase um ano tocando na Orquestra Tabajara, do maestro Gomes.



Em 1958, mudou-se para o Rio de Janeiro para tocar acordeão no Regional de Pernambuco do Pandeiro (na Rádio Mauá) e, em seguida,piano no conjunto e na boate do violinista Fafá Lemos e, em seguida, no conjunto do Maestro Copinha (flautista e saxofonista), no Hotel.

Atraído pelo mercado de trabalho, transferiu-se para São Paulo em 1961. Depois de um tempo, formou, juntamente com Papudinho no trompete, Edilson na bateria e Azeitona no baixo, o grupo Som Quatro . Foi aí que começou a tocar flauta. Com esse grupo gravou um LP. Em seguida, integrou o Sambrasa Trio, com Cleiber no baixo e Airto Moreira na bateria. No disco do Sambrasa Trio, Hermeto já registrou sua canção Coalhada.

​
Com o florescimento dos programas musicais de TV, criaram o Quarteto Novo, em 1966, sendo Hermeto no piano e flauta, Heraldo do Monte na viola e guitarra, Théo de Barros no baixo eviolão e Airto Moreira na bateria e percussão. O grupo inovou com sua sonoridade refinada e riqueza harmônica, participando dos melhores festivais de música e programas da TV Record, representando o melhor da música brasileira. Nessa época, venceram um dos festivais com Ponteio, de Edu Lobo. Além disso, Hermeto ganhou várias vezes como arranjador. No ano seguinte gravou o LP Quarteto Novo, pela Odeon, onde registrou suas composições O Ovo e Canto Geral.

​

Em 1969, a convite de Flora Purim e Airto Moreira, viajou para os Estados Unidos e gravou com eles dois LP, atuando como compositor, arranjador e instrumentista. Nessa época, conheceu Miles Davis e gravou com ele duas músicas suas: Nem Um Talvez e Igrejinha. De volta ao Brasil, em 1973 gravou o LP A Música Livre de Hermeto Pascoal, com seu primeiro grupo:

Mazinho - sax alto, sax tenor
Hamleto - sax tenor e flauta
Alberto - contrabaixo
Nenê - bateria e piano
Anunciaçao - percussao e bateria
Bola - sax tenor e flauta

Em 1976 retornou aos Estados Unidos, gravou o Slaves Mass e realizou mais alguns trabalhos com Airto e Flora Em 1977 cria um grupo fixo e coeso numa sólida formação com os músicos:

Nenê (Realcino Lima Filho) - bateria
Cacau de Queiroz - saxes e flautas
Itiberê Zwarg - baixo
Jovino Santos Neto - teclados
Pernambuco - percussão
Rose Marie Pidner- vocal

Começam um trabalho sério que culminou nos albuns "Trindade" ( 1977) e " Zabumbé-bum-a" (1978).