No início dos anos 50, Frank Sinatra estava acabado – incapaz de conseguir um contrato regular com uma casa noturna, quanto mais com uma gravadora. Seu salvador chegou bem a tempo. Alan Livingsto, vice-presidente de A&R (artist and repertoir) da Capitol Records e fã de Sinatra, o contratou por sete anos em 14 de março de 1953, contrariando o conselho de seus colegas.
O Oscar que Sinatra recebeu, no mesmo ano, por A Um Passo da Eternidade comprovou a clarividência de Livingston. O prêmio também deu ao cantor uma segunda chance, que ele agarrou com unhas e dentes em Songs For Young Lovers e Swing Easy. Ambos são grandes discos, mas viraram um marco por terem apresentado Sinatra – inicialmente, contra sua vontade – a um jovem arranjador chamado Nelson Riddle.
In The Wee Small Hours foi lançado pouco depois de o romance entre Sinatra e Ava Gardner ter terminado, e esse rompimento talvez tenha tornado este o melhor álbum de todos os tempos sobre o tema da separação. O Sinatra do imaginário popular, aquele sujeito meio malandro, sempre com uma piada na ponta da língua, não aparece aqui – ele é um homem, apenas. Os vendedores de discos que costumavam colocar Sinatra na prateleira de easy listening certamente nunca o tinham ouvido cantar as confissões de bêbado de “Can’t We Be Friends?”, e muito menos suplicar como em “What Is This Thing Called Love”, de Cole Porter. E “Mood Indigo”, de Duke Ellington, nunca havia soado tão melancólica.
Riddie enquadra essa amargura toda em arranjos delicados naquele que hoje é considerado o primeiro disco em que a parceria realmente funcionou. Outros se seguiram, embora num novo formato, exótico para a época. Inicialmente lançado em dois discos de 10 polegadas, In The Wee Small Hours foi logo depois reeditado em 12 polegadas, antecipando, sem querer, a era do LP.