Avoir affaire ou avoir à faire ?

L'expression avoir affaire est la forme la plus courante et doit être employée dans des compositions telles que :

Il a eu affaire à plus fort que lui
Elle ne se rend pas compte à qui elle a affaire
Vous aurez affaire à moi
J'ai affaire avec Un tel
Avoir affaire à forte partie...

Avoir à faire s'emploie dans des compositions telles que :

J'ai à faire ma lessive
Vous aurez à faire un long voyage
J'ai à faire une visite...

On notera que pour ces compositions à faire est toujours suivi d'un complément d'objet direct et par ailleurs que l'inversion des termes est possible :

J'ai ma lessive à faire
Vous aurez un long voyage à faire
J'ai une visite à faire...

Au contraire, dans : il a eu affaire à forte partie, même si l'on remplace affaire par à faire, il est impossible d'opérer l'inversion, sous peine d'obtenir une phrase absurde.

De même, on remarquera que la formulation avoir affaire se construit soit avec la préposition à, soit avec la préposition avec, ce qui n'est pas le cas de la formulation avoir à faire.

(Source : Le français écorché, coll. « Le français retrouvé », Éditions Belin,
et Dictionnaire d'orthographe et expression écrite, coll. « Les usuels »,
Éditions Le Robert)