Thema war schon dutzende Male hier im Forum ;-)
Prüfe, ob alle benötigten Abhängigkeiten auch für x86 auf Deinem System sind, zB die VSTO Runtime Packages.
Wenn Du keine plattformspezifischen Komponenten benötigst, kannst Du aber auch problemlos mit AnyCPU arbeiten.
PS: sei Dir bewusst, dass VSTO in der Form nicht mehr weiter entwickelt wird und die ganz klare Empfehlung für Office Addins die
JavaScript API ist.