community.windows コレクション の現時点で最新の 1.6.0 には、グループやユーザの管理の機能はありますが、それらが所属する Organizational Unit（OU）自体の管理の機能が含まれません。
Ansible で Active Directory の OU そのものの作成や変更・削除を行うには、PowerShell DSC の ActiveDirectoryDsc モジュール に含まれる ADOrganizationalUnit リソース を ansible.windows.win_dsc モジュールで呼び出すことで実現できます。