見出し、ボタンの言葉、フォームの項目の数、メールの件名などを 1 か所だけ変えた 2 つの案を用意し、同じ期間に半分ずつ出して比べます。2 か所以上を同時に変えると、どちらの違いが効いたのか分かりません。
比べるには、ある程度の数が要ります。訪問やメールの数が少ないと、たまたまの差と見分けがつきません。少人数の会社では、A/B テストより先に、明らかにおかしい所（何の会社か分からない最初の画面、使わない必須の項目など）を直す方が先です。当社が MA の機能を見比べたときも、LP の作成と A/B テストはあとに回しました。
比べる前に、何の数字で決めるか（クリックの数、問い合わせの数など）と、いつまで比べるかを決めておきます。途中で数字を見て止めると、たまたまの差で決めてしまいます。