دو پاسخ برای یک سؤال دارید. همکار فروش می‌گوید پاسخ کوتاه بهتر است، ادمین از متن توضیحی دفاع می‌کند و هر دو هم مکالمه‌ای را به خاطر دارند که به خرید ختم شده است. مقایسه دو نسخه پاسخ دایرکت قرار است این اختلاف را به پرسشی قابل بررسی تبدیل کند؛ نه اینکه با چند فروش اتفاقی، برای تمام مخاطبان یک نسخه برنده اعلام کنیم.
مسئله فقط نوشتن دو متن نیست. باید بدانید چه کسانی هر متن را دریافت کرده‌اند، فرصت پاسخ دادنشان چقدر بوده و نتیجه دقیقاً چه معنایی دارد. راهنمای حاضر یک روش دستی برای همین کار است: آزمایشی کوچک روی یک موقعیت مشخص، با ثبت منظم و نتیجه‌ای که محدودیت‌هایش دیده می‌شود. این روش به وجود قابلیت داخلی آزمون A/B در ابزار مدیریت شبکه اجتماعی وابسته نیست.
اول اختلاف نظر را به یک سؤال محدود تبدیل کنید
«کدام پاسخ فروش بیشتری می‌آورد؟» معمولاً برای شروع بیش از اندازه گسترده است. خرید به موجودی، قیمت، اعتماد قبلی، روش پرداخت و حتی پاسخ بعدی ادمین بستگی دارد. سؤال کاربردی‌تر این است: «وقتی مخاطب درباره تفاوت دو مدل می‌پرسد، آیا پرسیدن نوع استفاده در ابتدای پاسخ، اطلاعات لازم برای پیشنهاد محصول را بیشتر فراهم می‌کند؟» این سؤال هم موقعیت مشخص دارد و هم نتیجه‌ای نزدیک به خود پیام.
هدف را طوری بنویسید که یک همکار دیگر بتواند وقوعش را تشخیص دهد. «گفت‌وگوی خوب» معیار روشنی نیست؛ «کاربر نوع استفاده خود را مشخص کرده است» روشن‌تر است. در عین حال، پاسخ دادن به هر سؤال لزوماً نشانه علاقه به خرید نیست. اگر پیام شما فقط یک جواب کوتاه و بی‌فایده تولید کند، افزایش تعداد پاسخ‌ها دستاورد تجاری قابل اتکایی نخواهد بود.
پیش از شروع، فرضیه و دلیل آن را کنار هم ثبت کنید: «پرسیدن سؤال کاربرد در ابتدای متن احتمال مشخص شدن نیاز را بیشتر می‌کند، چون مخاطب زودتر می‌فهمد چه اطلاعاتی از او می‌خواهیم.» ممکن است فرضیه رد شود؛ شاید کاربر قبل از جواب دادن نیاز دارد تفاوت مدل‌ها را بداند. آزمایش زمانی ارزش دارد که امکان تغییر نظر تیم را باز بگذارد.
دو متن بسازید که فقط یک تفاوت معنادار داشته باشند
فرض کنید فروشگاهی در یک سناریوی فرضی می‌خواهد جای سؤال را امتحان کند. هر دو متن باید اطلاعات یکسان، لحن یکسان و پیشنهاد یکسان داشته باشند. نسخه اول توضیح را جلو می‌گذارد و نسخه دوم سؤال را. این مقایسه درباره ترتیب پیام است، نه درباره اثر تخفیف، جذابیت تصویر یا اعتبار یک وعده تازه.
دایرکت هوشمند اینستاگرام
پاسخ خودکار به کامنت‌ها و دایرکت‌های اینستاگرام
با دایرکت هوشمند نوین هاب اتوماتیک به کامنت‌ها و دایرکت‌های اینستاگرام پاسخ دهید و بازدید و تعامل پیج خود را چند برابر کنید
نسخه الف، متن فرضی: «سلام. مدل سبک برای جابه‌جایی مداوم مناسب‌تر است و مدل رومیزی امکانات بیشتری برای استفاده ثابت دارد. بیشتر بیرون از خانه استفاده می‌کنید یا پشت میز؟»
نسخه ب، متن فرضی: «سلام. بیشتر بیرون از خانه استفاده می‌کنید یا پشت میز؟ مدل سبک برای جابه‌جایی مداوم مناسب‌تر است و مدل رومیزی امکانات بیشتری برای استفاده ثابت دارد.»
در این مثال مشخصات محصول هم فرضی‌اند و باید در استفاده واقعی با ویژگی‌های تأییدشده جایگزین شوند. اگر نسخه ب علاوه بر جابه‌جایی سؤال، تخفیف اختصاصی و وعده ارسال سریع‌تر داشته باشد، دیگر نمی‌توانید نتیجه را به ترتیب جمله‌ها نسبت دهید. هر تغییری که مسیر تصمیم مخاطب را عوض می‌کند، متغیر تازه‌ای است؛ حتی اگر از نظر نویسنده فقط یک اصلاح کوچک به نظر برسد.
برای هر نسخه یک شناسه ثابت و تاریخ شروع نگه دارید. متن را وسط اجرا بی‌سروصدا ویرایش نکنید. اصلاح غلط تایپی را هم ثبت کنید تا بعداً بدانید مخاطب چه چیزی دیده است. ساخت و نگهداری متن پایه موضوع جداگانه‌ای است که در راهنمای کتابخانه پاسخ‌های آماده برای دایرکت و کامنت توضیح داده شده؛ اینجا مسئله اصلی، سنجیدن اثر یک تغییر مشخص در همان متن است.
چه مکالمه‌ای اجازه ورود به مقایسه دارد؟
مخاطبی که از قبل سفارش ثبت کرده، با کسی که تازه تفاوت مدل‌ها را می‌پرسد یک موقعیت ندارد. پیشاپیش معیار ورود بنویسید: سؤال درباره همان خانواده محصول، در همان مرحله انتخاب، بدون پرونده پشتیبانی باز و بدون دریافت نسخه دیگر در این نوبت آزمایش. شکایت، پیگیری پرداخت و درخواست فوری را وارد مقایسه متن فروش نکنید؛ آن‌ها به پاسخ متناسب با مسئله خودشان نیاز دارند.
واحد شمارش را هم مشخص کنید. برای این آزمایش می‌توان هر حساب مخاطب را فقط یک بار شمرد، نه هر پیام او را. اگر همان فرد دوباره سؤال کرد، همچنان در گروه اولیه می‌ماند. تشخیص اینکه دو حساب متفاوت متعلق به یک نفر هستند ممکن نیست مگر شواهد مجاز و قابل اتکا داشته باشید؛ این محدودیت را بنویسید و برای رفع آن اطلاعات شخصی اضافی جمع نکنید.
مکالمه‌های تیم، حساب‌های آزمایشی و پیام‌های تکراری را با قاعده‌ای که قبل از مشاهده نتایج تعیین شده کنار بگذارید. کنار گذاشتن کسانی که جواب نداده‌اند کار دیگری است: این افراد معمولاً بخشی از نتیجه‌اند و حذفشان نرخ موفقیت را مصنوعی بالا می‌برد. هر خروج از داده باید دلیل قابل بازبینی داشته باشد، نه اینکه نتیجه نسخه محبوب تیم را بهتر کند.
تخصیص را از سلیقه ادمین جدا کنید
برای اجرای دستی، مسئول آزمایش می‌تواند از قبل یک فهرست تصادفی از برچسب‌های الف و ب تهیه کند. ادمین پس از تشخیص واجد شرایط بودن مکالمه، برچسب بعدی را مصرف می‌کند و همان نسخه را می‌فرستد. نباید بعد از دیدن عکس پروفایل، لحن کاربر یا حدس درباره توان خرید، گروه او را انتخاب کند. تصادفی‌سازی ابزار کاهش سوگیری است، نه تضمین یکسان شدن کامل گروه‌ها.
اگر شیفت یا منبع ورود اهمیت زیادی دارد، تخصیص را در همان گروه‌های از پیش تعیین‌شده انجام دهید تا هر دو متن در شرایط مشابه دیده شوند. این منطق با مفهوم کنترل عوامل مزاحم در راهنمای طرح‌های بلوکی تصادفی NIST هم‌راستاست: عامل مورد بررسی را از اثر شرایط جانبی جدا می‌کنیم. اجرای دستی پیشنهادی ما یک دستور آماری آماده برای هر کسب‌وکار نیست و همچنان به کیفیت اجرا وابسته است.
فرستادن الف در روزهای خلوت و ب در روز جشنواره مقایسه منصفانه‌ای ایجاد نمی‌کند. یکی‌درمیان فرستادن هم دقیقاً معادل تصادفی‌سازی نیست؛ ممکن است با الگوی تکراری ورودی‌ها هم‌زمان شود. اگر تنها امکان شما تغییر متن در بازه‌های زمانی است، آن را مقایسه مشاهده‌ای بنامید و اثر ساعت، کمپین و ترکیب مخاطب را از نتیجه حذف‌شده فرض نکنید.
ثبت دستی باید زنجیره اتفاق‌ها را حفظ کند
برای شروع به داشبورد پیچیده نیاز ندارید. یک برگه با دسترسی محدود کافی است، به شرطی که هر ردیف نماینده یک مکالمه واجد شرایط باشد. شناسه داخلی غیرمستقیم، نسخه تخصیص‌یافته، زمان ورود، زمان ارسال، منبع ورود، وضعیت نتیجه و علت انحراف از روش را ثبت کنید. شماره تماس، متن کامل مکالمه و اطلاعات سفارش را بدون نیاز روشن در این برگه کپی نکنید.
فیلدهای پیشنهادی برای ثبت مقایسه دستی
| فیلد | چه چیزی روشن می‌کند؟ | خطای قابل پیشگیری |
|---|---|---|
| نسخه تخصیص‌یافته و نسخه ارسال‌شده | آیا اجرا مطابق طرح بوده است؟ | پنهان شدن ارسال متن اشتباه |
| زمان ارسال و پایان مشاهده | آیا فرصت پاسخ برابر بوده است؟ | مقایسه مخاطب تازه با مکالمه قدیمی |
| نتیجه با تعریف ثابت | آیا نیاز کاربر روشن شده است؟ | شمردن تشکر به جای پاسخ مفید |
| دلیل توقف یا انحراف | کدام رویداد روی نتیجه اثر گذاشته است؟ | نسبت دادن اختلال یا مداخله به متن |
وضعیت «پیام ارسال شد» را با «پیام دیده شد» یا «حتماً تحویل شد» یکی نگیرید. فقط چیزی را ثبت کنید که واقعاً قابل مشاهده است. اگر امکان تأیید تحویل ندارید، خانه داده را با حدس پر نکنید. برای موارد نامشخص یک وضعیت مستقل بگذارید. همین تمایز کوچک مانع می‌شود ضعف زیرساخت یا محدودیت مشاهده را به بی‌علاقگی مخاطب تعبیر کنید.
اگر ادمین متن اشتباه فرستاد، نسخه تخصیص‌یافته را پاک نکنید تا جدول مرتب به نظر برسد. تخصیص و اجرای واقعی را جدا نگه دارید؛ گزارش اصلی می‌تواند نتیجه را بر اساس تخصیص اولیه نشان دهد و انحراف‌ها را نیز آشکار کند. مقایسه فقط افرادی که اجرای بی‌نقص داشته‌اند ممکن است تصویری خوش‌بینانه بسازد، چون علت خطاها همیشه تصادفی نیست.
نقش ابزار پاسخ خودکار کجاست؟
در نوین‌هاب، دایرکت هوشمند برای تعریف پاسخ به پیام‌ها و کامنت‌های مشخص کاربرد دارد. اما وجود پاسخ خودکار به معنای وجود تخصیص تصادفی داخلی، آزمون A/B بومی یا گزارش آماری اختصاصی این آزمایش نیست. تا زمانی که این امکانات را برای حساب و مسیر خود تأیید نکرده‌اید، تخصیص و ثبت مقایسه را یک رویه دستی تیم بدانید.
برای آزمایش ترتیب جمله‌ها، همان پاسخ تک‌پیامی کفایت می‌کند. چند دستور هم‌پوشان نسازید و انتظار نداشته باشید سامانه خودبه‌خود مخاطبان را منصفانه تقسیم کند. اگر در آزمایشی جداگانه چند پاسخ در یک دستور اینستاگرام می‌گذارید، فعال بودن شرط فالو پیش‌نیاز آن است؛ این شرط تضمین تحویل پیام نیست. تغییر تعداد پیام و افزودن شرط فالو نیز تغییر تجربه مخاطب است و نباید پنهانی وارد مقایسه متن شود.
مخرج نرخ را قبل از دیدن عددها انتخاب کنید
نرخ پاسخ مفید می‌تواند برابر باشد با تعداد مکالمه‌هایی که نیاز کاربر در آن‌ها روشن شده، تقسیم بر کل مکالمه‌های واجد شرایط تخصیص‌یافته به هر نسخه. این تعریف، عملکرد مسیر اجرایی را هم در خود دارد. نرخ دیگری می‌تواند فقط دریافت‌کنندگان تأییدشده را بررسی کند، اما آن نرخ سؤال متفاوتی می‌پرسد و اگر تحویل قابل مشاهده نباشد اصلاً قابل محاسبه نیست.
صورت و مخرج باید به یک گروه و یک فرصت مشاهده تعلق داشته باشند. اگر در صورت خریدهای ناشی از دایرکت را می‌شمارید ولی در مخرج تمام بازدیدهای پست را می‌گذارید، دیگر اثر نسخه پاسخ را اندازه نمی‌گیرید. تعداد مخاطبان، تعداد مکالمه‌ها و تعداد سفارش‌ها نیز جای یکدیگر نمی‌نشینند. خرید تکراری یک نفر نباید بی‌توضیح چند موفقیت برای معیار مخاطب بسازد.
در یک مثال کاملاً فرضی، هر نسخه به ۸۰ مکالمه واجد شرایط تخصیص یافته و فرصت مشاهده همه کامل شده است. در گروه الف، نیاز ۲۴ مخاطب روشن شده و در گروه ب این تعداد ۳۰ نفر است. نرخ‌ها به ترتیب ۳۰ درصد و ۳۷٫۵ درصد می‌شوند. اختلاف برابر با ۷٫۵ واحد درصد است؛ افزایش نسبی نسبت به الف، ۲۵ درصد محاسبه می‌شود. این دو عبارت یک معنا ندارند.
همه اعداد مثال بالا فرضی‌اند و هیچ‌کدام نتیجه واقعی نوین‌هاب یا یک مشتری نیستند. اختلاف مشاهده‌شده به تنهایی اثبات نمی‌کند ب بهتر است. در همین مثال فرضی، تفاوت فقط ۶ مکالمه است و ممکن است با نوسان نمونه، تفاوت ورودی‌ها یا اجرای ناهماهنگ مرتبط باشد. گزارش صادقانه هم تعداد خام را نشان می‌دهد و هم نرخ را، نه فقط درصدی که بزرگ‌تر به نظر می‌رسد.
نامشخص و در انتظار را موفق یا ناموفق جا نزنید
پاسخ ندادن پس از پایان فرصت از پیش تعیین‌شده با ناتمام بودن فرصت مشاهده فرق دارد. مخاطبی که تازه پیام گرفته نباید کنار کسی قرار گیرد که زمان کافی داشته است. پیش از شروع، یک فاصله مشاهده متناسب با چرخه تصمیم خود انتخاب کنید و برای هر دو نسخه یکسان نگه دارید. این فاصله مربوط به تحلیل است، نه مجوزی برای ارسال پیام پیگیری در هر زمان.
اگر داده بخشی از مکالمه‌ها گم شده، تعداد موارد نامشخص را مستقل اعلام کنید. حذف کامل آن‌ها ممکن است نتیجه را منحرف کند، به‌ویژه اگر سهمشان در دو گروه متفاوت باشد. می‌توانید حساسیت تصمیم را بررسی کنید: آیا اگر موارد نامشخص به نفع نسخه دیگر تمام شوند، انتخاب تیم عوض می‌شود؟ اگر پاسخ مثبت است، هنوز داده کافی برای تصمیم قاطع ندارید.
چیزهایی که ظاهراً اثر متن هستند
تأخیر پاسخ یکی از مهم‌ترین عوامل مزاحم است. اگر الف با فاصله زیاد و ب سریع فرستاده شود، شاید مخاطب به سرعت واکنش نشان داده باشد، نه به جمله‌بندی. زمان پاسخ را ثبت کنید و روش رسیدگی را ثابت نگه دارید. تعریف سطح خدمت را می‌توانید با راهنمای SLA پاسخ‌گویی در شبکه‌های اجتماعی هماهنگ کنید؛ معیار آن راهنما جای نتیجه آزمایش متن را نمی‌گیرد.
منبع ورود هم مهم است. کسی که پس از دیدن آموزش مفصل پیام می‌دهد احتمالاً با کسی که از یک محتوای سرگرم‌کننده رسیده، اطلاعات اولیه مشابهی ندارد. قبل از تحلیل، سهم منابع اصلی را در دو گروه ببینید. بعد از مشاهده نتیجه، ده‌ها زیرگروه کوچک نسازید تا بالاخره جایی نسخه مورد علاقه برنده شود؛ چنین جست‌وجویی بیشتر فرضیه تازه می‌سازد تا پاسخ قابل اتکا.
رفتار بعدی ادمین ممکن است مقایسه را به هم بزند. اگر همکاران برای نسخه ب توضیح تکمیلی بیشتری بفرستند یا سریع‌تر پیگیری کنند، نتیجه متعلق به یک بسته متفاوت از خدمات خواهد بود. برای ادامه گفت‌وگو یک قاعده مشترک بنویسید، اما پاسخ ضروری به نیاز واقعی کاربر را قربانی آزمایش نکنید. مداخله لازم را انجام دهید و آن را در برگه ثبت کنید.
تغییر قیمت، پایان موجودی، مشکل پرداخت یا اختلال گسترده می‌تواند شرایط را از اساس عوض کند. در چنین وضعی آزمایش را صرفاً برای رسیدن به عدد هدف ادامه ندهید. دوره متاثر را علامت بزنید و درباره توقف یا شروع دوباره تصمیم بگیرید. ترکیب داده قبل و بعد از تغییر جدی، بدون توضیح، ممکن است برتری ظاهری بسازد که هیچ ارتباطی با متن ندارد.
عدد بیشتر، الزاماً پاسخ بهتر نیست
کنار معیار اصلی، نشانه‌های آسیب یا هزینه را هم ببینید: درخواست توضیح دوباره، اعتراض به لحن، برداشت اشتباه از ویژگی محصول و زمان انسانی لازم برای رفع ابهام. ممکن است متن سؤال‌محور پاسخ بیشتری بگیرد ولی مخاطب را به انتخاب عجولانه سوق دهد. نسخه‌ای که فقط عدد پاسخ را بالا می‌برد، بدون اینکه انتخاب روشن‌تری ایجاد کند، لزوماً ارزش جایگزینی ندارد.
برای بازبینی کیفی، مجموعه‌ای از مکالمه‌های موفق، بی‌پاسخ و دارای ابهام را با قاعده یکسان از هر دو گروه انتخاب کنید. از همکار بازبین بخواهید طبق تعریف ثابت، روشن شدن نیاز را تشخیص دهد. در صورت امکان نام نسخه را هنگام ارزیابی پنهان کنید. اختلاف نظر بازبین‌ها علامت مهمی است: شاید قبل از مقایسه متن، باید تعریف نتیجه را دقیق‌تر کنید.
یک گزارش کوتاه قابل استفاده می‌تواند چنین باشد: «در این مقایسه فرضی، نسخه ب بیشتر به روشن شدن کاربرد رسید، اما سهم ورودی آموزشی در آن بالاتر بود و موارد نامشخص هم وجود داشت. شواهد فعلی برای نسبت دادن اختلاف به ترتیب سؤال کافی نیست. مرحله بعد، تکرار مقایسه با تخصیص درون هر منبع است.» این گزارش ضعیف نیست؛ دقیقاً می‌گوید چه می‌دانیم و چه چیزی هنوز روشن نشده است.
چه زمانی متوقف کنیم و بعد چه تصمیمی بگیریم؟
پیش از اجرا مشخص کنید پایان بررسی به چه زمانی یا چه حجم از ورودی واجد شرایط وابسته است و چه اتفاقی توقف فوری را لازم می‌کند. برای حجم نمونه یک عدد جادویی مشترک وجود ندارد؛ نرخ پایه، اندازه تفاوت مورد انتظار و دقت تصمیم اهمیت دارند. اگر قرار است از نتیجه برای سرمایه‌گذاری بزرگ استفاده کنید، طراحی حجم نمونه و تحلیل عدم قطعیت را به فرد متخصص بسپارید.
هر روز به نتایج نگاه کردن برای کنترل خطا مفید است، اما توقف درست در لحظه‌ای که نسخه دلخواه جلو می‌افتد می‌تواند برداشت را منحرف کند. پایش ایمنی را از اعلام برنده جدا نگه دارید. اگر پیام موجب برداشت نادرست درباره محصول یا نارضایتی می‌شود، متوقفش کنید؛ لازم نیست برای محافظت از مخاطب منتظر پایان برنامه بمانید. چنین توقفی باید با دلیل ثبت شود.
وقتی تفاوت روشن نیست، مجبور به انتخاب برنده نیستید. می‌توانید متن ساده‌تر و کم‌هزینه‌تر را موقتاً نگه دارید، آزمایش را با سؤال دقیق‌تر تکرار کنید یا نتیجه بگیرید تغییر مورد بررسی ارزش تمرکز بیشتری ندارد. وقتی یک نسخه امیدوارکننده است، ابتدا همان موقعیت و همان دامنه مخاطب را پوشش دهید. نتیجه مربوط به پرسش انتخاب مدل، مجوز تعمیم به شکایت، قیمت‌گیری و پیگیری سفارش نیست.
هزینه تصمیم اشتباه را هم در انتخاب بعدی لحاظ کنید. جابه‌جایی یک سؤال در پاسخ معمولی با تغییر ادعای ضمانت یا شرایط خرید هم‌ریسک نیست. برای تغییر کم‌خطر، می‌توان نسخه امیدوارکننده را با بازبینی نزدیک و امکان بازگشت به کار گرفت؛ برای تصمیم حساس، شواهد محدود را کافی ندانید. امکان برگشت نیز باید واقعی باشد: متن قبلی، مسئول اصلاح و محل‌هایی که نسخه جدید استفاده می‌شود مشخص باشند.
همچنین موفقیت کوتاه‌مدت را با نتیجه پایدار اشتباه نگیرید. ممکن است سؤال تازه توجه مخاطب را جلب کند، اما اطلاعاتی که می‌دهد برای پیشنهاد محصول کافی نباشد. در بازبینی بعدی، بررسی کنید آیا پاسخ اولیه واقعاً پرسش تکراری را کم کرده یا فقط آن را به مرحله بعد منتقل کرده است. این بررسی تکمیلی می‌تواند فرضیه آزمایش بعدی شود؛ نباید بعد از پایان، بی‌توضیح جای معیار اصلی قبلی بنشیند.
پس از تصمیم، شناسه نسخه پذیرفته‌شده، دلیل انتخاب و شرایط بازبینی را در کتابخانه پاسخ ثبت کنید. متن کنارگذاشته‌شده را برای جلوگیری از استفاده اشتباه از مسیر روزمره خارج کنید، ولی سابقه آزمایش را نگه دارید. در گزارش مدیریتی هم نتیجه را دقیق بنویسید: بیشتر شدن پاسخ یا کلیک، به‌تنهایی نشان نمی‌دهد فروش بیشتر شده است. همان شاخصی را گزارش کنید که برای این آزمایش سنجیده‌اید.
به جای برنده‌سازی، یک تصمیم قابل دفاع بسازید
مقایسه دو نسخه پاسخ دایرکت زمانی مفید است که سؤال محدود، تخصیص روشن، مخرج ثابت و فرصت مشاهده برابر داشته باشد. یک متن را تغییر دهید، اجرای واقعی را ثبت کنید و نتیجه را همراه با موارد نامشخص و عوامل مزاحم بخوانید. ارزش آزمایش کوچک در قطعیت نمایشی نیست؛ در این است که انتخاب بعدی تیم کمتر به حافظه، سلیقه و چند مکالمه استثنایی وابسته باشد.
