أنهي البحث قبل أن أطلب من الذكاء الاصطناعي شيئًا

لماذا لا تكشف إعادة القراءة الخطأ؟

المراجعة مقارنة، والمقارنة تحتاج طرفًا ثانيًا. إذا لم تكن قد ذهبت وأحضرت هذا الطرف الثاني مسبقًا، فلا يبقى أمامك ما تقارن به إلا إحساسك أنت بأن النص يُقرأ جيدًا. وجودة القراءة هي الصفة الوحيدة التي تضمن لك هذه الأنظمة تحقيقها، لأنها الصفة التي بُنيت من أجلها. أي أن الإشارة التي تقرؤها لا تحمل أي معلومة عن صحة العمل.

وهناك من قاس هذا، وعلى الفئة المناسبة تمامًا. أجرى شاكد نوي وويتني تشانغ تجربة عشوائية على 453 مهنيًا جامعيًا ونشراها في مجلة Science: مسوّقون واستشاريون وكتّاب منح ومحللو بيانات وموظفو موارد بشرية ومديرون. 33% ممن أُعطوا ChatGPT قالوا إنهم سلّموا أول مخرج بلا تعديل.

و53% قالوا إنهم عدّلوا، وكان متوسط بقائهم نشطين بعد لصق النص 3.3 دقيقة، وأغلبهم بين صفر ودقيقتين. ولم تكن بين مدة التعديل والدرجة أي علاقة. ومن استخدم ChatGPT لم يحصل على درجة أعلى من مخرج النموذج الخام حين عُرض على المصححين أنفسهم.

المجموعة المجتهدة والمخرج الخام حصلا على الدرجة نفسها.

وحين بُني البحث الذي يقوم عليه نظام الكتابة في هذا الموقع، أُخرج منه 269 ادعاءً وأُرسل إلى مدققين مستقلين بتعليمة واحدة: جد المصدر الأصلي، أو اكتب أنه غير موجود. عاد 70 منها مصحَّحًا أو غير موجود أو من قبيل الشائع الذي لا أصل له. واحد من كل أربعة تقريبًا. النموذج نقل الويب نقلًا أمينًا. وهذه هي المشكلة.

ماذا ينتج البحث قبل التنفيذ؟

مرحلة البحث تنتج ثلاثة أشياء، وليس فيها مستند.

المعيار: ما الذي يُفترض أن يكونه هذا العمل. العمليات والمنهجيات والأطر، وأي منها معيار يمكن أن يُحاسَب عليه أحد فعلًا، وأيها رسم تبيعه شركة استشارات. الاثنان يبدوان متطابقين على شريحة عرض، وليسا الشيء نفسه.

العملية: الترتيب الذي يُصنع به العمل، وهو في الغالب غير الترتيب الذي يُعرض به.

المرجع: حالات بأسمائها، ماذا فعلت، وأي نتيجة تحديدًا تبعت ذلك. هذا هو الجزء الذي يقفز عنه الناس، وهو الذي يخبرك بما تتوقعه وبما لا تتوقعه. بدونه يكون عندك سقف جودة، ولا فكرة لديك هل هذا السقف قابل للوصول من حيث تقف.

اجمع الثلاثة، وستستطيع أن تنظر في مسودة وتسمي أي جزء منها خطأً، ولماذا، وماذا كان ينبغي أن يقول بدله. وهذا هو كل ما تنتجه تلك الساعات.

ما الذي تعطيه للنموذج ولا يستطيع غيرك أن يعطيه؟

هناك مُدخلان لا يصل إليهما النموذج إلا منك أنت، وكلاهما يُسلَّم عن قصد.

الأول أن تأمره أن يسأل. اطلب منه أن يعود إليك بأسئلة توضيحية قبل أن ينتج شيئًا، ثم أجب عنها. كل سؤال يسأله هو افتراض كان سيفترضه بصمت، باسمك، داخل مستند ستضع مصداقيتك أنت خلفه.

والثاني كل ما لم يُنشر قط. تسجيل الاجتماع. ما قاله العميل عن سوقه هو، بكلماته، في غرفة. مقابلة العميل. السبب الحقيقي لإنهاء التعاقد مع الوكالة السابقة، وهو لا يُكتب في بريف أبدًا. كل ما هو منشور موجود أيضًا داخل طلب منافسك. المُدخل الوحيد غير المتماثل الذي تملكه هو الذي لم يضعه أحد على الإنترنت.

ولتجربة مجموعة بوسطن الاستشارية التي يقتبسها الجميع لمكاسب الإنتاجية نصف ثانٍ لا يكاد أحد يقتبسه. أُعطي 373 من مستشاريها حالة عمل واحدة بُنيت بحيث لا تكون الإجابة الصحيحة في الجدول المرتب الذي سُلّم لهم، بل في ملف ملاحظات مقابلات مع أشخاص داخل الشركة. من عمل بلا ذكاء اصطناعي وصل إلى التوصية الصحيحة في 84.5% من الحالات تقريبًا. ومن أُعطي GPT-4 وصل إليها في 70.6%. ومن أُعطي GPT-4 وتدريبًا على كيفية مخاطبته وصل إليها في 60%.

وكانوا جميعًا أسرع: بست دقائق وإحدى عشرة دقيقة إلى الإجابة الخاطئة. والمصححون البشر، وهم لا يعرفون الحل الصحيح، أعطوا التوصيات الخاطئة المصنوعة بالذكاء الاصطناعي درجات أعلى في التماسك والإقناع.

مهمة واحدة، بُنيت عمدًا لهزيمة الذكاء الاصطناعي، ولم يكررها أحد. اقرأها بوصفها عرضًا وليس معدلًا. لكن ما تعرضه هو شكل المشكلة بالضبط: الإجابة كانت في المادة البشرية وحدها، وتحسين المخاطبة زاد الفشل بدل أن ينقصه.

وإذا لم يكن عندك 30 ساعة؟

الساعات هي الجزء الذي يستحق النقاش، والاعتراض عليها يأتي في صورتين.

الصورة الضعيفة أن لا أحد عنده من 10 إلى 30 ساعة لمهمة يدفع العميل مقابل ساعة واحدة منها. هذا قيد حقيقي. وهو أيضًا مشكلة تسعير، ومشاكل التسعير لا تُحل بتغيير الطريقة.

والصورة القوية أفضل، وأسمعها من أناس أحترم عملهم: النموذج يعرف الأطر أصلًا. اطلب منه المعايير داخل الطلب نفسه، تصلك في أربعين ثانية، ثم احكم على المسودة بها. الطرف الثاني نفسه، وبكسر صغير من التكلفة.

أن تطلب من نظام واحد أن يعطيك المعيار ثم ينتج لك العمل مقيسًا عليه هو أن تطلب منه أن يضع الاختبار ويجلس له. إذا كان الإطار مخترعًا، فالفحص مخترع معه، وسيكون مخترعًا على نحو متسق، وهذا أسوأ فشل ممكن: يزيل الخلاف الذي كان تنبيهك الوحيد. رقم الـ43% في ملفي جاء بهذه الصورة بالضبط. شيء أخبرني كيف يبدو الجيد، ثم صححت أنا عليه.

وثمة سبب آخر، تدعمه قياسات، لأن تصل ومعك الطلب كاملًا بدل أن تكتشفه في الطريق. أخذ فيليب لابان وزملاؤه في مايكروسوفت ريسيرش وسيلزفورس ريسيرش تعليمات كاملة المواصفات، وقطّعوها، وأطلقوا قطعة واحدة في كل دور من الحوار، وهذا هو شكل جلسة العمل الحقيقية. عبر ست مهام توليد وخمسة عشر نموذجًا، هبط متوسط الأداء 39% مقارنة بإعطاء التعليمة نفسها كاملة في الدور الأول.

ولم يكن أغلب هذا الهبوط في القدرة. أفضل النتائج لم تتحرك كثيرًا، بينما تضاعفت الفجوة بين أفضل تشغيل للنموذج وأسوئه. أعِد القطع نفسها إلى دور واحد، فيعود 95.1% من الأداء. أي أن الضرر جاء من التقطير، وليس من شيء نُسي.

الوصول إلى الطلب بالتكرار هو الطريق الغالي إليه. والمراجعتان أو الثلاث في النهاية تبقى مفيدة. لكنها مفيدة فوق مواصفة كاملة، وليس بدلًا عنها.

وأقوى ما نُشر ضد كل ما سبق تحليل بَعدي مسجَّل مسبقًا لـ106 تجارب و370 حجم أثر، في مجلة Nature Human Behaviour. في المتوسط، أدّى الإنسان والذكاء الاصطناعي معًا أسوأ من أفضل الاثنين وحده.

اقرأ المعدِّلات قبل أن تستعمل هذا لي أو عليّ. الخسائر كانت في مهام القرار، والمكاسب في مهام الإنتاج. والجمع بينهما ربح حين كان مستوى الإنسان نفسه أعلى من مستوى النموذج، وخسر حين كان أدنى منه. وهذه هي حجتي كلها في جملة كتبها غيري: البحث هو الطريقة التي ترفع بها مستواك فوق مستوى النموذج قبل أن تبدأ.

أما الساعات، فالجواب الصادق أن البحث لا يُنفق على المهمة. يُنفق على المجال. عشرون ساعة في فهم ما يُفترض أن تحتويه خطة تسويق تُدفع مرة واحدة، وكل خطة بعدها تكلّف التنفيذ فقط. اخسر العميل، ويبقى المعيار عندك.

لماذا ينجح هذا في قطاع لم تعمل فيه من قبل؟

الطريقة تنتقل معك إلى قطاع لم تعمل فيه لأن أكثر ما تعطيه لك الخبرة في مجال ما هو معيار مخزَّن ومجموعة حالات مخزَّنة، وهذا تحديدًا هو الجزء الذي كتبه أحد في مكان ما. وما لا تعطيه لك الخبرة هو وضع هذه الشركة بالذات، ولهذا توجد الخطوة الثانية، ولهذا يسبق تسجيل الاجتماع الإطار النظري.

وهنا تحديدًا تتوقف هذه الطريقة عن الصحة. هي لا تعطيك ذوقًا. ولا تعطيك حكمًا على الناس. ولن تخبرك أي التوصيتين المدافَع عنهما سيوافق عليها مجلس بعينه، ولا أي جملة سيسمعها مؤسس على أنها إهانة. وحيث يتوقف العمل على شيء لم ينشره أحد ولم تجلس أنت فيه بنفسك، فهذه الطريقة لا تقدم لك شيئًا، وستنتج لك مستندًا واثقًا عنه على أي حال.

وفي تقديري أن أغلب ما أنتجته بهذه الطريقة يقع ضمن أفضل 1% مما يُنتج في العالم. هذا تقدير، وليس قياسًا، ولا يوجد جدول ترتيب أحيلك إليه. احكم عليه بأن تجرب الطريقة بنفسك.

قد أكون مخطئًا في عدد الساعات. ولست مخطئًا في الترتيب.

وآخر ما يشتريه البحث هو الشيء الذي لا أقايض عليه. حين يسأل أحدهم في الغرفة: لماذا؟ أستطيع أن أسمي المنهجية، والمعيار الذي جاءت منه، والحالات التي تستند إليها، والنتيجة التي حققتها تلك الحالات، والموضع الذي يختلف فيه وضعنا عن وضعها. عملت مع أكثر من 40 قسم تسويق، وذلك الاجتماع له الشكل نفسه دائمًا. المستند يُفحص في عشر دقائق. وكاتب المستند يُفحص بقية الساعة.

المسودة صارت رخيصة. والقدرة على الإجابة عنها لم تكن رخيصة يومًا.