تعلن شركة سلة (Salla) عن توفر وظيفة مهندس خلفية أول للذكاء الاصطناعي – تقييم الوكلاء وجودتهم (Senior AI Backend Engineer – Agent Evaluation & Quality). الموقع المعلن هو مكة المكرمة بالمملكة العربية السعودية، ونظام العمل عن بعد.
نبذة عن الوظيفة
تشغّل سلة أنظمة وكلاء متعددة في بيئة الإنتاج تنجز أعمالًا حقيقية لقاعدة كبيرة من المستخدمين. ومع نمو هذه الأنظمة يصبح أكبر قيد لدينا هو الثقة: نحتاج إلى معرفة مدى جودة أداء الوكلاء، واكتشاف التراجعات قبل إطلاقها، وإبقاء الجودة مستقرة مع كل إصدار. وهذا الدور هو المسؤول عن ذلك.
ستبني أنظمة التقييم التي تقف خلف وكلائنا: الحكّام واختبارات التشغيل والمحاكيات التي تخبرنا هل يعمل الوكيل وأين يفشل. الهدف أن نطلق الوكلاء بسرعة أكبر لأننا نثق بما يقوله التقييم.
التقييم هو محور العمل لكنه ليس حدوده. فبما أنك ستفهم أنماط فشل الوكلاء أكثر من أي شخص آخر، ستتاح لك أيضًا فرص للمساهمة في تطوير الوكلاء أنفسهم، ببنائهم وتحسينهم إلى جانب الأنظمة التي تقيّمهم.
المهام والمسؤوليات
- تملّك منظومة التقييم: تصميم وبناء أنظمة LLM-as-judge ومعايرتها مقابل التقييمات البشرية، وجعل جودة الوكلاء قابلة للقياس لكل وكيل ولكل نمط فشل.
- جعل بوابة الإطلاق حقيقية: بناء أدوات تقييم لكل طلب دمج وكشف للتراجعات مرتبطة بـ CI، ليُفرض مستوى الجودة تلقائيًا لا بالمراجعات اليدوية.
- بناء محاكيات للمستخدمين لتوليد تغطية اختبارية وحالات عدائية قبل أن يواجهها المستخدمون الحقيقيون.
- تحويل إشارات الإنتاج إلى تحسين: إعادة حالات الفشل الحقيقية إلى مجموعات التقييم ليتراكم تحسن النظام مع الوقت.
- الشراكة مع المنتج لتحويل “ما شكل الجيد” إلى معايير ملموسة قابلة للقياس.
- التطور نحو تطوير الوكلاء: المساهمة في بناء الوكلاء وتحصينهم، بدءًا من المكونات التي تعرفها بعمق من تقييمها.
المتطلبات
- أسس قوية في هندسة البرمجيات: Python أو TypeScript (أو ما يماثلهما) في الإنتاج، وتصميم واجهات وأنظمة نظيف، والاختبار وCI/CD. أنت تكتب شيفرة يبني عليها الآخرون، فبنية التقييم هندسة حقيقية.
- خبرة عملية مع النماذج اللغوية الكبيرة والوكلاء: بناء وكلاء وRAG واستدعاء الأدوات والدوال وأطر التنسيق (LangGraph أو LangChain أو ما يماثلها)، وفهم كيف تتصرف وكيف تفشل.
- عقلية قياس: تفكر في المقاييس والمعايرة والتجارب، وتريد قياس ما إذا كان الشيء يعمل لا مجرد إطلاقه.
- خبرة إنتاجية: شغّلت أنظمة نماذج لغوية في الإنتاج وتعاملت مع الموثوقية وزمن الاستجابة والتكلفة وقابلية الرصد.
- خبرة 5 سنوات فأكثر في هندسة البرمجيات، مع عمل عملي حديث على النماذج اللغوية والوكلاء.
ميزات إضافية
- خبرة مباشرة في تقييم أنظمة النماذج اللغوية والوكلاء: التقييم دون اتصال وعبر الإنترنت وLLM-as-judge واختبار التراجع المنهجي.
- أدوات قابلية الرصد (Arize أو LangSmith أو ما يماثلها).
- خبرة في اللغة العربية أو معالجة اللغات الطبيعية.
- خبرة في التجارة الإلكترونية أو المنتجات الموجهة للتجار.
مكان العمل ونوع الدوام
مكة المكرمة، السعودية (الموقع المعلن) – عن بعد.
طريقة التقديم
يتم التقديم عبر صفحة الوظيفة الرسمية على لوحة وظائف سلة:
