تتحول المنظمات إلى التعلم الآلي بسبب عائد الاستثمار. الأشخاص الذين يقومون بذلك في الوقت الفعلي يتصدرون المخططات.
تشير التقارير إلى أن المنظمات التي تطبق التعلم الآلي في الوقت الفعلي تشهد زيادة في عائد الاستثماربقلم ماركو أليكساندر / شاترستوك
بعد التحدث إلى مهندسي التعلم الآلي والبنية التحتية في شركات الإنترنت الكبرى في جميع أنحاء الولايات المتحدة وأوروبا والصين ، ظهرت مجموعتان من الشركات. استثمرت إحدى المجموعات مئات الملايين من الدولارات في البنية التحتية للسماح بالتعلم الآلي في الوقت الفعلي وشهدت بالفعل عوائد على استثماراتها. لا تزال المجموعة الأخرى تتساءل عما إذا كانت هناك قيمة في التعلم الآلي في الوقت الفعلي.
لا يبدو أن حقيقة أن الإبلاغ عن عائد الاستثمار طريقة جيدة لجذب الانتباه قد ضاعت على Chip Huyen . Huyen هو كاتب وعالم كمبيوتر يعمل في البنية التحتية للتعلم الآلي في الوقت الفعلي. هي التي كتبت المقدمة أعلاه لنتائجها حول التعلم الآلي في الوقت الفعلي من أجل بلورة التجربة المتزايدة التي تراكمت لديها هي وزملاؤها.
عملت Huyen مع أمثال Netflix و Nvidia و Primer و Snorkel AI قبل تأسيس شركتها الناشئة (الخفية). تخرجت من جامعة ستانفورد ، حيث تقوم أيضًا بتدريس تصميم أنظمة التعلم الآلي وكانت من أفضل الأصوات على LinkedIn في عامي 2019 و 2020.
بعبارة أخرى ، يتمتع Huyen بمكانة جيدة للإبلاغ عما وصفه زميله المساهم في Mulkhas توني باير بأنه "هدف بعيد المنال لأنظمة التشغيل والتحليلات" في توقعاته لعام 2022 لبياناته : توحيد البيانات المتحركة (المتدفقة) مع البيانات في حالة الراحة (البيانات الموجودة في قاعدة بيانات أو بحيرة بيانات). الهدف النهائي من القيام بذلك هو تحقيق نوع عائد الاستثمار الذي يقدمه Huyen للتقارير.
تنبؤات التعلم الآلي وتحديثات النظام في الوقت الفعلي
يشير تحليل Huyen إلى نماذج وأنظمة التعلم الآلي في الوقت الفعلي على مستويين. المستوى 1 عبارة عن تنبؤات عبر الإنترنت: أنظمة ML التي تقوم بعمل تنبؤات في الوقت الفعلي ، والتي تحدد الوقت الفعلي ليكون في حدود ميلي ثانية إلى ثانية. المستوى 2 هو التعلم المستمر: أنظمة ML التي تدمج البيانات الجديدة ويتم تحديثها في الوقت الفعلي ، والتي تحدد الوقت الحقيقي ليكون بترتيب الدقائق.
إن جوهر سبب أهمية أنظمة المستوى 1 ، كما يقول Huyen ، "بغض النظر عن مدى جودة نماذج ML الخاصة بك ، إذا استغرقت أجزاء من الثانية فقط وقتًا طويلاً للتنبؤات ، فإن المستخدمين سينقرون على شيء آخر". كما أوضحت ، فإن "عدم الحل" للتنبؤات السريعة هو جعلها مجمعة في وضع عدم الاتصال ، وتخزينها ، وسحبها عند الحاجة.
يمكن أن يعمل هذا عندما تكون مساحة الإدخال محدودة - فأنت تعرف بالضبط عدد المدخلات الممكنة لعمل تنبؤات. أحد الأمثلة هو عندما تحتاج إلى إنشاء توصيات أفلام للمستخدمين - فأنت تعرف بالضبط عدد المستخدمين الموجودين. لذا فأنت تتوقع مجموعة من التوصيات لكل مستخدم بشكل دوري ، مثل كل بضع ساعات.
لجعل مساحة إدخال المستخدم محدودة ، فإن العديد من التطبيقات تجعل المستخدمين يختارون من بين الفئات بدلاً من إدخال استعلامات مفتوحة ، يلاحظ Huyen. ثم تشرع بعد ذلك في عرض أمثلة عن كيف يمكن لهذا النهج أن يؤدي إلى نتائج يمكن أن تضر بتجربة المستخدم ، من أمثال TripAdvisor و Netflix.
على الرغم من اقترانه بإحكام بمشاركة / احتفاظ المستخدم ، إلا أن هذا ليس فشلاً ذريعًا. قد تكون النتائج السيئة كارثية في مجالات أخرى ، مثل المركبات المستقلة للكشف عن الاحتيال. يتيح التبديل من تنبؤات الدُفعات إلى التنبؤات عبر الإنترنت استخدام الميزات الديناميكية لعمل تنبؤات أكثر صلة.
تحتاج أنظمة ML إلى مكونين لتتمكن من القيام بذلك ، كما يشير Huyen. إنهم بحاجة إلى استدلال سريع ، أي نماذج يمكنها عمل تنبؤات بترتيب أجزاء من الألف من الثانية. كما يحتاجون أيضًا إلى خطوط أنابيب في الوقت الفعلي ، أي خطوط أنابيب يمكنها معالجة البيانات وإدخالها في النماذج وإرجاع التنبؤ في الوقت الفعلي.
لتحقيق استدلال أسرع ، يضيف Huyen ، يمكن جعل النماذج أسرع ، أو يمكن تصغيرها ، أو يمكن جعل الأجهزة أسرع. التركيز على رقائق الاستدلال و TinyML و AI التي غطيناها في هذا العمود يتوافق تمامًا مع هذا ، وبطبيعة الحال ، هذه الأساليب ليست متبادلة أيضًا.
شرع Huyen أيضًا في تحليل أساسيات وأطر العمل المتدفقة ، وهو الأمر الذي شهد أيضًا تغطية واسعة لهذا العمود منذ وقت مبكر . تقوم العديد من الشركات بالتبديل من المعالجة المجمعة إلى المعالجة المتدفقة ، من الهندسة المبنية على الطلب إلى الهندسة المعتمدة على الأحداث ، وهذا مرتبط بشعبية أطر عمل مثل Apache Kafka و Apache Flink . يلاحظ Huyen أن هذا التغيير لا يزال بطيئًا في الولايات المتحدة ولكنه أسرع بكثير في الصين.
ومع ذلك ، هناك العديد من الأسباب التي تجعل البث ليس أكثر شيوعًا. لا ترى الشركات الفوائد ؛ هناك تحول عقلي واستثمار أولي كبير في البنية التحتية المطلوبة ، وتكلفة المعالجة أعلى ، وهذه الأطر ليست أصلية في Python ، على الرغم من الجهود المبذولة لسد الفجوة عبر Apache Beam .
يفضل Huyen مصطلح "التعلم المستمر" بدلاً من "التدريب عبر الإنترنت" أو "التعلم عبر الإنترنت" لأنظمة التعلم الآلي القائمة على النماذج التي يتم تحديثها في الوقت الفعلي. عندما يسمع الناس التدريب عبر الإنترنت أو التعلم عبر الإنترنت ، فإنهم يعتقدون أن النموذج يجب أن يتعلم من كل نقطة بيانات واردة.
عدد قليل جدًا من الشركات تفعل ذلك لأن هذه الطريقة تعاني من النسيان الكارثي - تنسى الشبكات العصبية فجأة المعلومات التي تم تعلمها سابقًا عند تعلم معلومات جديدة. بالإضافة إلى ذلك ، قد يكون تشغيل خطوة تعلم على نقطة بيانات واحدة فقط أكثر تكلفة من تشغيلها على دفعة.
أجرت Huyen التحليل أعلاه في ديسمبر 2020. وفي يناير 2022 ، أعادت النظر في الموضوع . في حين أن رأيها هو أننا ما زلنا على بعد بضع سنوات من التبني السائد للتعلم المستمر ، فإنها ترى استثمارات كبيرة من الشركات للتحرك نحو الاستدلال عبر الإنترنت. إنها ترسم رسمًا تخطيطيًا للتقدم التطوري نحو التنبؤ عبر الإنترنت.
المرحلة 1 هي توقع الدُفعة. في هذه المرحلة ، يتم حساب جميع التوقعات مسبقًا على دفعات ، ويتم إنشاؤها في فترة زمنية معينة ، على سبيل المثال كل 4 ساعات أو كل يوم. حالات الاستخدام النموذجية للتنبؤ بالدُفعات هي توصيات قائمة على المحتوى للترشيح التعاوني. من أمثلة الشركات التي تستخدم التنبؤ بالدُفعات توصيات مطعم DoorDash أو توصيات subreddit الخاصة بـ Reddit أو توصيات Netflix حوالي عام 2021.
يشير Huyen إلى أن Netflix تنقل حاليًا تنبؤات التعلم الآلي الخاصة بها عبر الإنترنت. وتضيف أن جزءًا من السبب هو أنه بالنسبة للمستخدمين الجدد أو الذين لم يسجلوا الدخول ، لا توجد توصيات محسوبة مسبقًا ومخصصة لهم. بحلول الوقت الذي يتم فيه إنشاء الدفعة التالية من التوصيات ، ربما يكون هؤلاء الزوار قد غادروا بالفعل دون إجراء عملية شراء لأنهم لم يعثروا على أي شيء ذي صلة بهم.
ينسب Huyen غلبة توقع الدُفعات إلى أنظمة الدُفعات القديمة مثل Hadoop. مكّنت هذه الأنظمة من المعالجة الدورية لكميات كبيرة من البيانات بكفاءة عالية ، لذلك عندما بدأت الشركات في التعلم الآلي ، استفادت من أنظمة الدفعات الحالية لعمل تنبؤات.
المرحلة 2 هي التنبؤ عبر الإنترنت مع ميزات الدُفعات. الميزات في التعلم الآلي هي خصائص أو خصائص فردية قابلة للقياس لظاهرة تستخدم لبناء نموذج. ميزات الدُفعات هي ميزات مستخرجة من البيانات التاريخية ، غالبًا باستخدام معالجة مجمعة ، وتسمى أيضًا الميزات الثابتة أو الميزات التاريخية.
بدلاً من إنشاء تنبؤات قبل وصول الطلبات ، تقوم المؤسسات في هذه المرحلة بإنشاء تنبؤات بعد وصول الطلبات. يقومون بجمع أنشطة المستخدمين على تطبيقاتهم في الوقت الفعلي. ومع ذلك ، يتم استخدام هذه الأحداث فقط للبحث عن حفلات الزفاف المحسوبة مسبقًا لإنشاء حفلات الزفاف في الجلسة.
يشير Huyen هنا إلى حفلات الزفاف في التعلم الآلي . يمكن اعتبار الزخارف وسيلة لتمثيل المتجهات ، وهو ما تعمل معه نماذج التعلم الآلي لتمثيل المعلومات المتعلقة بالعالم الحقيقي.
الشيء المهم الذي يجب تذكره حول أنظمة المرحلة 2 هو أنها تستخدم البيانات الواردة من إجراءات المستخدم للبحث عن المعلومات في حفلات الزفاف المحسوبة مسبقًا. لم يتم تحديث نماذج التعلم الآلي نفسها ؛ إنها فقط تحقق نتائج في الوقت الفعلي.
بعد التحدث إلى مهندسي التعلم الآلي والبنية التحتية في شركات الإنترنت الكبرى في جميع أنحاء الولايات المتحدة وأوروبا والصين ، ظهرت مجموعتان من الشركات. استثمرت إحدى المجموعات مئات الملايين من الدولارات في البنية التحتية للسماح بالتعلم الآلي في الوقت الفعلي وشهدت بالفعل عوائد على استثماراتها. لا تزال المجموعة الأخرى تتساءل عما إذا كانت هناك قيمة في التعلم الآلي في الوقت الفعلي.
لا يبدو أن حقيقة أن الإبلاغ عن عائد الاستثمار طريقة جيدة لجذب الانتباه قد ضاعت على Chip Huyen . Huyen هو كاتب وعالم كمبيوتر يعمل في البنية التحتية للتعلم الآلي في الوقت الفعلي. هي التي كتبت المقدمة أعلاه لنتائجها حول التعلم الآلي في الوقت الفعلي من أجل بلورة التجربة المتزايدة التي تراكمت لديها هي وزملاؤها.
عملت Huyen مع أمثال Netflix و Nvidia و Primer و Snorkel AI قبل تأسيس شركتها الناشئة (الخفية). تخرجت من جامعة ستانفورد ، حيث تقوم أيضًا بتدريس تصميم أنظمة التعلم الآلي وكانت من أفضل الأصوات على LinkedIn في عامي 2019 و 2020.
بعبارة أخرى ، يتمتع Huyen بمكانة جيدة للإبلاغ عما وصفه زميله المساهم في Mulkhas توني باير بأنه "هدف بعيد المنال لأنظمة التشغيل والتحليلات" في توقعاته لعام 2022 لبياناته : توحيد البيانات المتحركة (المتدفقة) مع البيانات في حالة الراحة (البيانات الموجودة في قاعدة بيانات أو بحيرة بيانات). الهدف النهائي من القيام بذلك هو تحقيق نوع عائد الاستثمار الذي يقدمه Huyen للتقارير.
تنبؤات التعلم الآلي وتحديثات النظام في الوقت الفعلي
يشير تحليل Huyen إلى نماذج وأنظمة التعلم الآلي في الوقت الفعلي على مستويين. المستوى 1 عبارة عن تنبؤات عبر الإنترنت: أنظمة ML التي تقوم بعمل تنبؤات في الوقت الفعلي ، والتي تحدد الوقت الفعلي ليكون في حدود ميلي ثانية إلى ثانية. المستوى 2 هو التعلم المستمر: أنظمة ML التي تدمج البيانات الجديدة ويتم تحديثها في الوقت الفعلي ، والتي تحدد الوقت الحقيقي ليكون بترتيب الدقائق.
إن جوهر سبب أهمية أنظمة المستوى 1 ، كما يقول Huyen ، "بغض النظر عن مدى جودة نماذج ML الخاصة بك ، إذا استغرقت أجزاء من الثانية فقط وقتًا طويلاً للتنبؤات ، فإن المستخدمين سينقرون على شيء آخر". كما أوضحت ، فإن "عدم الحل" للتنبؤات السريعة هو جعلها مجمعة في وضع عدم الاتصال ، وتخزينها ، وسحبها عند الحاجة.
يمكن أن يعمل هذا عندما تكون مساحة الإدخال محدودة - فأنت تعرف بالضبط عدد المدخلات الممكنة لعمل تنبؤات. أحد الأمثلة هو عندما تحتاج إلى إنشاء توصيات أفلام للمستخدمين - فأنت تعرف بالضبط عدد المستخدمين الموجودين. لذا فأنت تتوقع مجموعة من التوصيات لكل مستخدم بشكل دوري ، مثل كل بضع ساعات.
لجعل مساحة إدخال المستخدم محدودة ، فإن العديد من التطبيقات تجعل المستخدمين يختارون من بين الفئات بدلاً من إدخال استعلامات مفتوحة ، يلاحظ Huyen. ثم تشرع بعد ذلك في عرض أمثلة عن كيف يمكن لهذا النهج أن يؤدي إلى نتائج يمكن أن تضر بتجربة المستخدم ، من أمثال TripAdvisor و Netflix.
على الرغم من اقترانه بإحكام بمشاركة / احتفاظ المستخدم ، إلا أن هذا ليس فشلاً ذريعًا. قد تكون النتائج السيئة كارثية في مجالات أخرى ، مثل المركبات المستقلة للكشف عن الاحتيال. يتيح التبديل من تنبؤات الدُفعات إلى التنبؤات عبر الإنترنت استخدام الميزات الديناميكية لعمل تنبؤات أكثر صلة.
تحتاج أنظمة ML إلى مكونين لتتمكن من القيام بذلك ، كما يشير Huyen. إنهم بحاجة إلى استدلال سريع ، أي نماذج يمكنها عمل تنبؤات بترتيب أجزاء من الألف من الثانية. كما يحتاجون أيضًا إلى خطوط أنابيب في الوقت الفعلي ، أي خطوط أنابيب يمكنها معالجة البيانات وإدخالها في النماذج وإرجاع التنبؤ في الوقت الفعلي.
لتحقيق استدلال أسرع ، يضيف Huyen ، يمكن جعل النماذج أسرع ، أو يمكن تصغيرها ، أو يمكن جعل الأجهزة أسرع. التركيز على رقائق الاستدلال و TinyML و AI التي غطيناها في هذا العمود يتوافق تمامًا مع هذا ، وبطبيعة الحال ، هذه الأساليب ليست متبادلة أيضًا.
شرع Huyen أيضًا في تحليل أساسيات وأطر العمل المتدفقة ، وهو الأمر الذي شهد أيضًا تغطية واسعة لهذا العمود منذ وقت مبكر . تقوم العديد من الشركات بالتبديل من المعالجة المجمعة إلى المعالجة المتدفقة ، من الهندسة المبنية على الطلب إلى الهندسة المعتمدة على الأحداث ، وهذا مرتبط بشعبية أطر عمل مثل Apache Kafka و Apache Flink . يلاحظ Huyen أن هذا التغيير لا يزال بطيئًا في الولايات المتحدة ولكنه أسرع بكثير في الصين.
ومع ذلك ، هناك العديد من الأسباب التي تجعل البث ليس أكثر شيوعًا. لا ترى الشركات الفوائد ؛ هناك تحول عقلي واستثمار أولي كبير في البنية التحتية المطلوبة ، وتكلفة المعالجة أعلى ، وهذه الأطر ليست أصلية في Python ، على الرغم من الجهود المبذولة لسد الفجوة عبر Apache Beam .
يفضل Huyen مصطلح "التعلم المستمر" بدلاً من "التدريب عبر الإنترنت" أو "التعلم عبر الإنترنت" لأنظمة التعلم الآلي القائمة على النماذج التي يتم تحديثها في الوقت الفعلي. عندما يسمع الناس التدريب عبر الإنترنت أو التعلم عبر الإنترنت ، فإنهم يعتقدون أن النموذج يجب أن يتعلم من كل نقطة بيانات واردة.
عدد قليل جدًا من الشركات تفعل ذلك لأن هذه الطريقة تعاني من النسيان الكارثي - تنسى الشبكات العصبية فجأة المعلومات التي تم تعلمها سابقًا عند تعلم معلومات جديدة. بالإضافة إلى ذلك ، قد يكون تشغيل خطوة تعلم على نقطة بيانات واحدة فقط أكثر تكلفة من تشغيلها على دفعة.
أجرت Huyen التحليل أعلاه في ديسمبر 2020. وفي يناير 2022 ، أعادت النظر في الموضوع . في حين أن رأيها هو أننا ما زلنا على بعد بضع سنوات من التبني السائد للتعلم المستمر ، فإنها ترى استثمارات كبيرة من الشركات للتحرك نحو الاستدلال عبر الإنترنت. إنها ترسم رسمًا تخطيطيًا للتقدم التطوري نحو التنبؤ عبر الإنترنت.
نحو التنبؤ عبر الإنترنت
المرحلة 1 هي توقع الدُفعة. في هذه المرحلة ، يتم حساب جميع التوقعات مسبقًا على دفعات ، ويتم إنشاؤها في فترة زمنية معينة ، على سبيل المثال كل 4 ساعات أو كل يوم. حالات الاستخدام النموذجية للتنبؤ بالدُفعات هي توصيات قائمة على المحتوى للترشيح التعاوني. من أمثلة الشركات التي تستخدم التنبؤ بالدُفعات توصيات مطعم DoorDash أو توصيات subreddit الخاصة بـ Reddit أو توصيات Netflix حوالي عام 2021.
يشير Huyen إلى أن Netflix تنقل حاليًا تنبؤات التعلم الآلي الخاصة بها عبر الإنترنت. وتضيف أن جزءًا من السبب هو أنه بالنسبة للمستخدمين الجدد أو الذين لم يسجلوا الدخول ، لا توجد توصيات محسوبة مسبقًا ومخصصة لهم. بحلول الوقت الذي يتم فيه إنشاء الدفعة التالية من التوصيات ، ربما يكون هؤلاء الزوار قد غادروا بالفعل دون إجراء عملية شراء لأنهم لم يعثروا على أي شيء ذي صلة بهم.
ينسب Huyen غلبة توقع الدُفعات إلى أنظمة الدُفعات القديمة مثل Hadoop. مكّنت هذه الأنظمة من المعالجة الدورية لكميات كبيرة من البيانات بكفاءة عالية ، لذلك عندما بدأت الشركات في التعلم الآلي ، استفادت من أنظمة الدفعات الحالية لعمل تنبؤات.
المرحلة 2 هي التنبؤ عبر الإنترنت مع ميزات الدُفعات. الميزات في التعلم الآلي هي خصائص أو خصائص فردية قابلة للقياس لظاهرة تستخدم لبناء نموذج. ميزات الدُفعات هي ميزات مستخرجة من البيانات التاريخية ، غالبًا باستخدام معالجة مجمعة ، وتسمى أيضًا الميزات الثابتة أو الميزات التاريخية.
بدلاً من إنشاء تنبؤات قبل وصول الطلبات ، تقوم المؤسسات في هذه المرحلة بإنشاء تنبؤات بعد وصول الطلبات. يقومون بجمع أنشطة المستخدمين على تطبيقاتهم في الوقت الفعلي. ومع ذلك ، يتم استخدام هذه الأحداث فقط للبحث عن حفلات الزفاف المحسوبة مسبقًا لإنشاء حفلات الزفاف في الجلسة.
يشير Huyen هنا إلى حفلات الزفاف في التعلم الآلي . يمكن اعتبار الزخارف وسيلة لتمثيل المتجهات ، وهو ما تعمل معه نماذج التعلم الآلي لتمثيل المعلومات المتعلقة بالعالم الحقيقي.
الشيء المهم الذي يجب تذكره حول أنظمة المرحلة 2 هو أنها تستخدم البيانات الواردة من إجراءات المستخدم للبحث عن المعلومات في حفلات الزفاف المحسوبة مسبقًا. لم يتم تحديث نماذج التعلم الآلي نفسها ؛ إنها فقط تحقق نتائج في الوقت الفعلي.
هندسة نظام التعلم الآلي للتنبؤ عبر الإنترن
تتشيب هوين
تتشيب هوين
الهدف من التنبؤات المستندة إلى الجلسة وفقًا لـ Huyen ، هو زيادة التحويل (على سبيل المثال ، تحويل الزوار لأول مرة إلى مستخدمين جدد أو معدلات النقر إلى الظهور) والاستبقاء. تتزايد قائمة الشركات التي تقوم بالفعل بالاستدلال عبر الإنترنت أو لديها استدلال عبر الإنترنت على خرائط طريق 2022 ، بما في ذلك Netflix و YouTube و Roblox و Coveo وما إلى ذلك.
تلاحظ Huyen أن كل شركة انتقلت إلى استنتاج عبر الإنترنت تحدثت معها أخبرتها أنها سعيدة جدًا بمقاييسها تفوز. وتتوقع أنه في العامين المقبلين ، ستكون معظم أنظمة التوصية قائمة على الجلسات: كل نقرة ، كل مشاهدة ، كل معاملة ستُستخدم لإنشاء توصيات جديدة ذات صلة في الوقت الفعلي تقريبًا.
ستحتاج المنظمات إلى تحديث نماذجها من التنبؤ بالدفعة إلى التنبؤات المستندة إلى الجلسة لهذه المرحلة. هذا يعني أنهم قد يحتاجون إلى إضافة نماذج جديدة. ستحتاج المنظمات أيضًا إلى دمج بيانات الجلسة في خدمة التنبؤ الخاصة بهم. يكتب Huyen أن هذا يمكن القيام به عادةً بالبنية التحتية المتدفقة ، والتي تتكون من مكونين.
الجزء الأول هو النقل المتدفق ، مثل Kafka أو AWS Kinesis أو GCP Dataflow ، لنقل بيانات التدفق (أنشطة المستخدمين). الجزء الثاني هو محرك حساب التدفق ، مثل Flink SQL أو KSQL أو Spark Streaming ، لمعالجة تدفق البيانات.
يعتقد الكثير من الناس أن التنبؤ عبر الإنترنت أقل كفاءة ، من حيث التكلفة والأداء ، من التنبؤ بالدُفعات لأن معالجة التنبؤات دفعة واحدة أكثر كفاءة من معالجة التنبؤات واحدة تلو الأخرى. يعتقد Huyen أن هذا ليس صحيحًا بالضرورة.
جزء من السبب هو أنه ليست هناك حاجة لإنشاء تنبؤات للمستخدمين الذين لا يزورون موقعًا بالتنبؤ عبر الإنترنت. إذا قام 2٪ فقط من إجمالي المستخدمين بتسجيل الدخول يوميًا ، وتم إنشاء تنبؤات لكل مستخدم يوميًا ، فسيتم إهدار الحساب المستخدم لإنشاء 98٪ من هذه التوقعات. ستكون تحديات هذه المرحلة في استنتاج الكمون ، وإنشاء البنية التحتية للبث المباشر ووجود حفلات زفاف عالية الجودة.
التنبؤ عبر الإنترنت مع ميزات الدفق المعقدة والدُفعات
المرحلة 3 في مقياس Huyen التطوري هي تنبؤ عبر الإنترنت بميزات دفق معقدة ودُفعات. ميزات البث هي ميزات مستخرجة من تدفق البيانات ، غالبًا مع معالجة الدفق ، وتسمى أيضًا الميزات الديناميكية أو الميزات عبر الإنترنت.
إذا كانت الشركات في المرحلة 2 تتطلب بعض معالجة البث ، فإن الشركات في المرحلة 3 تستخدم الكثير من ميزات البث. على سبيل المثال ، بعد قيام المستخدم بترتيب Doordash ، قد يحتاج إلى ميزات الدُفعات وميزات البث لتقدير وقت التسليم.
قد تتضمن ميزات الدُفعات متوسط وقت التحضير لهذا المطعم في الماضي ، بينما قد تتضمن ميزات البث في هذه اللحظة عدد الطلبات الأخرى التي لديهم وعدد الأشخاص المتاحين للتسليم.
في حالة التوصية المستندة إلى الجلسة التي تمت مناقشتها في المرحلة 2 ، بدلاً من مجرد استخدام عمليات دمج العناصر لإنشاء تضمين الجلسة ، قم بتدفق ميزات مثل مقدار الوقت الذي يقضيه المستخدم على الموقع أو عدد عمليات الشراء التي قام بها عنصر ما في يمكن استخدام آخر 24 ساعة.
تتضمن أمثلة الشركات في هذه المرحلة ، Stripe و Uber و Faire لحالات الاستخدام مثل اكتشاف الاحتيال وتسجيل الائتمان وتقدير القيادة والتسليم والتوصيات.
يمكن أن يكون عدد ميزات البث لكل توقع بالمئات ، إن لم يكن الآلاف. يمكن أن يتطلب منطق استخراج معلم الدفق استعلامات معقدة مع ربط وتجميع على طول أبعاد مختلفة. لاستخراج هذه الميزات يتطلب محركات معالجة تدفق فعالة.
هناك بعض المتطلبات المهمة لنقل سير عمل التعلم الآلي إلى هذه المرحلة ، وفقًا لـ Huyen. الأول هو بنية تحتية متدفقة ناضجة مع محرك معالجة تدفق فعال يمكنه حساب جميع ميزات البث بزمن انتقال مقبول. والثاني هو متجر ميزات لإدارة الميزات الفعلية وضمان اتساق ميزات البث أثناء التدريب والتنبؤ.
الثالث هو متجر نموذجي. ميزة البث ، بعد إنشائها ، تحتاج إلى التحقق من صحتها. للتأكد من أن الميزة الجديدة تساعد بالفعل في أداء نموذجك ، فأنت تريد إضافتها إلى نموذج ، مما يؤدي بكفاءة إلى إنشاء نموذج جديد ، كما يقول Huyen. من الناحية المثالية ، يجب أن يساعد متجر النماذج في إدارة وتقييم النماذج التي تم إنشاؤها باستخدام ميزات دفق جديدة ، لكن متاجر النماذج التي تقيم أيضًا النماذج غير موجودة حتى الآن ، كما تلاحظ.
أخيرًا وليس آخرًا ، بيئة تنمية أفضل. يعمل علماء البيانات حاليًا على البيانات التاريخية حتى عند إنشاء ميزات دفق ، مما يجعل من الصعب التوصل إلى ميزات دفق جديدة والتحقق من صحتها.
يسأل Huyen ماذا لو تمكنا من منح علماء البيانات وصولًا مباشرًا إلى تدفقات البيانات حتى يتمكنوا من تجربة ميزات الدفق الجديدة والتحقق من صحتها بسرعة. بدلاً من وصول علماء البيانات إلى البيانات التاريخية فقط ، ماذا لو كان بإمكانهم أيضًا الوصول إلى تدفقات البيانات الواردة من دفاترهم المحمولة؟
يبدو أن هذا ممكن في الواقع اليوم ، على سبيل المثال ، مع تكامل دفتر الملاحظات Flink و Kafka . على الرغم من أننا لسنا متأكدين مما إذا كان هؤلاء يلتقون بما يتصوره Huyen ، فمن المهم أن نرى الصورة الكبيرة هنا.
إنه موضوع معقد ، وتحدد Huyen مسارًا بناءً على تجربتها مع بعض المنظمات الأكثر تقدمًا من الناحية التكنولوجية. ولم نتطرق حتى إلى المستوى 2 - أنظمة التعلم الآلي التي تتضمن بيانات جديدة وتحديثها في الوقت الفعلي.
ومع ذلك ، لتصل إلى دائرة كاملة ، إذا كانت تجربة Huyen هي أي شيء يمر به ، فقد تبرر المكاسب الاستثمار.
