واگرایی Kullbac k-Leibler به عنوان یک نمره مهارت پیش بینی با قابلیت اطمینان کلاسی ک-حل و فصل- عدم تجزیه

در این مقاله نمره ای ارائه شده است که می تواند برای ارزیابی پیش بینی های احتمالی وقایع چند قضایی مورد استفاده قرار گیرد. نمره یک تفسیر مجدد از نمره لگاریتمی یا نمره جهل است که اکنون به عنوان آنتروپی نسبی یا واگرایی Kullbac k-Leibler از توزیع پیش بینی از توزیع مشاهده تدوین شده است. با استفاده از مفاهیم اطلاعاتی - توری آنتروپی و آنتروپی نسبی ، تجزیه به سه مؤلفه ارائه شده است ، مشابه با تجزیه کلاسیک نمره Brier. دوقلوهای اطلاعاتی- نظری عدم قطعیت ، وضوح و قابلیت اطمینان اطلاعات تشخیصی در مورد کیفیت پیش بینی ها را ارائه می دهند. نمره کلی اطلاعات منتقل شده توسط پیش بینی را اندازه گیری می کند. همانطور که اخیراً نشان داده شده است ، تئوری اطلاعات چارچوب صوتی برای تأیید پیش بینی را فراهم می کند. تجزیه جدید ، که ثابت شده است برای نمره Brier بسیار مفید است و به طور گسترده مورد استفاده قرار می گیرد ، می تواند به پذیرش نمره لگاریتمی در هواشناسی کمک کند.

آدرس نویسنده مسئول: استیون ویجس ، دانشگاه فناوری دلفت ، استیوینوگ 1 ، P. O. جعبه 5048 ، 2600 Ga Delft ، هلند. ایمیل: s. v. weijs@tudelft. nl

خلاصه

در این مقاله نمره ای ارائه شده است که می تواند برای ارزیابی پیش بینی های احتمالی وقایع چند قضایی مورد استفاده قرار گیرد. نمره یک تفسیر مجدد از نمره لگاریتمی یا نمره جهل است که اکنون به عنوان آنتروپی نسبی یا واگرایی Kullbac k-Leibler از توزیع پیش بینی از توزیع مشاهده تدوین شده است. با استفاده از مفاهیم اطلاعاتی - توری آنتروپی و آنتروپی نسبی ، تجزیه به سه مؤلفه ارائه شده است ، مشابه با تجزیه کلاسیک نمره Brier. دوقلوهای اطلاعاتی- نظری عدم قطعیت ، وضوح و قابلیت اطمینان اطلاعات تشخیصی در مورد کیفیت پیش بینی ها را ارائه می دهند. نمره کلی اطلاعات منتقل شده توسط پیش بینی را اندازه گیری می کند. همانطور که اخیراً نشان داده شده است ، تئوری اطلاعات چارچوب صوتی برای تأیید پیش بینی را فراهم می کند. تجزیه جدید ، که ثابت شده است برای نمره Brier بسیار مفید است و به طور گسترده مورد استفاده قرار می گیرد ، می تواند به پذیرش نمره لگاریتمی در هواشناسی کمک کند.

آدرس نویسنده مسئول: استیون ویجس ، دانشگاه فناوری دلفت ، استیوینوگ 1 ، P. O. جعبه 5048 ، 2600 Ga Delft ، هلند. ایمیل: s. v. weijs@tudelft. nl

1. معرفی

پیش بینی ها برای ارائه اطلاعات به کاربر در نظر گرفته شده است. تأیید پیش بینی ارزیابی کیفیت یک طرح پیش بینی یا پیش بینی واحد است (جولیف و استفنسون 2008). بنابراین تأیید باید کیفیت اطلاعات ارائه شده توسط پیش بینی را ارزیابی کند. در اینجا مهم است که توجه به تمایز بین کیفیت ، که به مکاتبات بین پیش بینی ها و مشاهدات و ارزش بستگی دارد ، توجه داشته باشید که این بستگی به مزایای پیش بینی برای کاربران دارد (مورفی 1993). در این مقاله فرض می کنیم که تأیید برای اندازه گیری کیفیت کمی در نظر گرفته شده است. چندین نمره و تکنیک های تجسم ایجاد شده است که خاصیت مطلوب پیش بینی ها را با هدف ارزیابی کیفیت آنها اندازه گیری می کند. یکی از رایج ترین نمرات مهارت (استفنسون و همکاران 2008) نمره Brier (BS) (Brier 1950) است که برای پیش بینی های احتمالی وقایع باینری کاربرد دارد. نمره مهارت Brier (BSS) BS را نسبت به برخی از پیش بینی های مرجع اندازه گیری می کند ، که معمولاً اقلیم شناسی است. مورفی (1973) نشان داد كه BS می تواند به سه مؤلفه تجزیه شود: عدم اطمینان ، وضوح و قابلیت اطمینان. این مؤلفه ها به برخی از جنبه های مختلف کیفیت پیش بینی بینش می دهند. اولین مؤلفه ، عدم اطمینان ، عدم اطمینان ذاتی را در فرآیند پیش بینی می کند. وضوح اندازه گیری میزان این عدم اطمینان با پیش بینی را نشان می دهد. قابلیت اطمینان تعصب را در برآورد احتمال پیش بینی های احتمالی اندازه گیری می کند. یک پیش بینی مناسب دارای وضوح است که برابر با (کاملاً توضیح می دهد) عدم قطعیت و قابلیت اطمینان کامل.

نظریه اطلاعات چارچوبی برای اندازه گیری اطلاعات و عدم اطمینان فراهم می کند (برای معرفی خوب به Cover و Thomas 2006 مراجعه کنید). همانطور که تأیید پیش بینی باید اطلاعاتی را که پیش بینی کننده به کاربر ارائه می دهد ، ارزیابی کند ، به نظر می رسد با استفاده از تئوری اطلاعات برای تأیید پیش بینی یک انتخاب منطقی است. یک مفهوم اصلی در تئوری اطلاعات ، اندازه گیری عدم اطمینان به نام آنتروپی است. با این حال ، مشاوره با دو اثر استاندارد در مورد تأیید پیش بینی ، ما خاطرنشان کردیم که کلمه آنتروپی فقط سه بار در جولیف و استفنسون (2003) ذکر شده است و نه یک بار واحد در ویلکس (1995). این نشان می دهد که استفاده از اقدامات اطلاعاتی - نظری برای تأیید پیش بینی هنوز گسترده نیست ، اگرچه برخی از کارهای مهم توسط رولستون و اسمیت (2002) ، Ahrens و Walser (2008) ، Leung and North (1990) و Kleeman (انجام شده است. 2002).

Leung and North (1990) از اقدامات اطلاعاتی - نظری مانند آنتروپی و انتقال اطلاعات در رابطه با پیش بینی استفاده کردند. کلمن (2002) پیشنهاد کرد که از آنتروپی نسبی بین توزیع آب و هوایی و پیش بینی برای اندازه گیری پیش بینی استفاده کند. کاربردهای تئوری اطلاعات در چارچوب پیش بینی بیشتر مربوط به توزیع های مدل شده دولتها و چگونگی تکامل عدم اطمینان در طول زمان است. تأیید پیش بینی ، با این حال ، مربوط به مقایسه مقادیر مشاهده شده با توزیع احتمال پیش بینی است. رولستون و اسمیت (2002) نمره جهل ، نمره لگاریتمی را برای تأیید پیش بینی معرفی کردند ، و دوباره به تفسیر نمره لگاریتمی (خوب 1952) از دیدگاه اطلاعاتی - نظریه ای. آنها نمره خود را به آنتروپی نسبی بین توزیع پیش بینی و عملکرد توزیع احتمال "واقعی" (PDF) مرتبط کردند ، که آنها به عنوان "PDF شرایط اولیه سازگار تعریف می کردند به موقع تحت پویایی جو واقعی به جلو تکامل می یابند."Ahrens and Walser (2008) نمرات مهارت های مربوط به اطلاعات را پیشنهاد کرد تا برای احتمالات تجمعی پیش بینی های چند قضایی اعمال شود. اخیراً ، بنتتی (2009) نشان داد که نمره لگاریتمی یک اندازه گیری منحصر به فرد از خوبی های پیش بینی است. وی نشان داد که نمره لگاریتمی تنها نمره ای است که همزمان سه مورد اصلی را برای چنین اقدامی برآورده می کند. این الزامات عبارتند از افزودنی ، محل (که وی به عنوان وابستگی انحصاری به مشاهدات جسمی) و رفتار کاملاً مناسب است. برای بحث در مورد این الزامات ، به بندتی (2009) مراجعه کنید. علاوه بر این ، بنتتی (2009) نمره Brier را مورد تجزیه و تحلیل قرار داد و نشان داد که معادل تقریب مرتبه دوم از نمره لگاریتمی است. وی نتیجه می گیرد که موفقیت ماندگار نمره Brier را می توان با این واقعیت توضیح داد که این تقریب نمره لگاریتمی است. بندتی همچنین از تجزیه مشهور و مفید نمره Brier به عدم اطمینان ، وضوح و قابلیت اطمینان به عنوان دلیل احتمالی محبوبیت آن اشاره می کند.

در این مقاله ، ما مسیری مشابه Benedetti را دنبال می کنیم ، اما از جهت دیگری. از قیاس با نمره Brier ، ما پیشنهاد می کنیم از واگرایی Kullbac k-Leibler (یا آنتروپی نسبی) از مشاهده از توزیع پیش بینی به عنوان معیاری برای تأیید پیش بینی استفاده کنیم. این امتیاز "امتیاز واگرایی" نامگذاری شده است. هنگام فرض مشاهدات کامل ، اندازه گیری ما برابر با نمره جهل یا نمره لگاریتمی است و می تواند به عنوان یک تفسیر جدید از جهل به عنوان واگرایی Kullbac k-Leibler از مشاهده تا توزیع پیش بینی شود. با ارائه تجزیه جدید به عدم اطمینان ، وضوح و قابلیت اطمینان ، مشابه با تجزیه مشهور نمره Brier (مورفی 1973) ، بینشی از نحوه اندازه گیری نمره واگرایی (DS) محتوای اطلاعات پیش بینی های باینری احتمالی را نشان می دهد. تجزیه می تواند به پذیرش و استفاده گسترده تر از نمره لگاریتمی در هواشناسی کمک کند.

بخش 2 این مقاله فرمولاسیون ریاضی DS و اجزای آن را ارائه می دهد. بخش 2 همچنین قیاس را با اجزای امتیاز Brier نشان می دهد. بخش 3 نمره واگرایی را با نمرات اطلاعات موجود - اورینگ مقایسه می کند. نشان داده شده است که DS در واقع تفسیر مجدد از نمره جهل است (رولستون و اسمیت 2002) و اینکه یکی از نمرات اطلاعات متقابل رتبه بندی شده توسط Ahrens و Walser (2008) برابر با نسخه Skill Score DS است ، هنگامی که قابلیت اطمینان استمؤلفه مورد غفلت قرار می گیرد (کالیبراسیون کامل فرض شده). تعمیم برای پیش بینی های چند قضایی در بخش 4 ارائه شده است. مشکل ذاتی موجود در تدوین نمرات مهارت برای پیش بینی دسته بندی ترتیب نیز مورد تجزیه و تحلیل قرار گرفته و منجر به این ایده می شود که می توان با تمایز صریح بین اطلاعات و اطلاعات مفید برای برخی از کاربر خاص توضیح داد. این تمایز بینش در نقش های پیش بینی و کاربر پیش بینی ارائه می دهد. بخش 5 برنامه ای را به یک مجموعه داده واقعی از پیش بینی های بارش ارائه می دهد. بخش 6 نتیجه گیری ها را خلاصه می کند و استدلال های اصلی را برای اتخاذ نمره واگرایی دوباره نشان می دهد.

2. تعریف نمره واگرایی

آ. زمینه

با مشاهده نمره Brier به عنوان یک اندازه گیری فاصله درجه دوم و ترجمه آن به اقدامات اطلاعاتی - برای عدم اطمینان و واگرایی یک توزیع از دیگری ، ما یک دوقلو اطلاعاتی - تئوری از نمره Brier و اجزای آن را تشکیل می دهیم. اول ، برخی از نمادها معرفی می شوند و به دنبال آن فرمولاسیون نمره Brier انجام می شود. سپس مفهوم اطلاعات- نظری آنتروپی نسبی به عنوان یک قانون امتیاز دهی جایگزین ارائه می شود. در بخش دوم این بخش ، نشان داده شده است که چگونه می توان نمره جدید را به مؤلفه های نمره کلاسیک Brier تجزیه کرد: عدم اطمینان ، وضوح و قابلیت اطمینان.

ب. تعاریف

یک رویداد باینری را مانند یک روز بدون بارندگی یا با بارندگی در نظر بگیرید. این می تواند به عنوان یک فرآیند تصادفی با دو نتیجه ممکن دیده شود. نتیجه این رویداد را می توان در یک عملکرد جرم احتمال (PMF) نشان داد. برای مورد وقایع باینری ، PMF تجربی این رویداد پس از مشاهده نتیجه ، یک بردار 2D است که توسط O = (1 - O ، O) t مشخص شده است. با فرض اطمینان در مشاهدات ، o ؛بنابراین ، o = (0 ، 1) t در صورت باران و (1 ، 0) t در غیر این صورت. حال فرض کنید یک پیش بینی احتمالی از نتیجه رویداد باینری به شکل احتمال وقوع f صادر شده است. این همچنین می تواند به صورت پیش بینی PMF f = (1 - f ، f) t ، با f [0 ، 1] نوشته شود. اگر به عنوان مثال احتمال 80 ٪ احتمال بارندگی پیش بینی شود ، این به عنوان f = (0. 2 ، 0. 8) t مشخص می شود.

نمره Brier برای یک پیش بینی واحد در زمان t فاصله بین PMF های مشاهده و پیش بینی با فاصله مربع اقلیدسی را اندازه گیری می کند: