Разбор задач конкурсов «ПРО//ЗНАНИЯ», «ПРО//ОЦЕНКИ», «ПРО//ФАКТЫ»
Привет! На связи Александр Малышев. Сегодня расскажу вам о довольно любопытных сателлитах (задачах), проходящих в рамках конкурса «ПРО//ЧТЕНИЕ». Это технологические и амбициозные задачи по машинному обучению и NLP от UP GREAT. Регистрация на них открыта до 22 декабря 2021 года. Цель сателлитов – разработка алгоритмов для проверки ЕГЭ, простыми словами – чтобы Data Science-модели помогали/заменяли человека в проверке эссе, сочинений ЕГЭ по предметам русского языка, литературы, обществознания, истории.
Механика проверки решений осуществляется с помощью автоматической системы – вы скачиваете датасет, делаете разметку и загружаете их в контест, после чего видите место на лидерборде. Данные к каждой из задач представляют из себя json-файлы с текстами эссе. Скачать их можно сразу после регистрации. Кстати, организаторы подготовили бейзлайн для каждого сателлита.
"subject":"social",
"test":"егэ тренировка",
"category":"",
"year":2020,
"class":"11",
"theme":"«Плановая экономика учитывает в своих планах всё, кроме экономики» (К. Макуильямс)","taskText":""},
"text":"В своём высказывании К. Макуильямз поднимает проблему плановой экономики.
Автор хочет сказать, что такой тип экономической системы не
обеспечивает должного развития экономики страны. Для подтверждения данной точки зрения
обратимся к теории.\\nРазберемся, что же такое экономика? У этого понятия есть два значения.
Первое из них: экономика — это система хозяйствования, состоящая из отраслей
материального производства и нематериальной сферы, созданная для обеспечения общества
различными благами. Второе: экономика — это наука, изучающая, как в
условиях ограниченности ресурсов удовлетворить постоянно растущие потребности
общества. У экономики существует несколько систем: традиционная, плановая,
рыночная, смешанная. Каждая из них по-разному отвечает на три главных вопроса
экономики.
Нас интересует плановая экономика. Начнем с того, что плановая экономика — это экономическая система, при которой земля и капитал находится в собственности государства. На главные вопросы экономики («что производить?», «как производить?», «для кого производить?») существует один ответ — всё определяется планом. Почему же автор считает, что такая система не способствует развитию экономики? Всё дело в том, что эта система имеют кучу минусов: она не удовлетворяет потребности общества, в стране существует дефицит товаров, нет стимулов к развитию технического прогресса и труду, цены устанавливаются директивно, отсутствует конкуренция. У людей нет широкого выбора товаров, а значит и покупать они будут меньше,
что не помогает развитию экономики. Для подтверждения
данного мнения приведу конкретные примеры.
Наверное, самым ярким аргументом может служить пример из истории
— плановая экономика существовала во времена СССР. У людей не
было широкого выбора товаров, приходилось отстаивать огромные очередь
за некоторыми продуктами, да и не было гарантии, что в конечном итоге
тебе они достанутся. Экономика была в упадке, времена были страшные.
Даже сейчас, наблюдая за некоторыми жителями бывшего советского союза,
мы можем понять, через что им пришлось пройти: очень часто эти бабушки и дедушки,
боясь голода, набирают продуктов впрок. Именно поэтому плановая экономика
— это не лучший способ организации экономической жизни общества,
а очень часто она способна навредить. Именно об этом говорит автор высказывания.
Приведённые мною теоретические и конкретные примеры еще раз подтверждают слова
Макуильямза о том, что плановая экономика — это неудачный пережиток прошлого,
который не способствует развитию экономики в целом.
Немного о технических особенностях:
Размер команды: 2-5 человек, и одна и та же команда может участвовать во всех сателлитах.
Регистрация до: 22 декабря
Даты испытаний ПРО//ОЦЕНКИ и ПРО//ФАКТЫ: 23 декабря 2021
Даты испытаний ПРО//ЗНАНИЯ: 24 декабря 2021
Призовой фонд каждого сателлита:
- 1 место – 700.000р
- 2 место – 200.000р
- 3 место – 100.000р
Чтобы получить приз, команда должна быть налоговым резидентом РФ.
«ПРО//ОЦЕНКИ»
«ПРО//ОЦЕНКИ» ставит задачу определения балла ЕГЭ за работу. Данная метрика является первой и самой простой из метрик, по которым будет оцениваться качество алгоритмов в конкурсе «ПРО//ЧТЕНИЕ».
Файл ответов представляет из себя простой json-файл, в поле answer участник должен записать оценку за эссе (в баллах), формат поля - число. По умолчанию установлено значение -1, количество эссе не менее 1000 файлов, а испытания ограничиваются объемом времени в 15 минут.
[
{"id": 80001, "answer": -1 },
{"id": 80002, "answer": -1 },
...
]
«ПРО//ЗНАНИЯ»
«ПРО//ЗНАНИЯ» ставит задачу классификации ошибки по заданному фрагменту текста в соответствии с критериями ЕГЭ для предмета. Конкурс позволит опробовать вероятностные модели определения типа ошибки, которые будут полезны в рамках конкурсов «ПРО//ЧТЕНИЕ».
Структура файла задания:
[
{
"id": 80001,
"startSelection": 100,
"endSelection": 148,
"answer": ""
},
{
"id": 80001,
"startSelection": 250,
"endSelection": 301,
"answer": ""
},
...
]
В поле answer участник должен заполнить ТИП ошибки, причём допускается вносить данные только об одной ошибке, при этом количество эссе - не менее 200, а испытания ограничиваются объемом времени в 60 минут.
«ПРО//ФАКТЫ»
«ПРО//ФАКТЫ» ставит задачу выявления фактических ошибок в тексте. Эта задача в настоящий момент полноценно не решена. Разработки участников, решающие данную задачу не только смогут стать основой ИИ для конкурсов «ПРО//ЧТЕНИЕ», но и могут быть непосредственно коммерциализированы.
Структура файла задания:
[
{
"id": 80001,
"answer": null
},
{
"id": 80002,
"answer": null
},
...
]
В поле answer участник должен заполнить подтверждение или отрицание наличия фактической ошибки (из указанного перечня) в файлах эссе. Формат поля - boolean. По-умолчанию использовано значение null. Испытания ограничиваются объемом времени в 15 минут, а количество эссе в финальной выборке - не менее 1000 файлов.
Пользуясь случаем, хотим предложить вам поделиться вашим решением с этого контеста – поделитесь своим решением и мы опубликуем о вас статью в наших социальных сетях: