Інструмент "Тести й анкети"

При експортуванні виділених запитань я отримую архів *.zip, з таким вмістимим:
resources\
imsmanifest.xml
question_10073.xml
question_10074.xml
...
1. Яке основне призанчення архіву? Що з ним робити?
2. Чи можна імпортувати цей архів назад у СДН?
3. Якою програмою краще переглядати запитання?

Описаний Вами архів має формат IMS QTI.
1. Призначення QTI-пакетів – переміщення запитань між різними навчальними середовищами. Якщо немає потреби копіювати запитання, наприклад, в Moodle, то цей засіб Вам не потрібен.
2. Не можна. Поточна версія ATutor підтримує тільки експорт. Розробники це пояснюють невисоким рівнем підтримки імпорту в галузі і, як наслідок, браком програм для тестування.
3. Із цим складніше. На Заході популярний Respondus, але в нас такі програми поки не набули поширення.

Додаткова інформація:
http://en.wikipedia.org/wiki/QTI
http://www.imsglobal.org/question/

Що означає число 6.34 на цьому скріншоті?



У тесті proba vp мало б бути 5 із 55 запитань, з них 2 обов"язкових по 2 бали, решту 53 - 1 бал. При проходженні тесту генерується 4 запитання замість 5.
Що робити?

Цікавий баг, і ми поки що не можемо сказати, звідки він взявся. Із якоїсь причини кілька запитань у базі даних позначені як належні Вашому курсу і ще одному з зовсім іншої кафедри.

Будь ласка, пригадайте, чи були в процесі створення запитань і тестів якісь дивні повідомлення про помилки тощо. Можливо, Ви використовували резервні копії для перекидання запитань між тестами. Може, було ще щось суттєве.
Постарайтеся пригадати подробиці.

При створенні запитань та тесту ніяких попереджень від СДН замічено не було. Не можу стверджувати, що їх не було взагалі.

1. Як можна дізнатися які? Для того, щоб їх знищити і створити заново. Чи вони Вам ще потрібні для досліджень?
2. Вони належать до одної категорії? Підозрюю, що так. Чи всі запитання цієї категорії мають цей баг?

Ні.

У Вашому курсі вже все повинно працювати нормально. Я думаю, що причина була не у Ваших діях, тому будемо з'ясовувати з інструктором того «іншого» курсу.

Зараз ми виправили всі наслідки цього глюку і шукаємо причину. Якщо таке повторюватиметься, прошу писати.

1. Є такий недолік. При використанні ліміту часу, відведеного на тест, при цьому студент не натиснув кнопку "Надіслати", результити тесту надсилаються інструктору, а автоматичне оцінювання тесту не відбувається (0/макс.). Доводиться проводити оцінювання вручну. Якось би це усунути.

2. Вважаю за необхідне, щоб у запитаннях типу "відповідність просте/графічне" та "впорядкування" відповіді перемішувались випадково при кожному проходженні тесту. Їх і так складно створювати, а якщо ще й вручну робити перемішування, то дуже легко допустити помилку ще при створенні.

3. Було б дуже добре описати алгоритм оцінювання запитань типу "впорядкування" та "відповідність", оскільки у них враховується частково правильна відповідь і як результат - дійсне число. Також пропоную оцінювати таким способом і запитання типу "множинна віповідь".

Вкажіть, будь-ласка, тести в яких це спостерігається, щоб спробувати відтворити.

Бо у власному тестовому курсі - запитання, які мають оцінюватись автоматично - оцінюються, незважаючи чи форма була відіслана через натиск на кнопку "Відіслати", чи автоматично через лічильник часу.

1. Комп'ютерна візуалізація біосигналів, тест "Модуль_2"
(17/4/08 10:48 192.168.109.244 20 хв. 14 с 0/35)

2. Обчислювальні та мікропроцесорні засоби в електронних апаратах, тест "Модуль_2"
(18/4/08 12:57 192.168.109.247 20 хв. 13 с 0/33),
(17/4/08 10:26 192.168.109.244 20 хв. 13 с 0/33)

Були ще, наприклад, тест "Модуль_1", але я їх мусів оцінити вручну.

Запитання впорядкування перемішуються таким чином, що для даного користувача і даного запитання порядок відповідей завжди однаковий.
Це пов'язане з обмеженнями алгоритму обчислення правильної відповіді. Ми будемо говорити про можливість його вдосконалення з розробниками (http://www.atutor.ca/view/2/13557/1.html).

Алгоритм простий – кількість правильних пар ділиться на кількість варіантів.

Ми згідні з пропозицією оцінювати частково правильні відповіді на запитання типу «Множинна відповідь».
Але прямо зараз цю зміну вносити не можна, тому що виникне нестиковка між існуючими і новими результатами тестів. Тому, я думаю, ми змінимо алгоритм в середині літніх канікул, орієнтовно 1 липня.

1.

Запитання впорядкування перемішуються хоч якось, навіть так мене це влаштовує. У моїх тестах не перемішуться запитання типу "Відповідність (графічне/просте)". Саме це цікавить мене найбільше. До речі, в "графічних" запитаннях деколи не відмальовується 1 з N ліній, і це у FireFox!

2.

Ось тоді цікава штука (не виправляв, присягаюсь):
(тест "Модуль_2", курс "Комп"ютерна візуалізація", продений ***23/4/08 10:07 192.168.109.249 16 хв. 50 с 34.17/35*** )



Хтось може пояснити що це? Можливо це пов"язано з глюком, описаним в п.1?

3.

Цілком згоден, це логічно.

Запитання впорядкування перемішуються хоч якось, навіть так мене це влаштовує. У моїх тестах не перемішуться запитання типу "Відповідність (графічне/просте)". Саме це цікавить мене найбільше.

Із перемішуванням графічних запитань є складнощі, зв'язані з тим, як вони запрограмовані. На свята я спробую розібратися.

Поки що мені не вдалося це відтворити.
Нехай лінія не малюється, але варіант із випадаючого списку при перетягуванні вибирається?

Ось тоді цікава штука (не виправляв, присягаюсь):
(тест "Модуль_2", курс "Комп"ютерна візуалізація", продений ***23/4/08 10:07 192.168.109.249 16 хв. 50 с 34.17/35*** )



Хтось може пояснити що це? Можливо це пов"язано з глюком, описаним в п.1?

Є така проблема, знову-таки зв'язана з неоптимальністю алгоритму. Якщо я вже залізу в код на вихідних, то, думаю, і цю проблему спробую пофіксити.
В даному випадку об'єктивна оцінка таки 0,67.

Не пригадую. Лінія не малюється при виборі з випадаючого списку. Студенти про можливість перетягування не здогадались. Запитання такого типу значно наглядніші, що відбирає менше уваги, ось чому важливо особливу увагу приділити їм при розробці та вдосконаленні.

Усім приємного відпочинку на святах.

Дякую, буду мати цю інформацію на увазі.

Я цілком згідний.
Крім того, на них складніше шукати відповіді методом перебору, що дає надію на об'єктивніше оцінювання.

Взаємно!

Результати такі.

1. Проблеми з відображенням ліній у Firefox.
Поки що не знайшов причини, запостив розробникам.

2. Позначення правильних відповідей не збігаються з балами.
Виправлено в наступній версії ATutor, яка виходить у червні. Тому з наступного навчального року цього бага не буде.
До того часу я раджу не звертати увагу: оцінку рахує добре.
Причина – стандартна програмістська помилка (масиви-то з нуля нумеруються), яка вилилася в неправильне архітектурне рішення.

3. Перемішування варіантів запитань.
Додано для впорядкування (простих); з графічними складніше.
Плюс, розробники за це взялися в рамках більшої проблеми. Якщо вдасться довести їм свою думку, то вони все перероблять, і проблема зніметься в принципі.

Як ексклюзивний вид сервісу для постійного клієнта, можу запропонувати конвертнути всі запитання впорядкування з графічних в прості, а після виправлення в наступній версії – назад.