Slovenščina English (United Kingdom)

Spletna revija IBS Poročevalec je namenjena domačim in tujim znanstvenikom, raziskovalcem, strokovnjakom, študentom in praktikom na področjih mednarodnega poslovanja, trajnostnega razvoja, tujih jezikov in javne uprave. Najpomembnejši del IBS Poročevalca je objava recenziranih znanstvenih, raziskovalnih, strokovnih in poljudnih člankov, ki obravnavajo teme kot mednarodno poslovanje, trajnostni razvoj, organizacija, pravo, okoljska ekonomika in politika, trženje, raziskovalne metode, menedžment, korporativna družbena odgovornost in druga področja.

Iskanje

IBS Mednarodna poslovna šola Ljubljana

Vabimo vse, ki bi želeli prispevati v IBS poročevalec, da se nam oglasijo s prispevki na info@ibs.si.



2015 > Letnik 5, št. 2




DR. IRENA MARINKO: OCENJEVANJE V VISOKIH POSLOVNIH ŠOLAH

natisni E-pošta

irena3

Povzetek

Prispevek navaja vrsto poskusov in priporočil, kako izvajati ocenjevanje pri študiju, osredotočenem na študente.

Takšno ocenjevanje naj bi bilo pošteno do študentov, fleksibilno, naj ne bi zahtevalo učenja na pamet, naj bi spodbujalo uporabo logičnega razmišljanja in izkušenj, predvsem pa naj bi vključevalo tudi aktivno sodelovanje študentov. Iz empirične raziskave je sicer razvidno, da učitelji komentirajo izpitne naloge, razložijo napake, svetujejo, kako izboljšati znanje in razpravljajo o močnih in slabih straneh izpitne naloge, vendar bi bilo treba to še podrobneje raziskati na dejanskih primerih. Študenti imajo možnost, da zahtevajo obrazložitev ocen, a so pri tem v podrejenem položaju. Zelo malo učiteljev je poskušalo vključevati študente tako, da bi študenti sami pripravili vprašanja za izpit. Kljub temu, da obstaja veliko študij in poskusov za izboljšanje ocenjevanja, se še do danes ni našel zares dober način, ki bi profesorjem ne vzel preveč časa in bi omogočal aktivno sodelovanje študentov. Kratka raziskava je bila izvedena s pomočjo kritičnega pregleda sodobne literature in analize vprašalnikov, na katere je odgovorilo 187 slovenskih, poljskih in litovskih predavateljev.

Ključne besede: na študente osredotočeno učenje, problemi ocenjevanja študentov

Abstract
This paper describes that there have been a number of experiments and that there are quite some recommendations how to perform assessment in student-centred learning. Such evaluation should be fair, flexible, it should not require memorizing the data, it should stimulate logical thinking and experiences and should in front of all include active participation of students. The empirical research shows that teachers very often comment students' performance, explain mistakes, advise how to improve knowledge and discuss strong and weak points of examination papers but it is necessary to investigate also actual cases of assessment. Very few teachers have tried to include students so that the latter would provide their own examination questions. Students can require explanation of the assessment but they are not in equal position. Just a few teachers tried to include students so that the latter would prepare their questions for examination. Although there are many studies and trials to improve assessment, there is still no really good way of evaluation that would not be too time-consuming and would enable active participations of students. This short research was made by a critical survey of the contemporary literature and analysis of questionnaires which were completed by 187 Slovenian, Polish and Lithuanian lecturers.

Key words: student-centred learning, problems of evaluation

1 POMEN OCENJEVANJA

Po uvedbi bolonjske reforme naj bi se v visokih šolah uveljavili novi načini ocenjevanja. Veliko učiteljev in znanstvenikov je že poskušalo spremeniti ocenjevanje (Shephard, 2000), vendar še vedno ne moremo reči, da se je povratna informacija študentom bistveno izboljšala.

Zastareli postopki ocenjevanja so predvsem tisti, ki zahtevajo učenje na pamet, so preveč togi ali se preveč nanašajo na vsebino predmetov. Sodobno ocenjevanje naj bi bilo pošteno do študentov, fleksibilno, naj ne bi zahtevalo učenja na pamet, pač pa spodbujalo uporabo logičnega razmišljanja in izkušenj. Izpiti naj bi bili vedno osnovani na določenih kriterijih (Sadler, 2005).

Fenwick in Parsons (2009) navajata, da je ocenjevanje veliko več kot dajanje ocen. Ocenjevanje je postopek, pri katerem je treba najprej definirati kriterije, po katerih bodo študenti ocenjeni, opazovati potek izpitov, presojati opravljanje izpitov, informirati študente o rezultatih in svetovati študentom, kako lahko izboljšajo znanje. Študenti imajo raje mnenja o tem, kako so opravili nalogo, kakor pa mnenja o sebi (Orsmond, Merry, & Reiling, 2005). Ena od raziskav je pokazala, da so bili študentom všeč komentarji, ki so opisovali močne in slabe strani študentskih izpitov, njihove napake in vsebovali svetovanje, kako naj izboljšajo znanje (Lizzo & Wilson, 2008).

Obstaja vrsta raziskav (Gibbs & Simpson, 2004; Hattie & Timperley, 2007; Price, Handley, Millar, & O'Donovan, 2010), ki kažejo, da je ocenjevanje bolj orodje za utemeljitev ocene kot pa za izboljšanje učenja. Randall in Zundel (2012) pa sta izvedla študijo, ki je raziskala učinkovitost ustnega in pisnega feedback študentom, pri čemer so dali študentom priložnost, da se učijo iz napak. Rezultati te raziskave so pokazali, da je bilo študentom všeč, ker so dobili tako pisno in ustno povratno informacijo. Njihovo učenje se je izboljšalo in motivacija povečala.

Pri učenju, osredotočenem na študente, se posebej poudarja, da morajo študenti aktivno sodelovati pri procesu ocenjevanja, razmišljati o učenju, se sami ocenjevati in ocenjevati tudi druge študente (Sluijmans et al., 2003; Klenowski, Askew, Carnell, 2006), prav tako pa naj bi študenti tudi sami postavljali izpitna vprašanja in določali kriterije ocenjevanja (Papinczak et al., 2012). Avtorji te študije so skušali študente spodbuditi k postavljanju vprašanj za lastne izpite. To je od vsakega študenta zahtevalo, da je pregledal glavne cilje in rezultate študija, najpomembnejše študijsko gradivo in da je razmišljal o lastnem načinu učenja (Rosenshine, Meister, and Chapman, 1996).

Ocenjevanje pa lahko prispeva tudi k razvoju študentov v socialnem kontekstu (Gulikers, Bastiaens, and Kirschner 2004), kadar zahteva sodelovanje in dogovarjanje med posamezniki oziroma med profesorji in študenti. Ta način ocenjevanja bi prav tako lahko zmanjšal strah pred izpiti, kar naj bi pozitivno vplivalo na učenje. Vendar pa se je izdelava dobrih izpitnih vprašanj za izpite v pisni obliki pokazala kot zelo težka in je zahtevala veliko časa (več kot so pričakovali); strah pred izpiti pa se je le delno zmanjšal.

Povratna informacija študentom mora biti pravočasna, redna, dovolj podrobna, čitljiva, razumljiva, dosledna in prilagojena ustreznemu nivoju (Carless 2006; Nicol 2010; Orsmond, Merry, and Reiling 2005). Pomemben je tako kvaliteten komentar izpita kot tudi študentova interakcija s tem komentarjem – morda ta še bolj. Vendar pa je dobra povratna informacija pri izpitih, na katere se prijavi veliko število študentov, zelo težka.

Učni rezultati omogočajo, da postanejo visokošolski izobraževalni sistemi in kvalifikacije transparentni (Adam 2004, 3). Werquin (2012) trdi, da učni izidi pomagajo povezati svet izobraževanja in dela s tem, da naredijo standarde, povezane z določenimi kvalifikacijami, lažje razumljive za delodajalce. Nekateri znanstveniki dvomijo, ali učni rezultati res služijo predvsem izobraževalnim ali birokratskim namenom (Hussey in Smith, 2010). Nekateri raziskovalci celo navajajo, da obstajajo študenti, ki mislijo, da je izobrazba nekaj, kar se da kupiti v zameno za plačilo šolnine (Naidoo and Jamieson 2005; Potts 2005; Lomas 2007; Murphy 2011). Brooks et al. menijo, da je vpliv učnih rezultatov na učenje študentov še precej neznan (Brooks et al, 2014, 724), vendar pa opravljena raziskava dokazuje, da se je 81 % anketiranih študentov strinjalo, da so učni izidi koristna pomoč.

Ocenjevanje je prav gotovo pomemben del vsakega učenja, hkrati pa tudi eden od tistih elementov, ki še ni razvito niti v zadovoljstvo študentov, niti učiteljev. Vsi imajo velika pričakovanja o tem, kako naj bi razvili ocenjevanje v praksi, dejansko pa ni primerov, ki bi kazali uveljavljen in splošno uporaben model.

2 EMPIRIČNA RAZISKAVA OCENJEVANJA

V okviru projekta Erasmus+, Empowering teachers for a student-centred approach, smo med drugim opravili tudi raziskavo ocenjevanja študentov in sicer v treh evropskih državah: Litvi, Poljski in Sloveniji. Raziskava je potekala s pomočjo vprašalnika, ki so ga razvili raziskovalci iz vseh treh držav. Glede na to, da smo na podlagi literature ugotovili, naj bi bila povratna informacija študentom konstruktivna, specifična, naj bi vsebovala razlago, uporabljala jezik, ki ne presoja študenta, naj bi jo študenti prejeli pravočasno in dovolj pogosto, smo prosili visokošolske učitelje, naj ovrednotijo svoje ocenjevanje: kako poskrbijo za to, da imajo pri ocenjevanju besedo tudi študenti, kako skušajo zmanjšati strah pred izpiti, kako dolgo traja, da študenti dobijo povratno informacijo, če se študenti lahko pritožijo proti odločitvam o njihovem akademskem razvoju in če so učitelji kdaj poskusili tudi z manj pogostimi načini ocenjevanja.

Empirična raziskava je bila narejena v 24 visokošolskih organizacijah (v Sloveniji tudi v 3 višješolskih); vprašalnike pa je izpolnilo 187 visokošolskih učiteljev in sicer:
52 učiteljev iz 8 visokošolskih inštitucij v Sloveniji
70 učiteljev iz 10 visokih šol na Poljskem
65 učiteljev iz 6 visokih šol v Litvi.

Empirična raziskava ni izvedena na podlagi reprezentativnega vzorca (odgovarjali so predvsem tisti predavatelji, ki so zagreti za učenje, osredotočeno na študente), vendar pa daje določen vpogled v ocenjevanje študentov.

1 Kakšne metode ocenjevanja uporabljajo učitelji

Slovenija:
- ki se nanašajo na določena pravila (82.7 % zelo pogosto, 7.6 % pogosto = 90.4 %)
- ki se nanašajo na kriterije (80.8 % zelo pogosto, 9.6 % pogosto = 90.4 %)
- ki se nanašajo na vsebino (38.5 % zelo pogosto, 42.3 % pogosto = 80.8 %)
Poljska:
- skušajo biti fleksibilni (95.7 % zelo pogosto, 4.2 % pogosto = 100 %)
- formativna evalvacija (92.9 % zelo pogosto, 7.1 % pogosto = 100 %)
- sumativno ocenjevanje (80 % zelo pogosto, 12.9 % pogosto = 92.6 %)
Litva:
- sumativno ocenjevanje (83.1 % zelo pogosto, 16.9 % pogosto = 100 %)
- ki se nanašajo na kriterije (90.8 % zelo pogosto, 3.1 % pogosto = 93.9 %)
- poskušajo biti fleksibilni (12.3 % zelo pogosto, 24.6 % pogosto = 36.9 %).

Učitelji v treh državah najpogosteje uporabljajo naslednje metode evalvacije.
1) sumativna (69.6 %)
2) s pomočjo kriterijev (57.8 %)
3) skušajo biti fleksibilni (50.3 %)

tab1

2 Kako učitelji ocenjujejo povratno informacijo študentom

Slovenija:
- skušajo razložiti napake in svetovati študentom, kako naj izboljšajo znanje (44.2 % zelo pogosto, 38.5 % pogosto = 82.3 %)
- komentarji o nalogi (50 % zelo pogosto, 26.9 % pogosto = 76.9 %)
- razpravljajo o močnih in slabih straneh izpitne naloge (32.7 % zelo pogosto, 40.4 % pogosto = 73.1 %).
Poljska:
- komentarji o nalogi (zelo pogosto = 100 %)
- razpravljajo o močnih in slabih straneh izpitne naloge (78.6 %)
- razložijo napake in svetujejo, kako izboljšati (pogosto = 77.1 %)
Litva:
- razložijo napake in svetujejo, kako izboljšati znanje (63.1 % zelo pogosto, 32.3 % pogosto = 95.4 %)
- komentarji o nalogi (zelo pogosto 50.8 %, pogosto 41.5 % = 92.3 %)
- razpravljajo o močnih in slabih straneh izpitne naloge (zelo pogosto 47.7 %, pogosto 26.2 % = 73.8 %)

Učitelji v vseh treh državah torej najpogosteje ocenjujejo tako, da:
1) komentirajo nalogo (90.9 % )
2) razložijo napake in sveetuje, kako izboljšati znanje (85 %)
3) razpravljajo o močnih in slabih straneh izpitne naloge (71.7 %)

tab2

3 Kako učitelji poskrbijo, da imajo besedo pri ocenjevanju tudi študenti

Slovenija:
- študenti lahko pridejo in vprašajo za razlago ocene (84.6 %)
- študenti si sami določijo oceno (19.2 %).
Poljska:
- študenti prejmejo oceno glede na točke (35.7 %)
- študenti pridejo in vprašajo za razlago ocene (32.6 %)
- študenti si sami določijo oceno (15.7 %).
Litva:
- študenti pridejo in vprašajo za razlago ocene (89. 2 %)
- študenti se pogajajo za ocene (30.8 %)
- študenti si sami določijo ocene (10.8 %)

Učitelji poskrbijo za besedo študentov pri ocenjevanju tako, da študenti pridejo in vprašajo za razlago ocene. Ne dogaja se pogosto, da bi študenti sami predlagali ocene ali da bi se o oceni dogovarjali s profesorji.

tab3

4 Kako skušajo učitelji zmanjšati strah pred izpiti

Slovenija:
- dajejo vprašanja za ponavljanje (71.2 %)
- govorijo s študenti in jih skušajo pomiriti (69.2 %)
- rečejo študentom, naj logično razmišljajo (40.3 %).
Poljska
- govorijo s študenti in jih skušajo pomiriti (64.3 %)
- rečejo jim, naj se pomirijo (20 %)
- dajejo vprašanja za ponavljanje (15.7 %).
Litva:
- dajejo vprašanja za ponavljanje (60 %)
- govorijo s študenti in jih skušajo pomiriti (55.4 %)
- Rečejo študentom, naj logično razmišljajo (33.8 %).

Učitelji torej najpogosteje skušajo zmanjšati strah študentov pred izpiti tako, da:
- govorijo z njimi in jih skušajo pomiriti (62.6 %)
- dajejo vprašanja za ponavljanje (46.5 %
- rečejo študentom, naj logično razmišljajo (23 %).

tab4

5 Kako dolgo traja, da študenti prejmejo povratno informacijo

Slovenija: en teden – 55.8 %, Poljska: en teden 92.9 %, Litva: en teden (52.3%).

Na vseh treh univerzah traja približno en teden, da študenti dobijo oceno.

6 Ali obstajajo postopki, da se študenti pritožijo proti oceni

Slovenija: da – 78.8 %, ne vem – 15.4 %
Poljska: da – 100 %
Litva: da - 64.6 %, ne vem 32.3 %

7Ali je kateri od učiteljev skušal uvesti način, da bi si študenti sami zastavili izpitna vprašanja, kakšni so bili rezultati

V Sloveniji (7.6 %) in v Litvi (4,6 %) je samo nekaj učiteljev skušalo uvesti ta način ocenjevanja in pravijo, da je metoda dobro funkcionirala. Na Poljskem je ta praksa običajna in način je uspešen.

3 RAZMIŠLJANJE O OCENJEVANJU

Visokošolski učitelji v treh državah najpogosteje uporabljajo naslednje metode evalvacije: sumativna, s pomočjo kriterijev, skušajo biti fleksibilni. Pri ocenjevanju učitelji najpogosteje komentirajo nalogo, razložijo napake in svetujejo, kako izboljšati znanje ter razpravljajo o močnih in slabih straneh izpitne naloge oziroma izkazanega znanja študenta. Te metode bi lahko imeli za precej ustrezne, če bi raziskava dejansko pregledala tudi določeno število komentarjev, obrazložitev in svetovanja, vendar pa raziskovalci niso šli v takšne podrobnosti. Razprave o močnih in slabih straneh izpitnih nalog so v redu, vendar spet ni jasno, kakšne so te razprave. Seveda je možno trditi, da visokošolski učitelji vedo, kaj je to komentar, obrazložitev napak, svetovanje in razprava. Vendar bi bilo potrebno metode ocenjevanja študentov veliko bolj natančno raziskati, da bi ugotovili dejansko stanje.

Učitelji poskrbijo za besedo študentov pri ocenjevanju tako, da študenti pridejo in vprašajo za razlago ocene. Vendar so študenti pri tem v podrejenem položaju in ni pričakovati, da bi prav pogosto prihajali in spraševali za razlago ocene. Lahko sicer rečemo, da je glede na nekdanje stanje, v katerem je imel besedo pri ocenjevanju izključno učitelj, veliko že to, da vsaj določen odstotek študentov predlaga ocene ali se o njih dogovarja z učitelji.

Zmanjševanje strahu študentov pred izpiti prav tako ni posebno razvito. Če učitelji govorijo s študenti na primeren način, je lahko uspešno. Vendar so učitelji kot tretjo najpogostejšo metodo za zmanjševanje strahu navedli, da študentom rečejo, naj logično razmišljajo. To ni način, s katerim se študentom zmanjša strah pred izpitom – prej se jim vzbudi pomisleke, če sploh znajo logično razmišljati.Vprašanja za ponavljanje so v redu in pripomorejo k manjšemu strahu.

Približno polovica učiteljev je odgovorila, da študenti čakajo na oceno en teden. En teden je časovno v redu, vendar se moramo pri teh odgovorih vprašati, zakaj je na to vprašanje odgovorila le polovica učiteljev in zakaj je toliko učiteljev odgovorilo, da ne vedo, koliko časa morajo študenti čakati na izpitne rezultate.

Tudi odgovori na vprašanje, če se študenti lahko pritožijo čez oceno, niso posebno prepričljivi. Le 40 % učiteljev trdi, da lahko. Vprašanje ni bilo podrobneje specificirano in raziskava ni ugotavljala, kaj o pritožbi mislijo učitelji (ali se res splača pritožiti, ali se študenti s tem učiteljem še bolj zamerijo). Mnogo učiteljev pa tega niti ne ve. Izjema v tem pogledu je Poljska, kjer kaže, da se anketirani učitelji zavedajo, da se študenti lahko pritožijo čez oceno.

Presenetljivo malo učiteljev je poskušalo z zelo dobrim in inovativnim načinom ocenjevanja (in vključevanja študentov v ocenjevanje) – da bi si študenti sami postavili vprašanja za izpit. Tudi ti odgovori dajejo misliti, da je ocenjevanje še na precej nizkem nivoju in da ni mogoče govoriti o kakšnem vključevanju študentov v ocenjevanje.

Vse to je v praksi seveda precej znano. Že dolgo se govori, da bi morali študenti dobiti obrazloženo oceno (ne samo s številko, pač pa tudi s komentarjem). Marsikateri učitelj je to tudi že poskusil, vendar pri tem nastajajo problemi. Če naj bi bil komentar objektiven, svetoval, itd., to učitelju vzame ogromno časa. Morda bi si tu lahko pomagali z obrazci, ki bi vsebovali najpomembnejše točke komentarja, učitelji pa bi jih samo označili oziroma zraven zapisali ustrezno besedno razlago.

4 ZAKLJUČEK

Opisana raziskava daje misliti, da je ocenjevanje še vedno šibka točka na študente osredotočenega učenja. Praktično vse točke ocenjevanja, ki smo jih raziskali (ni jih bilo prav veliko), bi bilo treba še izboljšati. Še vedno je treba delati na tem, da bo študent sam ocenil svoje znanje, da se bo o oceni znal pogovoriti z učiteljem, da bodo učitelji bolj fleksibilni itd. Res pa je lahko reči, naj ocenjevanje upošteva kriterije, naj se ocenjuje s pomočjo projektov, naj izpitna vprašanja vsebujejo simulacije resničnih življenjskih situacij, naj učitelji pri ocenjevanju objektivno komentirajo, svetujejo itd., težje pa je to narediti. Če ima učitelj 20 študentov, je to izvedljivo. Če jih ima 100 ali 500 ali še več, pa je to zelo težko.

Navedeni podatki so le del obsežnejše raziskave, izvedene v okviru projekta o učenju, osredotočenem na študenta, zato bi morali za boljše ugotovitve izvesti precej obširnejšo in poglobljeno raziskavo. Treba bi bilo raziskati učiteljevo razumevanje za študente in za komunikacijo, saj za dobro ocenjevanje ni pomembno le učiteljevo pedagoško in znanstveno znanje, pač pa tudi njegova osebnost.

Pri raziskavi je treba tudi poudariti, da vsebuje le en vidik – učiteljev. Za pravo presojo ocenjevanja bi potrebovali tudi mnenje študentov.

LITERATURA:

Adam, S. (2004). Using Learning Outcomes: A Consideration of the Nature, Role, Application and Implications for European Education of Employing 'Learning Outcomes' at the Local, National and International Levels. Dostopno na: http://www.scotland.gov.uk/Resource/Doc/25725/0028779.pdf 21. 9. 2015.

Brooks, S., Dobbins, K., Scott, J.J.A., Rawlinson, M., Norman, R.I. (2014) Learning about learning outcomes: the student perspective. Teaching in Higher Education, vol. 19 (6), 721-733.

Carless, D. (2006). Differing Perceptions in the Feedback Process. Studies in Higher Education, vol. 31 (2), 219-233.

Fenwick, T., & Parsons, J. (2009). The art of evaluation. A resource of educators and trainers. Toronto, CA: Thompson Educational Publishing.

Gibbs, G., & Simpson, C. (2003). Measuring the response of students to assessment: The
assessment experience questionnaire. Proceedings of the 11th Improving Student
Learning Symposium, Hannover International Hotel, Hinckley, Leicestershire, UK,
September 1-3, 2003.

Gosling, D. (2009). David Gosling: Learning Outcomes Debate. Dostopno na: http://www.davidgosling.net/userfiles/Learning%20Outcomes%20Debate(1).pdf. 20. 9. 2015.

Gulikers, J., T. Bastiaens, and P. Kirschner. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, vol. 52 (3), 67–76.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, vol. 77 (1), 81-112.

Hussey, T., Smith, P. (2010). The Trouble with Higher Education: A Critical Examination of Our Universities. Abingdon: Routledge.

Klenowski, V., Askew, S., Carnell, E. (2006). Portfolios for learning, assessment and
professional development in higher education. Assessment & Evaluation in Higher
Education, vol. 31, 267–86.

Lizzo, A., Wilson, K. (2008). Feedback on assessment: students' perceptions of quality and effectiveness. Assessment and Evaluation in Higher Education, vol. 33, 263-275.

Lomas, L. (2007). Are Students Customers? Perceptions of Academic Staff. Quality in Higher Education, vol. 13 (1), 31–44.

Murphy, M. (2011). Troubled by the Past: History, Identity and the University. Journal of Higher Education Policy and Management, vol. 33 (5), 509–517.

Naidoo, R., and Jamieson, I. (2005). Empowering Participants or Corroding Learning? Towards a Research Agenda on the Impact of Student Consumerism in Higher Education. Journal of Education Policy, vol. 20 (3), 267–281.

Nicol, D. (2010). From Monologue to Dialogue: ImprovingWritten Feedback Processes in Mass Higher Education. Assessment & Evaluation in Higher Education, vol. 35 (5), 501-517.

Orsmond, P., Merry, S., Reiling, K. (2005). Biology students' utilization of tutors' formative feedback: A qualitative interview study. Assessment & Evaluation in Higher Education, vol. 30, 369-386.

Papinczak, T., Peterson, R., Babri, A.S.,Ward, K., Kippers, V., Wilkinson, D. (2012)
Using student-generated questions for student-centred assessment, Assessment & Evaluation in Higher Education, vol. 37 (4), 439–452.

Potts, M. (2005). The Consumerist Subversion of Education. Academic Questions, vol. 18 (3), 54–64.

Price, M., Handley, K., Millar, J., O'Donavan, B. (2010). Feedback: All that effort, but what is the effect? Assessment and Evaluation in Higher Education, vol. 35 (3), 277-289.

Randall, L., Zundel, P. (2012) Students' Perceptions of the Effectiveness of Assessment Feedback as a Learning Tool in an Introductory Problem-solving Course, The Canadian Journal for the Scholarship of Teaching and Learning, vol. 3 (1), 1-16.

Rosenshine, B., Mesiter, C., Chapman, S. (1996). Teaching students to generate questions: A review of the intervention studies. Review of Educational Research, vol. 66 (2), 181–221.

Sadler, R. D. (2005). Interpretations of criteria-based assessment and grading in higher
education. Assessment & Evaluation in Higher Education, vol. 39 (2), 175-194.

Scott, S. V. (2014) Practising what we preach: towards a student-centred definition of feedback, Teaching in Higher Education, vol. 19 (1), 49-57.

Shepard, L. (2000). The role of assessment in a learning culture. Educational Researcher, vol. 29, 4-14.

Sluijmans, D., Brand-Gruwel, S., van Merrienboer, J.J.S. Bastiaens, T.J.. (2003). The
training of peer assessment skills to promote the development of reflection skills in
teacher education. Studies in Educational Evaluation, vol. 29 (1), 23–42.
Werquin, P. (2012). The Missing Link to Connect Education and Employment: Recognition of Non-formal and Informal Learning Outcomes. Journal of Education and Work, vol. 25 (3), 259–278.