Saturday, July 9, 2016

Assesment Pembelajaran : BAB 3 "Perencanaan Penilaian"

Posted by Sampai Mati Harus Belajar On July 09, 2016 | No comments

PERENCANAAN PENILAIAN



Tujuan mempelajari bab ini adalah:
1.      Menjelaskan peranan tujuan pembelajaran dalam penilaian prestasi siswa.
2.      Menjelaskan  Taksonomi hasil revisi yang berguna dalam perencanaan penilaian.
3.      Menjelaskan bagaimana tujuan pembelajaran harus diwujudkan ke dalam  tujuan penilaian.
4.       Menjelaskan pentingnya membuat rencana penilaian yang merupakan  bagian dari rencana   pembelajaran.

5.      Menjelaskan berbagai metode penilaian  dan menggunakannya untuk menilai prestasi siswa
6.      Menjelaskan  pentingnya penggunaan berbagai jenis tes dan instrumen penilaian yang akan digunakan dalam menilai prestasi siswa
7.      Menjelaskan makna validitas dan reliabilitas dan arti pentingya dalam menyiapkan prosedur penilaian .

Merencanakan penilaian prestasi siswa mempertimbangkan hal-hal berikut :
1 . Apa yang kita harapkan setelah siswa belajar.?
2 . Apa  kinerja siswa yang diharapkan dari belajar ?
3 .Metode penilaian terbaik apa untuk mengevaluasi kinerja siswa ?

           Pertanyaan pertama berfokus pada tujuan kurikulum yang ditetapkan oleh sekolah dan dipengaruhi oleh pemerintah . Seperti disebutkan sebelumnya, sebagian besar negara telah mengembangkan standar isi yang memberikan pedoman untuk menentukan apa yang harus dikuasai oles siswa . Hal ini telah mempengaruhi pemerintah dan sekolah untuk memodifikasi kurikulum dan menempatkan penekanan lebih besar pada hasil belajar yang kompleks .

           Pertanyaan kedua berfokus pada pentingnya menentukan instruksi tujuan nasional dalam hal kinerja dan termasuk semua jenis hasil belajar yang diinginkan . Tujuan-tujuan ini tentu saja harus selaras dengan tujuan kurikulum dan akan mencerminkan standar kurikulum nasional. Dalam analisis akhir , penilaian prestasi belajar siswa ditentukan oleh kemampuan yang harus dimiliki siswa  dan ini ditentukan oleh tujuan  kurikulum sekolah . Tujuan instructional hanya sarana untuk menyatakan tujuan kurikulum, istilah yang lebih spesifik sehingga mereka berguna dalam kedua tujuan dan penilaian .
Pertanyaan ketiga berfokus pada hubungan antara tujuan pembelajaran  dan prosedur penilaian . Tujuan menentukan hasil hasil belajar yang diwujudkan dalam kinerja.Metode penilaian digunakan untuk menentukan sejauh mana kinerja siswa . Untuk beberapa hasil kinerja , tes akan memberikan hasil yang memadai.  Dalam kasus lain , beberapa jenis teknik observasi akan dibutuhkan untuk mengevaluasi kelanjutan dari kinerja ( misalnya pidato ) atau mengevaluasi produk yang dihasilkan (misalnya laporan tertulis). Kunci untuk penilaian yang efektif adalah dengan menggunakan metode yang tepat dan relevan.
Menggunakan Taksonomi sebagai Panduan
            Dalam revisi taksonomi Bloom  oleh Anderson dan Krathwohl (2001) menyediakan kerangka kerja yang berguna untuk mengidentifikasi dan menyiapkan tujuan instruksional, kegiatan pembelajaran, dan metode penilaian. T
aksonomi direvisi dalam dua dimensi. Satu dimensi meliputi enam kategori proses kognitif , peningkatan dalam kompleksitas, dan empat kategori dimensi pengetahuan dari yangkongkrit menuju yang abstrak. Seperti yang terlihat di tabel 3. 1
Dimensi Pengetahuan
Dimensi Proses Kognitif
1.
Mengingat
2.
Memahami
3.
Mengaplikasi
4.
Menganalisis
5.
Mengevaluasi
6.
Mencipta
A.Pengetahuan Faktual






B.Pengetahuan Konseptual






C.Pengetahuan Prosedural






D.Pengetahuan Metakognitif







Konsep dan Prosedur mungkin merupakan tujuan penting, serta mengerti  Fakta dan Prosedur. Dimensi proses kognitif dan dimensi pengetahuan didefinisikan dan diilustrasikan, dengan sub kategori dan contoh, dalam Lampiran. Sebuah tinjauan sub kategori dan contoh akan memperjelas berbagai dimensi yang digunakan dalam tabel  dan membantu dalam mempersiapkan tujuan, kegiatan pembelajaran, dan penilaian. Ketika membuat perencanaan untuk  menilai kinerja.
  Pengetahuan Metakognitif mungkin tidak mudah terkait dengan proses kognitif tertentu , tetapi merupakan dimensi penting dari pengetahuan yang sering diabaikan . Ini ada hubungannya dengan pengetahuan umum dan strategi khusus yang digunakan dalam pembelajaran , pengetahuan tentang tugas-tugas kognitif , dan pengetahuan tentang strategi belajar untuk  menangani tugas-tugas kognitif . Setelah siswa merenungkan apa yang mereka pelajari dan strategi terbaik bagi mereka memberikan hasil pembelajaran terbaik.. Penggunaan portofolio (lihat Bab 10 ) ini sangat berguna untuk menilai Pengetahuan Metakognitif menjadi hasil karya siswa  terbaik ,yang merupakan hasil refleksi penilaian diri siswa yang terbaik . Ini juga menunjukkan bukti hasil perubahan proses belajar siswa dari waktu ke waktu.
Tabel Taksonomi dapat membantu memperluas  tujuan  belajar  .Biasanya hanya kemampuan kognitif mengingat yang banyak ditekankan. Tabel akan membantu Anda bergerak dari proses kognitif rendah menuju proses kognitif tinggi . Langkah pertama mengingat, Memahami , dan menerapkan . Banyak negara menggunakan standar  Pengetahuan: Mengingat  , Memahami , dan Aplikasi sebagai kategori utama untuk mengklasifikasikan standar pengetahuan. Dalam menganalisis materi  atau masalah siswa perlu membedakan antara yang relevan dan tidak relevan , akurat dan tidak akurat , sebab dan akibat , fakta dan opini , dan sejenisnya .Jika demikian Menganalisis harus dipertimbangkan sebagai daerah tujuan tambahan . Demikian pula ,apakah siswa Anda harus membuat penilaian tentang kelayakan sebuah prosedur , kualitas laporan tertulis , kebenaran keterampilan . Apakah Anda mengharapkan siswa untuk melakukan sebuah proyek penelitian , menulis laporan ,  grafik , poster , atau model ?  Dimensi Pengetahuan akan membantu merumuskan tujuan secara komplit.
Taksonomi juga dapat membantu melaksanakan proses pembelajaran untuk mencapai tujuan terbaik . Perhatian utama bukan bagaimana siswa belajar tetapi apa yang mereka pelajari . Taksonomi ini juga berguna dalam mempersiapkan prosedur  dan instrumen penilaian yang sejalan dengan tujuan pembelajaran. Tujuan pembelajaran menggambarkan hasil pembelajaran yang dimaksudkan, kegiatan pembelajaran dirancang untuk memberikan pembelajaran yang relevan , dan instrumen penilaian memberikan bukti sejauh mana hasil belajar  telah dicapai .
Dalam perencanaan  penilaian , penting untuk diingat bahwa penilaian dirancang untuk mengukur hasil pembelajaran. . Dalam menilai pemahaman siswa, siswa  bisa diminta untuk mendefinisikan istilah dalam kata-kata mereka sendiri atau memberikan contoh yang tidak ada dalam buku teks .Itu akan menunjukkan bahwa mereka benar benar memahami arti dari konsep . Demikian pula , dengan menerapkan , Analisis , Evaluasi , dan Mencipta.
Tes dapat berhubungan dengan tabel Taksonomi . Sebuah soal tes biasanya jatuh pada satu atau dua sel dalam tabel .Misalnya, item mengukur aplikasi dapat mengukur dimensi proses kognitif mengingat dan memahami.Sedangkan Dimensi Pengetahuan prosedural dapat digunakan secara otomatis untuk mengukur Dimensi Pengetahuan Faktual dan Konseptual.Sedangkan penilaian kinerja dapat diletakkan pada seluruh sel tabel.Sebagai contoh,proyek mungkin memerlukan siswa untuk memilih dan menjelaskan masalah untuk belajar , melihat literatur yang relevan dan sumber-sumber lain untuk jawaban , menganalisis temuan ,dan menulis laporan meringkas informasi , menyiapkan model atau poster ,menyajikan temuan di depan kelas , dan merefleksikan apa yang telah dipelajari dari
proyek . Proyek merupakan aktualisasi semua  proses kognitif dan sebagian besar jenis dimensi pengetahuan.
 Empat tingkat yang menggambarkan kemampuan kinerja siswa :
1.      Pengamatan
Siswa hanya mengamati guru menunjukkan penyelesaian tugas dan melaporkan apa  yang telah diamati.
2.      Imitasi
Siswa meniru hasil pengamatan dengan mengikuti petunjuk baik lisan maupun tertulis
3.      Praktek
Siswa dapat menyelesaikan tugas tanpa bantuan .
4.      Adaptasi
Siswa dapat mengkoordinasikan dan menyelesaikan beberapa tugas ,
menerapkan keterampilan yang dipelajari sebelumnya untuk situasi baru , tanpa bantuan .

Tabel Taksonomi dua dimensi berguna dalam:
1.      Mengidentifikasi beragam hasil belajar yang diinginkan ( misalnya , tujuan instruksional ).
2.       Merencanakan kegiatan pembelajaran yang berkontribusi terhadap berbagai jenis  pembelajaran bermakna yang relevan dengan tujuan instruksional
3.      Merencanaan metode penilaian yang sesuai dengan tujuan dan kegiatan pembelajaran
4.      Menghubungkan keselarasan antara tujuan , kegiatan,metode penilaian pembelajaran .

Peran Tujuan Pembelajaran

         Tujuan pembelajaran memberikan deskripsi hasil belajar  siswa dengan kinerja yang menunjukkan bahwa mereka telah mencapai pengetahuan, pemahaman , keterampilan. Kinerja menggambarkan bukti prestasi siswa yang diharapkan yang tertuang dalam tujuan, proses pembelajaran dan penilaian.Sebagai contoh strategi pemecahan masalah , siswa berlatih menerapkan strategi , dan guru menilai keterampilan mereka dalam menerapkan strategi pemecahan masalah dengan yang baru. Dengan demikian , target instruksional , target pembelajaran , dan penilaian sama.

Menyampaikan Tujuan Pembelajaran
             Dengan menyampaikan tujuan pembelajaran akan sangat membantu dalam proses kegiatan belajar mengajar.Guru juga menjelaskan kinerja siswa yang akan didemonstrasikan pada akhir pembelajaran .
Prosedur yang baik yang menyatakan hasil belajar yang lebih luas dari tujuan.Contoh hasil belajar yang baik siswa memahami konsep-konsep ilmiah :
1. Menjelaskan konsep dalam kata-katanya sendiri .
2. Memberikan contoh konsep [ yang baru ] .
3. Membedakan konsep dari konsep-konsep ilmiah yang sama .
4. Peran konsep dalam memahami peristiwa ilmiah .
5. Menggunakan konsep dalam memecahkan masalah .

Sumber Merumuskan Tujuan Pembelajaran
1 . Standar isi
2 . Revisi Taksonomi Tujuan Pendidikan
3 . Publikasi organisasi pendidikan .
4 . Panduan instruktur yang menyertai buku teks siswa.

 Mengevaluasi Daftar Akhir  dari Tujuan
Dalam mengevaluasi daftar akhir tujuan instruksional ada sejumlah pertanyaan yang mungkin ditanyakan tentang daftar.

1.      Apakah semua hasil pembelajaran penting dimasukkan ?
2.      Apakah tujuan selaras dengan kurikulum ?
3.      Apakah tujuan  sesuai tingkat kemampuan  siswa?
4.      Apakah tujuan sesuai waktu,materi, dan fasilitas yang tersedia.
5.      Apakah tujuan yang ditetapkan mencakup pembelajaran bermakna yang sesuai lingkungan konkrit?
                 

Mempersiapkan Penilaian
            Perencanaan penilaian harus dilakukan bersamaan dengan perencanaan pembelajaran agar menjadi bagian dari proses belajar mengajar.
Pertanyaan seperti berikut ini dapat berfungsi sebagai panduan :
1.       Apakah perlu ada pre test?
2.      Jenis penilaian apa yang dibutuhkan ?
3.      Jenis penilaian apa yang dibutuhkan untuk penilaian tujuan akhir?

 Jenis Prosedur Penilaian
1.      Pengamatan selama proses pembelajaran .
2.      Tes prestasi kelas .
3.      Penilaian kinerja .
4.       Penilaian produk .
5.       Penilaian portofolio

Validitas dan Reliabilitas dalam Perencanaan Penilaian
Dua ciri-ciri paling penting dari prosedur penilaian yang dirancang dengan baik adalah validitas dan reliabilitas. Ciri-ciri ini adalah perhatian utama selama perencanaan penilaian, dan kebanyakan saran dalam buku ini ditujukan pada persiapan penilaian yang memberikan interpretasi hasil yang valid dan reliabel.
Validitas mengacu pada ketepatan dan kebermaknaan kesimpulan yang kita buat dari hasil penilaian untuk maksud tertentu. Contohnya, jika kita memberikan uji kosa kata, kita ingin dapat menginterpretasi skor sebagai sampel representatif istilah yang telah kita ajarkan. Jika kita sukses dalam (1) menjelaskan dengan jelas domain item kosa kata yang akan diukur, (2) dengan cermat menyiapkan spesifikasi tes, dan (3) membuat sampel representatif item tes yang relevan, interpretasi kita dari hasil kemungkinan akan valid. Kita sekarang dapat menyimpulkan bahwa skor tinggi mewakili pengethauan yang baik mengenai kosa kata yang telah diajarkan. Perhatikan bahwa kesimpulan adalah yang paling penting. Jika kita menyimpulkan bahwa skor tinggi mengindikasikan kemampuan menulis yang baik atau kemampuan verbal yang baik, kita menggeneralisir melebihi domain penelitian terbatas yang diuji dan validitas kesimpulan kita diragunkan, tanpa bukti lebih lanjut. Karena itu, bukan skor tes yang valid atau tidak valid namun kesimpulan yang kita buat darinya.
Penilaian kinerja biasanya dipandang sebagai memberikan kesimpulan yang lebih valid mengenai pembelajaran daripada tes kertas dan pensil tradisional karean berfokus lebih langsund pada jenis tugas kinerja yang kita ajarkan. Jika kita ingin tahu apakah siswa bisa membaca, kita bisa meminta merkea membaca sesuatu. Jika kita ingin tahu apakah siswa bisa memberi pidato, kita bisa meminta mereka berpidato. Jika kita ingin tahu apakah siswa bisa mengoperasikan komputer, kita meminta mereka mengoperasikan komputer. Dalam setiap kasus tugas tampak valid (maksudnya kita memiliki validitas wajah yang baik). Namun ini tidak sesederhana itu. Dalam penilaian kinerja, masalah mendefinisikan domain penilaian, menspesifikasikan bagaimana kinerja akan dinilai, dan mendapatkan sampel kinerja representatif memberikan masalah khusus. Contohnya, ada banyak jenis membaca, banyak jenis pidato, dan banyak jenis masalah yang bisa diselesaikan di komputer. Masing-masing memerlukan spesifikasi dan rebrik skoringnya sendiri, dan karena penilaian kinerja menghabiskan waktu, pengambilan sampel cenderung terbatas. Ini membatasi seberapa jauh kita dapat menyimpukan bahwa kinerja pada satu tugas penilaian bisa digeneralisasi pada kinerja tugas penilaian lain dalam bidang yang sama.
Dengan tes dan penilaian kinerja kita perlu membuat rencana dan mengikuti prosedut yang kemungkinan memberikan kesimpulan valid mengenai pembelajaran. Ini melibatkan pemilihan prosedur yang tepat, menyiapkannya dengan cermat, menerapkannya secara efektif, dan kemudian menginterpretasikan hasil dalam batas domain pencapaian tertentu yang dinilai. Dalam menggunakan hasil tentu saja kita juga memperhatikan konsekuensi penilaian. Apakah penggunaannya berkontribusi pada peningkatkan belajar pada siswa, seperti yang dimaksudkan? Ini adalah pertanyaan terkait validitas yang sah karena tujuan utama kita dalam menilai prestasi siswa adalah meningkatkan pembelajaran.
Reliabilitas mengacu pada konsistensi hasil penilaian. Contohnya, jika seorang siswa mendapatkan skor 60 pada suatu tes, kita akan dapat mengatakan bahwa 60 secara akurat mewakili kinerja tes siswa itu. Karena itu, jika kita menguji siswa itu pada waktu yang berbeda atau dengan sampel yang berbeda dari item yang setara, kita mengharapkan untuk mendapatkan hasil yang mirip. Begitu juga, jika seorang siswa mendapatkan rating tinggi pada suatu proyek menulis, kita ingin mengatakan bahwa ini mewakili kemampuan menulis siswa dan bahwa, jika orang lain menilai proyek itu, hasilnya akan minirp. Konsistensi hasil ini akan mengindikasikan bahwa mereka relatif bebas dari eror dan karena itu kita bisa mengandalkannya (jadi mereka memiliki “kemampuan untuk diandalkan”).
Tentu saja, kita tidak bisa mengharapkan hasil penilaian konsisten secara sempurna pada kesempatan berbeda atau pada sampel berbeda pada domain prestasi yang sama. Faktor-faktor seperti ambiguitas, variasi sampel, fluktuasi dalam motivasi dan perhatian, dan keberuntungan dapat memasukkan eror yang menyebabkan hasil penilaian berbeda. Demikian juga, dalam menilai tugas kinejra, bias pribadi rater dapat memasukkan eror ke dalam hasil. Tujuan penting dalam penilaian adalah menjaga berbagai jenis eror ini tetap minimal sehingga haisl kita se-reliabel mungkin.
Selain penting ketika berdiri sendiri, reliabilitas diperlukan untuk mendapatkan kesimpulan valid dari hasil penilaian. Lagipula, jika skor tes seorang individual sangat berfluktuasi pada suatu sampel item tertentu, kita tidak dapat menghadapkan untuk mendapatkan kesimpulan valid mengenai prestasi siswa. Demikian pula, jika rating sanagt beragam pada proyek menulis seorang siswa, tidak bisa dibuat kesimpulan valid mengenai ketrampilan menulis. Karena itu, reliabilitas memberikan konsistensi hasil yang memungkinkan inferensi valid. Tentu saja, konsistensi hasil hanya merupakan satu syarat penting untuk kesimpulan valid. Kita mungkin secara konsisten menilai hal yang salah, menggunakan prosedur yang tidak tepat, atau menggeneralisir di luar domain prestasi yang dinilai. Karena itu, reliabilitas adalah syarat yang diperlukan, tapi cukup untuk membuat kesimpulan valid.
Validitas dan reliabilitas hasil penilaian dapat diberikan selama persiapan prosedur penilaian. Ketika kita dengan jelas menspesifikasikan hasil pembelajaran yang diinginkan, mendefinsiikan domain prestasi yang dinilai, dan memilih kumpulan tugas penilaian yang relevan dan representatif, kita memberikan kesimpulan valid mengenai pembelajaran. Ketika kita memasukkan jumlah tugas yang cukup dalam penilaian kita dan kita menggunakan prosedur yang bebas dari ambiguitas, sumber kesulitan yang tidak relevan, petunjuk yang tidak diinginkan, dan faktor-faktor lain yang dapat mendistorsi hasil, keta memberikan reliabilitas dan validitas. Bahkan, kebanyakan saran untuk membuat tes prestasi dan menyiapkan penilaian kinerja ditujukan untuk meningkatkan reliabilitas hasil penilaian dan validitas interpretasi yang kita buat darinya.
Pembahasan yang lebih mendalam mengenai validitas dan reliabilitas dan metode untuk menentukannya disajikan di bab berikutnya. Walaupun penilaian berkualitas tinggi bisa dibuat tanpa kajian detail mengenai validitas dan reliabilits, pemahaman kosep dasar yang terlibat dapat berkontribusi pada peningkatan ketrampilan dalam menyiapkan prosedur penilaian, membuat interpretasi hasil yang tepat, dan menggunakan hasil secara efektif.
Beberapa fitur paling penting yang meningkatkan validitas dan reliabilitas hasil penilaian disajikan di tabel 3.2. Tabel ini menjelaskan bahwa perhatian terhadap validitas dan reliabilitas terjadi di tahap awal perencanaan dan persiapan penilaian, bukan setelah hasil penilaian didapatkan. Prosedur yang terdaftar di Tabel 3.2 akan dijelaskan secara lebih detail di bab-bab mengenai menyiapkan tes dan penilaian berbasis kinerja. Disini, kita hanya menekankan pentingnya prosedur itu dalam mendapatkan interpretasi valid dan reliabel dari hasil penilaian dan kebutuhan untuk perencanaan penilaian awal untuk “membangun” fitur yang diinginkan.

Tabel.3.2.Ciri-ciri yang diharapkan untuk Meningkatkan Validitas dan Reliabilitas dari  penilaian

Ciri yang diharapkan
Langkah-langkah yang diikuti
1 . Menentukan hasil belajar yang jelas

1 . hasil belajar berupa kinerja
2 . tugas belajar diwujudkan dalam tugas yang jelas
2 . menyiapkan aspek prestasi yang akan dinilai dan sampel tugas yang akan digunakan .

3 . Tugas-tugas relevan dengan hasil belajar yang akan diukur .

3 . Kinerja yang dinilai sesuai daengan hasil belajar yang diharapkan.

4 . Tugas yang diberikan sesuai dengan tingkat kemampuan berpikir siswa.

4 . Tingkat kesulitan penilaian didasarkan pada tugas belajar, kemampuan siswa ,dan hasil belajar yang diharapkan.
5 . Tugas yang diberikan berfungsi membedakan antara yang berprestasi dan tidak berprestasi
5 . Ikuti panduan umum dan khusus tentang prosedur penilaian.

6 . Tugas yang diberikan tepat mengukur hasil belajar yang diharapkan.

6 . Usia siswa atau waktu yang tersedia membatasi penilaian.
7 . Prosedur  berkontribusi terhadap efisiensi persiapan dan penggunaan .
7 . Menulis petunjuk yang jelas dan mengatur prosedur untuk memudahkan administrasi,menilai, dan menginterpretasi


Kesimpulan

1.      Perencanaan penilaian harus sesuai tujuan pembelajaran.
2.      Tujuan pembelajaran harus selaras dengan tujuan sekolah dan mencerminkan tujuan nasional
3.      Perencanaan penilaian mempertimbangan hasil belajar yang ingin dicapai.
4.      Taksonomi revisi  berguna untuk ( 1 ) mengidentifikasi ragam pembelajaran yang digunakan untuk mencapai hasil belajar yang diharapkan , (2 )  merencanakan kegiatan pembelajaran , (3 )merencanakan metode penilaian , dan (4 ) memeriksa keselarasan antara tujuan , proses pembelajaran, dan penilaian .
5.      Perencanaan  penilaian harus menjadi bagian dari perencanaan pembelajaran sehingga
metode penilaian  selaras dengan tujuan pembelajaran dan kegiatan pembelajaran .
6.      Tujuan pembelajaran harus dinyatakan dalam kinerja siswa yang ditunjukkan ada saat akhir pembelajaran.
7.       Tes prestasi kelas dapat dirancang untuk mengukur semua jenis hasil belajar mulai dari yang sederhana sampai yang kompleks . Kinerja diukur  harus sesuai dengan kinerja yang tertuang  dalam tujuan pembelajaran.
8.      Penilaian kinerja berkaitan dengan keterampilan yang dapat diamati ( misalnya ,
berbicara ) atau produk ( misalnya , menulis ) dan biasanya memerlukan penggunaan
checklist , skala rating , atau rubrik penilaian ( panduan penilaian ) .
9.      Penilaian portofolio memberikan penilaian yang komprehensif dari prestasi siswa
dan memberikan kesempatan bagi siswa untuk merefleksikan apa yang sedang dipelajari .
10.  Siswa harus diberikan butir tes sebelum tes, dan instrumen kinerja sebelum memulai kegiatan kinerja, sehingga mereka memiliki target pencapaian dalam belajarnya.
11.   Validitas dan reliabilitas adalah dua karakteristik yang penting dari metode penilaian dan harus dipertimbangkan selama perencanaan dan persiapan prosedur penilaian

12.   Penilaian yang valid dan reabilitas dapat menginterpretasikan hasil belajar dengan jelas.

0 komentar:

Post a Comment

Blogroll

×

About