Обучение выборке с использованием методов положительного подкрепления

Кто не наблюдал с трепетом, как бордер-колли в местном парке парит в воздухе, хватает фрисби на полпути и мчится обратно к своему владельцу, бросая фрисби и ожидая с нетерпением следующего броска? Играть с собакой — это весело. Это также отличный способ укрепить связь между собакой и человеком, удовлетворить инстинкты вашей собаки добычей/преследователем и обеспечить достаточное количество упражнений, чтобы избавиться от избыточной энергии, которая может сделать ее проблемой для жизни. Формальное получение также требуется для более высоких уровней соревнований по послушанию.

Некоторые собаки являются естественными ретриверами. Чтобы научить их приносить, нужно направить поведение в нужное русло. Другие собаки не такие, и хотя обучение их апортировке может показаться непреодолимой проблемой, это не так сложно, как кажется. Есть ограничения, конечно. Ваш 150-фунтовый ньюфаундленд может никогда не летать по воздуху, как бордер-колли, но он, безусловно, может научиться тянуть.

По-старому

Когда-то в недалеком прошлом мир дрессировки собак почти повсеместно соглашался с тем, что собак нужно обучать «принудительной проводке». Если вы хотели надежного извлечения, собаки должны были знать, что они будут наказаны, если откажутся взять обозначенный объект и вернуть его. Много лет назад моя помесь терьера, Джози, стала несчастной жертвой этой философии дрессировки.

Вопреки здравому смыслу, убежденный, что мой тренер знает лучше, я научил Джози подтягиваться с помощью традиционного принудительного «щипка за ухо». Мы готовились к упражнениям на ринге открытого класса, «Подтягивание на ровной поверхности» и «Подтягивание через прыжок в высоту». Мой тренер был высокопоставленным, известным в стране тренером по послушанию и участником соревнований. Я восхищался и уважал ее. Я был просто скромным владельцем собаки — что я знал?

Не обращая внимания на свое беспокойство, я покорно накинул ее ушную раковину на цепочку удавки, сказал:«Возьми!» и ущипнул ее. Когда она открыла рот, чтобы протестующе взвизгнуть, я сунул гантель ей в рот. Вуаля! Она училась извлекать.

Это сработало. Мы с легкостью прошли открытый класс и заработали титул CDX (отличная собака-компаньон) на трех выставках, набрав 197,5 баллов из 200 возможных.

Тем временем мы приступили к обучению полезности, где нам предстояло выполнить упражнение «Распознавание запахов». В Scent Discrimination собака не просто достает гантель, она должна отличить ту, на которой есть запах ее хозяина, из нескольких, лежащих вместе на земле, и подобрать только эту. Упражнение выполняется дважды – один раз с кожаными изделиями, один раз с металлическими. Кожаные гантели не представляли для Джози проблемы, но вот металлические она ненавидела.

Многие собаки не любят держать металл во рту. Зубы, царапающие металл, должны вызывать у них ощущение «ногтей на доске». Тренеры используют некоторые приемы, например, нанесение на гантели прозрачного пластикового покрытия. Мы испробовали все приемы. Джози по-прежнему не покупала.

«Ущипните сильнее», — подбодрил мой тренер. «Вы должны заставить ее сделать это».

Джози и я усердно тренировались. Направленный прыжок и направленная подтягивание давались ей легко. Упражнение «Сигнал» было несложным. Но когда я принес статьи о дискриминации по запаху, свет в ее глазах померк, и она бросила на меня умоляющие взгляды, умоляя меня не заставлять ее это делать. Я упорствовал, пока однажды не вытащил статьи, которые Джози спрятала под палубу и не вынимала.

Наконец, я понял, насколько неправильно было щипать ухо. Я убрал статьи и больше никогда их не выдавал. Если дрессировка означала разрушение отношений между мной и моей собакой, меня это больше не интересовало.

Отрицательное подкрепление
Многие дрессировщики до сих пор придерживаются принудительных методов обучения подаче. Пощипывание за ухо — это широко используемый метод тренировки, основанный на силе, в котором используется концепция, известная как "негативное подкрепление".

Отрицательное подкрепление означает, что поведение собаки избавляет от плохого. Щипаем за ухо (плохо), собака берет гантель, щипит за ухо уходит. Собака усваивает, что если она не вернётся, ей будет больно. Он выбирает получить. Как и многие силовые методы дрессировки, он работает со многими собаками в течение длительного времени. Это работало с Джози, пока мы не наткнулись на изделия с запахом металла.

К сожалению, существует вполне реальный потенциал негативных побочных эффектов, когда мы используем физическую силу для тренировок; побочные эффекты, которые могут навсегда испортить отношения. Собака учится ассоциировать ваши руки с болью. Он может потерять интерес к тренировкам. Хуже того, он может потерять доверие к вам. Хотя традиционным дрессировщикам нравится верить, что принудительная подача учит собаку тому, что она должна нести, даже если она этого не хочет, на самом деле собака всегда может решить не тянуть и рисковать последствиями, как это сделала Джози, когда она спряталась под палуба. У собаки всегда есть выбор.

Пощипывание за ухо — не единственный метод принуждения, используемый для обучения извлечению. Бланш Сондерс (ныне покойная), очень уважаемый тренер по послушанию в 1950-х и 60-х годах, учит принудительной проводке в своей книге «Полная книга о послушании собак». Ее метод обучения собаки держать гантель бесспорно суров:

«Каждый раз, когда ваша собака роняет предмет, крепко держите ее, пока вы надеваете наручники на нос. Скажите «Фуи!» недовольным тоном. . . Каждый раз, когда он ее роняет, коррекция становится все более серьезной».

Я рад сообщить, что никогда не бил Джози по носу.

Позитивное подкрепление:новая волна
Если вы просто хотите, чтобы ваша собака приносила теннисный мяч, который вы бросаете ей на заднем дворе, или вы присматриваетесь к продвинутым титулам послушания и чемпионатам по фрисби, есть эффективный способ научить вашу собаку приносить мяч, используя концепцию позитивного поведения. подкрепление (при котором поведение собаки приводит к хорошему).

При обучении с положительным подкреплением вы заставляете собаку предлагать желаемое поведение без применения силы, а затем вознаграждаете ее за это. Все живые существа повторяют действия, которые они считают полезными.

Когда вы хотите тренировать простое поведение, например сидеть, легко увидеть, как оно работает. Вы держите лакомство над головой собаки, она садится, вы используете свой маркер вознаграждения (например, «Щелкните!» или слово «Да!»), чтобы дать ей понять, что она только что совершила полезное поведение, а затем кормите ее лакомством. Щелкая и вознаграждая за посадку несколько раз, вы заставляете собаку предлагать посадки все чаще и чаще и надежнее. Когда вы уверены, что он сядет, вы добавляете словесный сигнал «Сидеть!» поэтому он предлагает такое поведение, когда вы об этом просите, а не только когда вы кладете лакомство над его головой.

Со временем вы сокращаете использование угощений с помощью процесса, известного как случайное (или переменное) подкрепление, щелкая и вознаграждая некоторые сидячие места, но не все. На этом этапе, если вы постоянно нажимаете! и вознаграждайте только быстрые посадки, например, вы можете «сформировать» собаку, чтобы она садилась быстрее, когда ее об этом просят.

Извлечение представляет собой сложное поведение. В то время как некоторые собаки являются естественными ретриверами, которые легко и охотно подбирают предметы, другие нет, и их нужно поощрять брать предметы в рот. Даже естественные ретриверы могут научиться такому поведению, как «держись подальше», которое мешает хорошей игре в апорт. Сколько усилий вам нужно приложить для дрессировки, зависит от природных склонностей вашей собаки, а также от ваших целей дрессировки. Формальное получение ринга на шоу значительно сложнее, чем просто попросить лабрадора бросить свой теннисный мяч к вашим ногам, чтобы вы могли бросить его снова.

Разбивка задач на этапы
Всякий раз, когда вы хотите натренировать сложное поведение, вам нужно визуализировать конечный продукт (в данном случае извлечение) и разбить его на маленькие шаги. На заднем дворе вы хотите бросить мяч, фрисби или игрушку, и ваша собака побежит за ним, подберет его, принесет вам и отдаст обратно. Если разбить на маленькие шаги, это будет выглядеть так:

1. Вежливо подождите, пока я не брошу мяч
2. Беги за ним, когда я его бросаю
3. Поднимите его
4. Держи во рту
5. Верни его мне
6. Бросай, когда будешь здесь

Давайте посмотрим, как вы будете тренировать это простое упражнение "принеси с заднего двора".

Хотя мы собираемся изучить этапы извлечения по порядку, вам не нужно обучать их по порядку. Как только ваша собака освоит каждый из шагов, вы сможете сложить их вместе в правильном порядке, чтобы выполнить «Принеси».

• Подождите, пока я бросу
Собаки, которые в восторге от поиска, часто одержимы своей фрисби или теннисным мячом, иногда до такой степени, что это опасно. Вы можете потерять палец, если Скиппи попытается выхватить мяч из вашей руки, когда вы будете готовиться к броску. Мы можем использовать негативное наказание, чтобы научить Скиппи перестать прыгать. Хотя мы ассоциируем слово «наказание» с суровыми наказаниями, негативное наказание вовсе не является суровым или физическим. Это просто означает, что «поведение собаки избавляет от хороших вещей». Позитивные тренеры часто используют негативное наказание, потому что оно не связано с применением физической силы.

Попросите собаку сесть и поднимите мяч, чтобы бросить. Если он прыгнет за ним, смахните его за спину и подождите, пока он снова сядет. Каждый раз, когда он садится, появляется мяч. Каждый раз, когда он прыгает на вас, мяч исчезает. В первый раз, когда он останется сидеть, когда вы достаете мяч, скажите «Да!» и быстро бросить. (Это произойдет намного раньше, чем вы думаете — часто это занимает меньше пяти минут.) Эта часть — положительное подкрепление:поведение Скиппи (сидение) приводит к хорошему (вы бросаете мяч). В этом случае вам не нужно пищевое угощение. Скиппи получает «жизненную награду» — он может гоняться за мячом, что даже лучше, чем еда! С этого момента Скиппи никогда не будет преследовать мяч, если он подпрыгнет; только если сидит. Как только он выяснит это, он будет сидеть сложа руки, пытаясь заставить вас бросить!

• Бегите за ним, когда я бросаю
Многие собаки будут преследовать то, что движется, но не поднимут его. Это нормально — пикап — это отдельное поведение. Выберите игрушку, которая действительно нравится вашей собаке, поиграйте с ней, пока она не заинтересуется, а затем бросьте ее на небольшое расстояние. Если он побежит за ним, скажите «Иди!» и когда он доберется до нее, щелкните! или сказать «Да!» и угостите его лакомством. Он может даже поднять его. Если он это сделает, обязательно щелкните! и вознаграждение. Сначала он может пройти к ней лишь часть пути. Тоже норм. Просто убедитесь, что вы нажмите! пока он направляется к нему, а не после того, как он повернется. Помните, клик! отмечает поведение, которое вы хотите, чтобы он повторил. Если вы нажмете! слишком поздно, вы поощряете его за то, что он вернулся к вам, а не за то, что он пошел к игрушке.

Как только он поймет, вы можете нажать! только для все более близких подходов к объекту. Если он пробежит коротко, вообще ничего не делайте. Не говори «Нет», не щелкай! и не говори «Давай!» опять таки. Просто подожди. Когда он понимает, что его не щелкнут, он может снова направиться к объекту. (Это очень хороший момент, чтобы щелкнуть! и вознаградить.) Если он этого не сделает, спокойно попробуйте еще раз, на этот раз бросив его на более короткое расстояние. Это может быть признаком того, что вы слишком быстро подняли критерии и вам нужно сделать шаг назад. Попытка двигаться вперед слишком быстро является распространенной тренировочной ошибкой. Кажется логичным, что если Скиппи побежит за предметом, когда вы подбросите его на пять футов, он сделает то же самое на десяти футах. Но может и нет. Возможно, нам придется увеличить расстояние на один фут, а не на пять футов.

• Пикап
Это может быть как самой легкой, так и самой сложной частью извлечения. Натуральный ретривер уберет собаку во сне. На самом деле, большинство щенков естественным образом все подбирают. Если вы постоянно наказываете свою маленькую собаку за то, что она берет щенка, вы можете подавить подающего надежды натурального ретривера. Вместо этого, если вы уберете все неподходящие предметы и будете постоянно вознаграждать его Щелчком! и угощение за сбор его игрушек, вы поощрите его склонность к извлечению информации.

Если ваша собака не является природным ретривером, не отчаивайтесь. Назначьте его самую любимую игрушку в качестве предмета, который он может принести. Он может играть с ним только тогда, когда вы играете в игру «принеси». Теперь поставьте его на землю. (Не бросайте его!) Если он поднимет его, нажмите! и вознаграждение. Если он только понюхает, клик! и вознаграждение. Если он просто взглянет в сторону объекта, нажмите! и вознаграждение.

Вначале поощряйте собаку только за то, что она обращает внимание на объект. В любой серии ответов «внимание» с игрушкой «принеси» иногда он будет нюхать или трогать ее, иногда просто смотреть на нее, а иногда прикладывать к ней рот — может быть, даже брать ее.

Как только он поймет игру, вы сможете повысить ставку (это называется «поднять критерии»); Вы только нажмите! и лечить, если он прикасается к нему. Позже вы щелкните! только если он на самом деле прикоснется к нему ртом, и, наконец, только если он его поднимет. Как только он начнет регулярно брать игрушку, добавьте словесный сигнал «Принеси!», «Возьми!», «Возьми» или что-то еще, что вы планируете использовать.

Если в какой-то момент ваша собака «бросит», то есть перестанет играть в игру, возможно, вы слишком быстро подняли критерии или слишком долго дрессировали. Тренировки обычно должны длиться от 5 до 15 минут и проводиться несколько раз в день. Если вы получите два или три действительно хороших ответа подряд, прервите сессию с большим количеством похвал и «Джекпотом!» - целая горсть угощений. Всегда лучше остановиться, когда вы и ваша собака весело проводите время и выигрываете, а не когда один или оба из вас скучают или расстроены.

• Держите его
Пикап — это только полдела. Скиппи должен держать его во рту, если он собирается вернуть его вам. В любой серии подхватов иногда он продержится дольше других. Как только он начнет легко брать игрушку, постепенно повышайте критерии, нажимая и вознаграждая за более продолжительное удержание.

«Постепенно» здесь ключевое слово. Сначала ваши приращения будут измеряться долями секунд, и очень важно, чтобы вы нажимали! пока игрушка еще во рту у вашей собаки! Если вы постоянно нажимаете! слишком поздно, после того как он уронил игрушку, вы вознаграждаете его за то, что он уронил, а не удержал.

• Верните мне это
Теперь становится легче. Как только Скиппи будет держать игрушку в течение трех-пяти секунд, отойдите от него, когда он смотрит на вас. (Вы можете попробовать позвать его к себе, но иногда произнесение его имени заставит его бросить игрушку.) Он должен начать двигаться к вам, желательно с игрушкой во рту. Нажмите! и вознаграждение. Он, вероятно, бросит игрушку, когда вы нажмете!, но это нормально, пока нажимайте! происходит, пока игрушка все еще у него во рту.

Постепенно повышайте критерии, чтобы он приблизился к вам еще до того, как вы нажмете!, и в скором времени он будет доводить дело до конца.

• Бросьте это
Вы можете попрактиковаться в этом фрагменте «Fetch!» каждый раз, когда у Скиппи что-то во рту. Предложите ему угощение. Когда он откроет рот, чтобы взять лакомство, скажите «Брось!» или «Дай!» радостным тоном. (Если вы используете сердитый или запугивающий тон, он может держаться крепче, а не падать.) В конце концов, он «Упадет!» по словесному сигналу без угощения. Тогда вы можете нажать! и угостите его после того, как он упадет, и, используя случайное подкрепление, со временем вы можете уменьшить использование угощения. (Это также полезное упражнение, чтобы научить его не защищаться и не проявлять агрессию по отношению к вам, когда он играет со своими игрушками.)

Если он не хочет обменивать предмет на лакомство, попробуйте бросить одно или несколько лакомств на пол или использовать лакомство повкуснее. Делайте это часто с его собственными игрушками. Затем вы можете вернуть игрушку (или бросить ее ему) в качестве награды. Он узнает, что предоставление вам объекта поддерживает игру. Если вы сделаете это только с теми вещами, которых у него не должно быть, он поймет, что когда он роняет предмет, он теряет его навсегда, и он будет все меньше и меньше хотеть давать вам вещи, когда вы просите.

Вы можете решить, допустимо ли, чтобы Скиппи бросил предмет к вашим ногам, или вы хотите, чтобы предмет попал вам в руку. Упасть под ноги легче. Просто позвольте ему упасть, когда вы предложите ему угощение. Если вы думаете, что он попытается схватить его, когда вы потянетесь к нему, заставьте его грызть лакомство в вашей руке, пока вы наклоняетесь и поднимаете его. Тогда дайте ему лакомство. Если вы хотите, чтобы он положил его вам в руку, вам нужно сначала просунуть руку под предмет, чтобы он упал в вашу руку, когда он его уронит. Позже вы можете настоять, чтобы он отдал его вам в руку, игнорируя его, если он упадет на пол, пока он не поднимет его и не попытается снова.

Собираем части вместе
Теперь, когда Скиппи знает все части, мы можем собрать их воедино. Он сидит и вежливо ждет, пока вы не бросите ему мяч. Он бежит за ним, когда вы его бросаете, поднимает его, держит, возвращает вам и бросает, когда вы просите. Его хвост виляет, глаза блестят, и он жаждет, чтобы вы снова его бросили. Да, у него есть выбор, восстанавливать или нет. У него всегда есть выбор. Если вы хорошо тренировались, он веселится и наслаждается игрой. Как вы думаете, каким будет его выбор?

Сегодня Джози достает самые разные предметы, виляя хвостом и счастливо блестя в глазах. В последние годы, когда я снова познакомил ее с проводкой, используя положительные методы, я понял, что она никогда не была в восторге от проводки, несмотря на ее 197,5 баллов. Она покорно доставала гантель в состоянии стресса, в страхе и ожидании исправления. Теперь она с радостью соглашается принести, когда ее об этом просят, уверенная, что ее не накажут. Мы никогда не возвращались к изделиям с запахом металла; Я не горю желанием возобновить выставочную карьеру. Но я уверен, что мы могли бы, если бы захотели.

– Пэт Миллер