Udemy - AWS Machine Learning, AI, SageMaker - With Python

Summary

Section 3 Linear Regression

23. Summary

Squared Loss Function is parabolic in nature. It has an important property of not only telling us the loss at a given weight, but also tells us which way to go to minimize loss

Gradient Descent optimization algorithm uses loss function to move the weights of all the features and iteratively adjusts the weights until optimal value is reached

Batch Gradient Descent predicts y value for all training examples and then adjusts the value of weights based on loss. It can converge much slower when training set is very large. Training set order does not matter as every single example in the training set is considered before making adjustments.

Stochastic Gradient Descent predicts y value for next training example and immediately adjusts the value of weights. It can converge faster when training set is very large. Training set should be random order otherwise model will not learn correctly. AWS ML uses stochastic Gradient Descent

Section 4 AWS - Linear Regression Models

27. Concept - How to evaluate regression model accuracy?

Linear Regression - Residuals

- AWS ML Console provides a Histogram that shows distribution of examples that were over estimated and underestimated and to what extent

- Available as "explore model performance" option under Evaluation -> Summary

- Ideal: Over/Under estimation should be a normal curve centered at 0.

- Structural Issue: When you observe vast majority of example falling into one side. Adding more relevant features can help remedy the situation.

31. Model Performance Summary and Conclusion

RMSE (Root Mean Square Error) is the evaluation metric for Linear Regression. Smaller the value of RMSE, better the predictive accuracy of model. Perfect model would have RMSE of 0.

To prepare data for AWS ML, it requires data to be in

1. CSV file available in S3

2. AWS Redshift Datawarehouse

3. AWS Relational Database Service (RDS) MySQL DB

Batch Prediction results are stored by AWS ML to S3 in the specified bucket

We pulled the data from S3 to local folder and plotted them

Based on the distribution of data, AWS ML suggests a recipe for processing data.

In case of numeric features, it may suggest binning the data instead of treating a raw numeric

For this example, treating x as numeric provided best results

Section 5 Adding Features To Improve Model

35. Summary

1. Underfitting occurs when model does not accurately capture relationship between features and target

2. Underfitting would cause large training errors and evaluation errors   

  Training RMSE: 385.1816, Evaluation RMSE: 257.8979, Baseline RMSE: 437.311

3. Evaluation Summary - Prediction overestimation and underestimation histogram provided by AWS ML console provides important clues on how the model is behaving, under-estimation and over-estimation needs to be balanced and centered around 0

4. Box plot also highlights distribution differences between predicted and actual-negatives

5. To address underfitting, add higher order polynomials or more relevant features to capture complex relationship

  Training RMSE: 132.2032, Evaluation RMSE: 63.6847, Baseline RMSE: 437.311

6. When working with datasets containing 100s or even 1000s of features, it important to rely on these metrics and distribution to gain insight into model performance

Section 6 Normalization

37. Concept: Normalization to smoothen magnitude differences

Normalization Transformation (Numeric)

- When there are very large differences in magnitude of features, features that have large magnitude can dominate Model

- Example : We saw this in Quadratic Extra Features dataset

- Normalization is a process of transforming features to have a mean of 0 and variance of 1. This will ensure all features have similar scale

  : Feature normalized = (feature - mean) / (sigma)

    where,

mean = mean of feature x

sigma = standard deviation of feature x

  : Usage : normalize (numericFeature0

- Optimization algorithm may also converge faster with normalized features compared to features that have very large scale differences

39. Summary

1. Having lot of features and complex features can help improve prediction accuracy

2. When feature ranges are orders of magnitude different, it can dominate the outcome. Normalization is a process of transforming features to have a mean of 0 and  variance of 1. This will ensure all feature have similar scale.

3. Without Normalization:

  Training RMSE: 83973.66, Evaluation RMSE: 158260.62, Baseline RMSE: 437.31

4. With Normalization:

  Training RMSE: 72.35, Evaluation RMSE: 51.7387, Baseline RMSE: 437.31

5. Normalization can be easily enabled using AWS ML Transformation recipes

Section 7 Adding Complex Features

46. Summary

Adding polynomial features allows us fit more complex shapes

To add polynomial features that combines all input features, use sci-kit module library. Anaconda includes these modules by default

We saw good performance with degree 4 and any additional feature may bring incremental improvement, but with added complexity of managing features.

1. Model Degree 1 Training RMSE:0.5063, Evaluation RMSE:0.4308, Baseline RMSE:0.689

2. Model Degree 4 Training RMSE:0.2563, Evaluation RMSE:0.1493, Baseline RMSE:0.689

3. Model Degree 15 Training RMSE:0.2984, Evaluation RMSE:0.1222, Baseline RMSE:0.689

Section 8 Kaggle Bike Hourly Rental Prediction

50. Linear Regression Wrapup and Summary

AWS ML - Linear Regression

* Linear Model

* Gradient Descent and Stochastic Gradient Descent

* Squared Error Loss Function

* AWS ML Training, Evaluation, Interactive Prediction, Batch Prediction

* Prediction Quality

  - RMSE

  - Residual Histograms

* Data visualization

* Normalization

* Higher order polynomials

Section 9 - Logistic Regression Models

Image result for Linear vs. Logistic regression model

In short: Linear Regression gives continuous output. i.e. any value between a range of values. ... GLM(Generalized linear models) does not assume a linear relationship between dependent and independent variables. However, it assumes a linear relationship between link function and independent variables in logit model.

https://stackoverflow.com/questions/12146914/what-is-the-difference-between-linear-regression-and-logistic-regression

https://techdifferences.com/difference-between-linear-and-logistic-regression.html

58. Summary

Binary Classifier : Predicts positive class probability of an observation

Logistic or Sigmod function has an important property where output is between 0 and 1 for any input. This output is used by binary classifiers as a probability of positive class.

True Positive - Samples that are actual-positives correctly predicted as positive

True Negative - Samples that are actual-negatives correctly predicted as negative

False Negative - Sampleas that are actual-positives incorrectly predicted as negative

False Positive - Samples that are actual-negatives incorrectly predicted as positive

Logistic Loss Function is parabolic in nature. It has an important property of not only telling us the loss at a given weight. but also tells us which way to go to minimize loss

Gradient Descent optimization algorithm uses loss function to move the weights of all the features and iteratively adjusts the weights until optimal value is reached

Batch Gradient Descent predicts y value for all training examples and then adjusts the value of weights based on loss. It can converge much slower when training set is very large. Training set order does not matter as every single example in the training set is considered before making adjustments.

Stochastic Gradient Descent predicts y value for next training example and immediately adjusts the value of weights. It can converge faster when training set is very large. Training set should be random order otherwise model will not learn correctly. AWS ML uses stochastic Gradient Descent

Section 10 

62

Classification Metrics

True Positive = count(model correctly predicted positives). Students who passed exam correctly classified as pass.

True Negative = count (model correctly predicted negatives). Students who failed exam correctly classfied as fail.

False Positive = count (model misclassified negative as positive). Students who failed exam incorrectly classified as pass.

False Negative = count (model misclassified positive as negative). Students who passes exam incorrectly classified as fail.

* True Positive Rate, Recall, Probability of detection - Fraction of positive predicted correctly. larger value indicates better predictive accuracy.

TPR = True Positive / Actual Positive

* False Positive Rate, probability of false alarm - Fraction of negative predicted as positive. Smaller value indicates better predictive accuracy

FPR = False Positive / Actual Negative

* Precision - Fraction of true positive among all predicted positive. Larger value indicates better predictive accuracy

Precision = True Positive / Predicted Positive

* Accuracy - Fraction of correct predictions. Larger value indicates better predictive accuracy

Accuracy = True Positive + True Negative / negative

where, n is the number of examples

63. 

Classification Insights with AWS Histograms

Histogram - Binary Classifier

* Positive and Negative histograms

* Interactive tool to test effect of various cut-off thresholds

* Ability to save a threshold for the model

* Available under :

Model -> Evaluation Summary -> Explore Performance

https://docs.aws.amazon.com/machine-learning/latest/dg/binary-model-insights.html

64

Concept: AUC Metric

AUC - Binary Classifer

* Area Under Curve(AUC) metric - 0 to 1. Larger Value indicates better predictive accuracy

* AUC is the area of a curve formed by plotting True Positive Rate against False positive Rate at different cut-off thresholds

* AUC value of 0.5 is baseline and it is considered random-guess

* AUC closer to 1 indicates better predictive accuracy

* AUC closer to 0 indicates model has learned correct patterns, but flipping predictions (0's are predicted as 1's and vice versa).

69 Summary

For Binary Classification, Area Under Curve (AUC) is the evaluation metric to assess the quality of model

AUC is the area of a curve formed by plotting True Positive Rate against False Positive Rate at different cut-off thresholds.

* AUC metric closer to 1 indicates highly accurate prediction

* AUC metric 0.5 indicates random guess - Baseline AUC

* AUC metric closer to 0 indicates model has learned from the features, but predictions are flipped

Advanced Metrics

* Accuracy - Fraction of correct predictions. Larger value indicates better predictive accuracy

* True Positive Rate - Probability of detection. Out of all positive, how many were correctly predicted as positive. Larger value indicates better predictive accuracy

* False Positive Rate _ Probability of false alarm. Smaller value indicates better predictive accuracy. Out of all negatives, how many were incorrectly predicted as positive.

* Precision - out of all predicted as positive, how man are true positive? Larger value indicates better predictive accuracy.

Section 11

72 Concept: Evaluating Predictive Quality of Multiclass Classifiers

Multi-class metrics

* F1 Score - Harmonic mean of Recall and Precision. Larger F1 Score indicates better predictive accuracy. Binary Metic

F1 Score = 2.Precision.Recall / Precision + Recall

* Average F1 Score - For multi-class problems, average of class wise F1 score is used for accessing predictive quality

* Baseline F1 Score - Hypothentical model that predicts only most frequent class as the answer 

Concept: Confusion Matrix To Evaluating Predictive Quality

Multiclass - Metrics - Confusion Matrix

* Accessible from Model -> Evaluation Summary -> Explore Model performance

* Concise table that shows percentage and count of correct classification and incorrect classifications

* Visual look at model performance

* Up to 10 classes are shown - listed from most frequent to least frequent

* For more than 10 classes, first 9 most freq. classes are shown and 10th class will collapse rest of the classes and mark as otherwise

* Option to download confusion matrix

* https://docs.aws.amazon.com/machine-learning/latest/dg/multiclass-model-insights.html

77. Summary

Multi-Class Evaluation Metric

1. F1 Score is a binary classification metic. It is harmonic mean of precision and recall

F1 Score = 2 X Precision X Recall / (Precision + Recall)

Higher F1 Score reflects better predictive accuracy

2. Multi-Class Evaluation

Average of class wise F1 Score

3. Baseline F1 Score = Hypothetical model that predicts only most frequent class as the answer

4. Visualization - Confusion Matrix - Available on AWS ML Console

Matrix. Rows = true class. Columns = predicted class

Cell color - diagonal indicates true class prediction %

Cell color - non-diagonal indicates incorrect prediction %

Last column is F1 score for that class. Last but one column is true class distribution

Last row is predicted class distribution

Upto 10 classes are shown - listed from most frequent to least frequent

For more than 10 classes, first 9 most freq. classes are shown and 10th class will collapse rest of the classes and mark as otherwise

You can download the confusion matrix thru url-Explore Performance page under Evaluations

Prediction Summary

1. Eval with default recipe settings. Average F1 score: 0.905

2. Eval with numeric recipe settings: Average F1 score: 0.827

3. Batch prediction Results (predict all 150 example outcome)

  a. With default recipe settings: Average F1 Score: 0.973

  b. With numeric recipe settings:Average F1 Score: 0.78

4. Classification was better with binning. Versicolor classification was impacted when numeric setting was used

5. Higher F1 Score implies better prediction accuracy

Section 12 Text Based Classification with AWS Twitter Dataset

78. AWS Twitter Feed Classification for Customer Service

https://github.com/aws-samples/machine-learning-samples/tree/master/social-media 

79. Lab: Train, Evaluate Model and Assess Predictive Quality, 80. Lab: Interactive Prediction with AWS

- Practice

81. Logistic Regression Summary

AWS ML - Logistic Regression

- Linear Model

- Logistic/Sigmoid Function to produce a probability

- Stochastic Gradient Descent

- Logistic Loss function

- AWS ML Training, Evaluation, Interactive Prediction, Batch Prediction

- Prediction Quality 

  : TPR

  : FPR

  : Accuracy

  :Prediction

  : AUC Metrics

  : F1 Score

  : Average F1 Score for multi-class

- Data visualization

- Text Processing

- Normalization

- Higher order polynomials

Section 13

82. Recipe Overview

Recipe

- Recipe is a set of instructions for pre-processing data

- Recipe is a JSON like document

- Consists of three parts: Groups, Assignments, Outputs

- Groups - Groups are collection of features for which similar transformation needs to be applied

  : Built-in Group : ALL_TEXT, ALL_NUMERIC, ALL_CATEGORICAL, ALL_BINARY

  : Define your own groups

- Assignments - Enable creation of new features derived from existing ones

- Outputs - List features used for learning process and optionally apply transformation

Recipe is automatically applied to training data, evaluation data and to data submitted through real-time and batch prediction APIs

83. Recepe Example

84. Text Transformation

* N-gram Text Transformation

- Tokenizes input text and combines them into a slideing window of n-words, where n is specified in the recipe

- Usage: ngram(textFeature, n), where n is the size

- By default all text data is tokenized with n=1

  : Example: "Customer requests urgent response" text is tokenized as {"Customer", "requests", "urgent", "response"}

- With n=2, it generates one word and two word combinations

  : {"Customer requests", "requests urgent", urgent response", "Customer", "requests", "urgent", "response"}

- N-grams of size up to 10 is supported

- N-grams breaks texts at whitespace. Punctuations will be considered part of word

- You can remove punctuations using no_punct transformation

* OSB Text Transformation

- Orthogonal Spare Bigram (OSB) Transformation provides more word combinations compared to n-gram

- Usage: osb(textFeature, size)

- Puts one underscore to indicate word boundary as well as every word skipped

- For example (AWS Document provided sample).

https://docs.aws.amazon.com/ko_kr/machine-learning/latest/dg/data-transformations-reference.html

Text: "The quick brown fox jumps over the lazy dog". osb(text,4)

WINDOW,{OSB GENERATED}

"The quick brown fox", {The_quick, The__brown, The___fox}

"quick brown fox jumps", {quick_brown, quick__fox, quick___jumps}

"brown fox jumps over", {brown_fox, brown__jumps, brown___over}

"fox jumps over the", {fox_jumps, fox__over, fox___the}

"jumps over the lazy", {jumps_over, jumps__the, jumps___lazy}

"over the lazy dog", {over_the, over__lazy, over___dog}

"the lazy dog", {the_lazy, the__dog}

"lazy dog", {lazy_dog}

* Lowercase and Punctuation

- Lower Case Transformation converts text to lowercase

  : Usage : lowercase(textFeature)

  : Example: "The Quick Brown Fox Jumps Over the Lazy Dog" ->  "the quick brown fox jumps over the lazy dog"

- Remove punctuation Transformation - removes punctuations at word boundaries

  : Usage: nopunct(textFeature)

  : Example: "Customer Number: 123. Ord-No: AB1235" will be by default tokenized as

    {"Customer","Number:","123.","Ord-No:","AB1235"}

  : With nopunct transformation -> {"Customer","Number","123","ord-No","AB1235"}

  : Note: only prefix, suffix punctuations are removed. Embedded punctuations are not removed "Ord-No"

85. Numeric Transformation - Quantile Binning

* Quantile Binning Transformation (Numeric)

- Used for converting a numeric value into a categorical bin number

- Usage: quantile_bin(numericFeature, n), where n is the number of bins

- AWS ML uses this information to establish n bins of equal size based on the distribution of all values of the specified numeric feature.

- It then maps incoming numericFeature value to corresponding bin and outputs bin number as categorical value

- AWS ML Recommendation: In some cases, relationship between numeric variable and target is not linear...... binning might be usful in those scenarios

- We actually saw where binning improved predictive accuracy with Iris Dataset

86. Numeric Transformation - Normalization

Normalization Transformation (Numeric)

- When there are very large differences in magnitude of features, features that have large magnitude can dominate Model

- Example: We saw this in Quadratic Extra Features dataset

- Normalization is a process of transforming features to have a mean of 0 and variance of 1. This will enshre all features have similar scale.

  : Example Feature normalized = (feature - mean)/(sigma)

    where,

mean = mean of feature x

sigma = standard deviation of feature x

  : Usage normalize(numericFeature)

- Optimization algorithm may also converge faster with normalized features compared to features that have very large scale differences

87. Cartesian Product Transformation - Categorical and Text

* Cartesian Product Transformation (Categorical, Text)

- Cartesian transformation generates permutations of two or more text and categorical input variables

- For example: Season and Hour combined may have stronger influence on bike rentals. Instead of treating these two as separate features, we can create a new feature Season_Hour that will combine these values.

- Usage cartesian(feature1, feature2)

- Combined features may be able to more accurately related the target attribute

Table

88. Summary

Data Transformation

Section: 14 Hyper Parameters, Model Optimization and Lifecycle

Hyper Parameters allow you to control the model building process and quality

90. Data Rearrangement, Maximum model Size, passes, Shuffle Type

Table

93. Improving Model Quality

Optimizing Model

- To improve a model following are some options

  : Add more training examples

  : Add more relevant features

  : Model hyperparameter tuning

- Quality Metrics of Training Data and Evaluation Data can provide important clues to improve model performance

94. Model Maintenance

- Models may need to be periodically rebuilt or updated to 

  : Keep in-sync with new patterns

  : Support new more relevant features

  : Support new class - in multi - class problems

  : Changes in assumptions or distribution of data that was used to train model

  : Changes to cut-off threshold

  Example: Home price changes month to month depending on several factors

- Have a plan to evaluate model with new data periodically. Example: Weekly, Monthly, Quartly

- Models are probabilistic in nature...

  : Binary Class - Provides bestAnswer(1 or 0) and a raw prediction score. Cut-off score is configurable

  : Multi Class - Provides prediction score for each class. It can be interpreted as probability of observation belonging to the class. Class with highest score is the best answer

  : Regression : Provides a score that contains raw numeric prediction of the target attribute.

- When models are changed, predicted results would also change - Quality metrics like AUC, F1 Score, RMSE can be used to determine whether to go ahead with proposed model change

95. AWS Machine Learning System Limits

- AWS ML imposes certain limits to ensure robust and reliable service

- Some are soft limits and can be increased by contacting AWS Customer Service

- Size of each observation: 100KB

- Size of training data: 100GB

- Size of batch prediction input: 1TB (single file limit. can be overcome by creating more batch files)

- No. of records per batch file: 100 million

- No. of variables/features: 10,000

- Throughput per second for realtime prediction: 200 requests/second

- Max Number of classes per multi-class model: 100

96. AWS Machine Learning Pricing

- Data Analysis and Model Building Fee - $0.42 per Hour of building time

  : Number of computer hours required for data analysis, model training and evaluation

  : Depends on size of input data, attributes, types of transformations applied

- Predictions Fees

  : Batch predictions - $0.10/1,000 predictions founded to the nearest 1,000

  : Real-time predictions - $0.0001 per prediction + Capacity reservation charge of $0.001 per hour for each 10MB provisioned for your model

Section 15 Integration of AWS Machine Learning With Your Application

98. Introduction

AWS ML Integration

- Speed!

  : Turn your ideas into cool products in a matter of days

  : Traditional approach would require months

- Highly scalable, secure service with redundancy built-in

  : Scale automatically to train model with very large datasets

  : Scale automatically to support high volume prediction needs

  : Real-time prediction with capacity reservation

  : Secure - Limit access to Authenticated and Authorized services and users

- Server less!

- Software Integration

  : AWS Machine Learning - Complete functionality is accessible through SDK and Command Line Interfaces

  : Model building and Prediction can be fully automated using SDK

  : AWS SDKs in multiple lanuages - Python, Java, .NET, Javascript, Ruby, C++, ....

  : Complete list languages https://aws.amazon.com/tools/ 

99. Integration Scenarios

Connectivity and Security Options

- You Data Center -> AWS ML Cloud Service  

  : Security: Key Based Authentication + IAM Policy + SSL

- AWS Hosted Application -> AWS ML Cloud Service

  : Security : IAM Role + SSL

- Browser, Apps on Phone -> AWS ML Cloud Service

  : Option 1: AWS Cognito Based Authentication + IAM Role + SSL

  : Choice of authentication providers: Cognito, Google, Amazon, Facebook, Twitter, OpenID, Customer

  : Option 2 : Key Based Authentication + IAM Policy + SSL

100. Security using IAM

Users belong to AWS root account. Cognito Users are application level users. Application belongs to AWS root account.

Troubleshooting AWS DeepRacer Issues

Here you'll find troubleshooting tips for frequently asked questions as well as late-coming bug fixes.

여기 자주 묻는 질문과 최근에 수정된 버그 관련한 troubleshooting tips들이 있습니다.

How to Switch AWS DeepRacer Compute Module Power Source from Battery to Power Outlet?

If the compute module battery level is low when you set up your AWS DeepRacer for the first time, follow the steps below to switch the compute power supply from the battery to a power outlet:

처음으로 AWS DeepRacer를 설정할 때 컴퓨팅 모듈 배터리 수준이 낮 으면 다음 단계에 따라 배터리에서 전원 콘센트로 컴퓨팅 전원 공급 장치를 전환하십시오.

1. Unplug the USB-C cable from the vehicle's compute power port.
   
   차량의 컴퓨 트 전원 포트에서 USB-C 케이블을 분리합니다.

2. Attach the AC power cord and the USB-C cable to the computer module power adapter (A). Plug the power cord to a power outlet (C) and plug the USB-C cable the vehicle's computer module power port (B).

AC 전원 코드와 USB-C 케이블을 컴퓨터 모듈 전원 어댑터 (A)에 연결하십시오. 전원 코드를 전원 콘센트 (C)에 꽂고 USB-C 케이블을 차량의 컴퓨터 모듈 전원 포트 (B)에 연결합니다.

How to Connect Your AWS DeepRacer to Your Wi-Fi Network?

To use your AWS DeepRacer, you must connect the vehicle to your home or office Wi-Fi network. To connect the vehicle to your Wi-Fi network, follow the steps below:

AWS DeepRacer를 사용하려면 차량을 가정용 또는 사무실 Wi-Fi 네트워크에 연결해야합니다. 차량을 Wi-Fi 네트워크에 연결하려면 다음 단계를 따르십시오.

1. Have a USB flash drive on hand.
   USB 플래시 드라이브를 준비하십시오.
   
   

2. Plug in the USB flash drive to your computer.
   USB 플래시 드라이브를 컴퓨터에 연결하십시오.
   
   

3. Open a web browser on your computer and navigate tohttps://d1.awsstatic.com/deepracer/wifi-creds.txt to download the Wi-Fi configuration file and copy it to the USB drive.
   컴퓨터에서 웹 브라우저를 열고 https://d1.awsstatic.com/deepracer/wifi-creds.txt로 이동하여 Wi-Fi 구성 파일을 다운로드하고 USB 드라이브로 복사하십시오.
   
   

4. Open the Wi-Fi configuration file in a text editor and type the name (SSID) and password of your Wi-Fi network in the corresponding fields.
   텍스트 편집기에서 Wi-Fi 구성 파일을 열고 해당 필드에 Wi-Fi 네트워크의 이름 (SSID)과 암호를 입력하십시오.
   
   

5. Eject the USB drive from your computer and then plug it into the USB port on the back of the vehicle.
   컴퓨터에서 USB 드라이브를 추출한 다음 차량 후면의 USB 포트에 연결하십시오.

Drive Your AWS DeepRacer Vehicle

After you have finished training and evaluating a AWS DeepRacer model in the AWS DeepRacer simulator, you can deploy the trained model to your AWS DeepRacer vehicle, set the vehicle to drive itself based on the trained model, and evaluate the performance in a physical environment to mimic a real-world autonomous racing experience.

AWS DeepRacer 시뮬레이터에서 AWS DeepRacer 모델을 교육하고 평가를 마친 후에는 숙련 된 모델을 AWS DeepRacer 차량에 배치하고 훈련 된 모델을 기반으로 차량을 운전하도록 설정하고 실제 환경에서의 성능을 평가할 수 있습니다. 실제 자율 경주 경험을 모방합니다.

To drive your vehicle for the first time, you must set up the vehicle, install any software updates and calibrate its drive-chain system. Before doing that, let's get an inspection of the vehicle.

차량을 처음 운전하려면 차량을 설치하고 소프트웨어 업데이트를 설치하고 드라이브 체인 시스템을 보정해야합니다. 그렇게하기 전에 차량 점검을 시작하십시오.

Inspect Your AWS DeepRacer Vehicle

The first AWS DeepRacer vehicle available is the AWS DeepRacer car. It is a Wi-Fi-enabled and battery-powered 1/18 scale model car with a camera mounted on the front and a compute module on the chassis. The scale model car, also known as the scale car, is capable of driving itself by running inference in the compute module, based on a deployed reinforcement learning model. Without deploying any reinforcement learning model, you can drive the manually.

첫 번째 AWS DeepRacer 용으로 사용할 수 있는 것은  AWS DeepRacer car입니다. Wi-Fi가 가능하고 배터리 구동 방식의 1/18 스케일 모델 차량으로 전면에 카메라가 장착되고 섀시의 컴퓨팅 모듈이 장착되어 있습니다. 스케일 자동차라고도 불리는 스케일 모델 자동차는 배치 된 reinforcement learning 모델을 기반으로 컴퓨팅 모듈에서 추론을 실행하여 스스로를 운전할 수 있습니다. reinforcement learning 모델을 배치하지 않고 수동으로 운전할 수도 있습니다.

Specification of AWS DeepRacer Car

Your AWS DeepRacer vehicle consists of the following modules and accessories:

AWS DeepRacer 차량은 다음 모듈 및 액세서리로 구성됩니다.

To get your AWS DeepRacer vehicle running, make sure that you have following items ready:

AWS DeepRacer 차량이 작동하게하려면 다음 품목이 준비되어 있어야합니다.

Set Up Your AWS DeepRacer Vehicle

To set up your AWS DeepRacer, go to https://aws.amazon.com/startyourengines and follow the on-screen instructions to prep the vehicle. The preparation includes

AWS DeepRacer를 설정하려면 https://aws.amazon.com/startyourengines로 이동 한 다음 화면의 지시에 따라 차량을 준비하십시오. 준비 내용은 다음과 같습니다.

After the preparation, you can proceed with testing drive your vehicle. For the instructions, see Drive Your AWS DeepRacer Vehicle.

준비가 끝나면 차량 운전 시험을 계속할 수 있습니다. 자세한 지침은 AWS DeepRacer 차량 운전을 참조하십시오.

Before going for a ride, you may want to calibrate your AWS DeepRacer vehicle to align the wheels, to set maximum steering, and to limit maximum throttle. For instructions, see Calibrate Your AWS DeepRacer Vehicle.

주행하기 전에 바퀴를 정렬하고 최대 조향을 설정하고 최대 스로틀을 제한하기 위해 AWS DeepRacer 차량을 보정해야 할 수 있습니다. 자세한 내용은 AWS DeepRacer 차량 보정을 참조하십시오.

Calibrate Your AWS DeepRacer Vehicle

Either before or after test driving your vehicle, you may want to calibrate the vehicle. To do so, follow the steps below:

차량 운전 시험 전후에 차량 보정을 원할 수 있습니다. 그렇게하려면 다음 단계를 따르십시오.

To calibrate your AWS DeepRacer vehicle:

1. Open the device console of your vehicle at https://{your_vehicle_device_console_ip_address}.

2. Open the Calibration page.

3. Calibrate the vehicle's controls, including the maximum throttle.

4. On the Calibration page, choose Edit in Steering and then follow the steps below to calibrate the vehicle's steering:
   보정 페이지에서 스티어링에서 편집을 선택한 다음 아래 단계에 따라 차량의 조향 보정을 조정하십시오.
   
   

   1. Raise the vehicle so that the wheels are free to rotate. Choose Next.
      바퀴가 자유롭게 회전 할 수 있도록 차량을 들어 올리십시오. 다음을 선택하십시오.
      
      

   2. Under Calibrate center on the device console, gradually move the slider to the position where the vehicles wheels become aligned in parallel. Set a number (e.g., 0) to record the position as the centering position. Choose Next.
      장치 콘솔의 조정 센터에서 차량 휠이 평행하게 정렬되는 위치로 슬라이더를 점차 이동하십시오. 위치를 중심 위치로 기록하는 숫자 (예 : 0)를 설정하십시오. 다음을 선택하십시오.
      
      

   3. Under Calibrate left steering on the device console, gradually move the slider to the left until the vehicle front wheels stops turning left. Set a number (e.g., -25) to record the position as the left maximum steering. Choose Next.
      장치 콘솔의 왼쪽 조정 조정에서 차량 앞 바퀴가 왼쪽으로 돌아갈 때까지 슬라이더를 점차 왼쪽으로 움직입니다. 왼쪽 최대 조정으로 위치를 기록하려면 숫자 (예 : -25)를 설정하십시오. 다음을 선택하십시오.
      
      

   4. Under Calibrate right steering on the device console, gradually move the slider to the right until the vehicles front wheels stop turning right. Set a number (e.g., 25) to record the position as the right maximum steering. Choose Done.
      장치 콘솔에서 오른쪽 조타 보정 아래에서 차량 앞 바퀴가 오른쪽으로 회전하는 것을 멈출 때까지 슬라이더를 점차 오른쪽으로 움직입니다. 오른쪽 최대 조정으로 위치를 기록하는 숫자 (예 : 25)를 설정합니다. 완료를 선택하십시오.   
      
      

5. On the Calibration page, choose Edit for Throttle and then follow the steps below to calibrate the vehicle's throttle:
   보정 페이지에서 스로틀에 맞게 편집을 선택한 다음 아래 단계에 따라 차량의 스로틀을 보정하십시오.
   
   

   1. Raise the vehicle so that the wheels are free to turn. Choose Next on the device console.
      바퀴가 자유롭게 회전 할 수 있도록 차량을 들어 올리십시오. 장치 콘솔에서 다음을 선택하십시오.
      
      

   2. Under Calibrate stopped throttle on the device console, gradually move the slider to a position where the vehicles wheels stops turning. Set the number 0) to record the position as the stopped throttle. Choose Next.
      장치 콘솔에서 정지 된 스로틀 보정에서 점차적으로 슬라이더를 차량 바퀴가 돌지 않는 위치로 이동하십시오. 번호 0을 설정하십시오.) 정지 된 스로틀로 위치를 기록하십시오. 다음을 선택하십시오.
      
      

   3. Under Calibrate forward throttle on the device console, gradually move the slider to a position until the vehicle wheels reaches their forward maximum speed. Set a number between 1 and 100 (e.g., 50) to record the position as the forward maximum speed. Choose Next.
      장치 콘솔에서 정방향 스로틀 조정에서 차량 바퀴가 최대 속도에 도달 할 때까지 슬라이더를 점차적으로 움직이십시오. 최대 속도로 위치를 기록하려면 1에서 100 사이의 숫자 (예 : 50)를 설정하십시오. 다음을 선택하십시오.
      
      

   4. Under Calibrate backward throttle on the device console, gradually move the slider to a position until the vehicles wheels reach their backward maximum speed. Set a number between -100 and -1 (e.g., -50) to record the position as the backward maximum speed. Choose Done.
      장치 콘솔에서 역방향 스로틀 보정에서 차량 바퀴가 후진 최대 속도에 도달 할 때까지 슬라이더를 점차적으로 위치로 이동합니다. -100에서 -1 사이의 숫자 (예 : -50)를 설정하여 역방향 최대 속도로 위치를 기록합니다. 완료를 선택하십시오.
      

Build Your AWS DeepRacer Track

To build your own track to race your AWS DeepRacer vehicle and to achieve the best results, pay attention to the following factors.

AWS DeepRacer 차량 경주를위한 자신의 트랙을 만들고 최상의 결과를 얻으려면 다음 요소에주의하십시오.

• Build your track to replicate the environment used in training. This is because models trained to follow track based on the road markings can exhibit different behaviors than models trained to follow the track based on other conditions or features.
  트랙을 제작하여 교육에 사용 된 환경을 복제하십시오. 도로 표식을 기반으로 추적하는 모델은 다른 조건이나 기능을 기반으로 추적 된 모델과 다른 행동을 나타낼 수 있기 때문입니다.
  
  

• Lay out your track using the same shape as the shape of the training track. For example, if you have uploaded to your vehicle a model trained on the Re:invent 2018 track, your track shape should look like this:
  트레이닝 트랙의 모양과 같은 모양을 사용하여 트랙을 배치하십시오. 예를 들어 Re : invent 2018 트랙에서 훈련 된 모델을 차량에 업로드 한 경우 트랙 모양은 다음과 같아야합니다.
  

• Restrict the curb-side (turning) radius to the following limits:
  커브 쪽 (선회) 반지름을 다음 제한값으로 제한하십시오.
  

  • At least 45 inches for corners smaller than or equal to 90 degrees
    모서리가 90도 이하인 경우 최소 45 인치
    

  • At least 55 inches for corners greater than 90 degrees.
    모서리가 90도 이상인 경우 최소 55 인치.
    
    

• Construct the track to have a smooth and uniform color surface of at least 30 inches wide and with minimal resistance.
  최소한 30 인치 너비의 부드럽고 균일 한 색 표면과 최소한의 저항을 지니도록 트랙을 만듭니다.
  
  

• Mark the track along the both sides with clear, unbroken and uniform-colored lines of 2-inch wide. The color of the markings should be of high contrast with respect to the track surface and barriers. Duct tapes have shown to be effective in some experiments.
  2 인치 너비의 명확하고 깨지지 않고 균일 한 색상의 선으로 양쪽면을 따라 트랙을 표시하십시오. 표시의 색은 궤도면과 장벽에 대해 높은 콘트라스트 여야합니다. 덕트 테이프는 일부 실험에서 효과가있는 것으로 나타났습니다.
  
  

• Paint the off-track surface a color of sufficient contrast with respect to the on-track surface color.
  트랙 표면의 색상과 대비하여 오프 트랙 표면에 충분한 대비 색상을 칠합니다.
  
  

• For safety reasons, encircle the track with uniform-colored barriers of at least 2.5 feet tall and at 2 feet away from the track at all points along the track.
  안전상의 이유로, 트랙을 따라 모든 지점에서 최소 2.5 피트, 트랙에서 2 피트 떨어진 균일 한 색상의 장벽을 사용하여 트랙을 둘러싸십시오.
  
  

The following example track represents a scaled version of the track used at re:Invent 2018.

다음 예제 트랙은 Invent 2018에서 사용 된 트랙의 스케일 버전을 나타냅니다.

Drive Your AWS DeepRacer Vehicle

After setting up your AWS DeepRacer vehicle, you can start to drive your vehicle manually or let it drive autonomously, using the vehicle's device console.

AWS DeepRacer 차량을 설치 한 후에는 차량의 장치 콘솔을 사용하여 수동으로 차량을 주행하거나 자율 주행 할 수 있습니다.

For autonomous driving, you must have trained an AWS DeepRacer model and have the trained model artifacts deployed to the vehicle. In the autonomous racing mode, the model running in the inference engine controls the vehicle's driving directions and speed. Without a trained model downloaded to the vehicle, you can use the vehicle's device console to drive the vehicle manually.

자율 주행을 위해서는 AWS DeepRacer 모델을 교육하고 숙련 된 모델 아티팩트를 차량에 배치해야합니다. 자율 레이싱 모드에서는 추론 엔진에서 실행되는 모델이 차량의 주행 방향과 속도를 제어합니다. 훈련 된 모델을 차량에 다운로드하지 않으면 차량의 장치 콘솔을 사용하여 차량을 수동으로 운전할 수 있습니다.

Drive Your AWS DeepRacer Vehicle Manually

If you have not trained any model or have not deployed any trained model to your AWS DeepRacer vehicle, you can't let it drive itself. But you can drive it manually.

To drive a AWS DeepRacer vehicle manually, follow the steps below.

모델을 교육하지 않았거나 숙련 된 모델을 AWS DeepRacer 차량에 배치하지 않은 경우 자체 모델을 운전하게 할 수 없습니다. 그러나 수동으로 운전할 수 있습니다.

To drive your AWS DeepRacer vehicle manually

AWS DeepRacer 차량을 수동으로 주행하려면 다음 단계를 따르십시오.

1. If you have not already done so, sign in to your vehicle device console, using your computer, tablet or mobile phone. For more information, see Set Up Your AWS DeepRacer Vehicle .
   아직하지 않았다면 컴퓨터, 태블릿 또는 휴대 전화를 사용하여 차량용 장치 콘솔에 로그인하십시오. 자세한 내용은 AWS DeepRacer 차량 설정을 참조하십시오.
   
   

2. On the vehicle's streaming video player on the device console, click, tap or touch a position within the displayed track to drive the vehicle. The track image displayed on the video player is from the vehicle's camera.
   기기 콘솔의 차량 스트리밍 비디오 플레이어에서 표시된 트랙 내의 위치를 클릭하거나 탭하거나 터치하여 차량을 운전하십시오. 비디오 플레이어에 표시된 트랙 이미지는 차량의 카메라에서 가져온 것입니다.
   
   

3. Repeat Step 2 to continue driving the vehicle along the track.
   2 단계를 반복하여 트랙을 따라 차량 주행을 계속하십시오.

Drive Your AWS DeepRacer Vehicle Autonomously

To drive your AWS DeepRacer vehicle autonomously

AWS DeepRacer 차량을 자율적으로 운전하려면

1. Make sure that you have a trained AWS DeepRacer model ready. If not, follow this quick-start instruction to train your model.
   숙련 된 AWS DeepRacer 모델을 준비하십시오. 그렇지 않은 경우이 빠른 시작 지침에 따라 모델을 교육하십시오.
   
   

2. On the AWS DeepRacer console, choose a finished training job and then download the chosen model artifacts.
   AWS DeepRacer 콘솔에서 완료된 교육 작업을 선택한 다음 선택한 모델 아티팩트를 다운로드합니다.
   
   

3. Connect your AWS DeepRacer vehicle to your computer via the USB cable and then copy the downloaded model artifacts to the Model folder on the USB drive.
   AWS DeepRacer 차량을 USB 케이블을 통해 컴퓨터에 연결 한 다음 다운로드 한 모델 아티팩트를 USB 드라이브의 Model 폴더에 복사하십시오.
   
   

Follow the vehicle setup instructions to sign in to the vehicle's device console, and then do the following for autonomous driving:
차량 설치 지침에 따라 차량의 장치 콘솔에 로그인 한 다음 자율 주행을 위해 다음을 수행하십시오.



1. Choose the autonomous racing mode.
   자율 레이싱 모드를 선택하십시오.
   

2. Choose a model from the list of the models downloaded in the previous step (Step 3). This will start loading the model into the inference engine and the process takes about 10 seconds to complete.
    이전 단계 (3 단계)에서 다운로드 한 모델 목록에서 모델을 선택하십시오. 이렇게하면 모델을 추론 엔진에로드하기 시작하고 프로세스 완료까지 약 10 초가 소요됩니다.
   

3. Place your vehicle on the track, tap the Start Driving button to set the vehicle to drive itself.
   트랙에 차량을 놓고 Start Driving (운전 시작) 버튼을 탭하면 차량이 주행하도록 설정할 수 있습니다.
   

4. Watch the vehicle drive on the physical track or the projected track on the device console.
   물리적 인 트랙이나 장치 콘솔의 투영 된 트랙에서 차량 드라이브를보십시오.
   

5. After the vehicle stops (you may need to manually stop it), you can repeat from Step 4.2 to choose a different model for another drive.
   차량이 정지 한 후 (수동으로 정지해야 할 수도 있음), 4.2 단계를 반복하여 다른 드라이브의 다른 모델을 선택할 수 있습니다.

Restore Your AWS DeepRacer Vehicle to Factory Settings

At some point of time after trying out your AWS DeepRacer vehicle, you may want to reset the device to its factory settings and start afresh. The discussions presented below explains how to restore your AWS DeepRacer vehicle to factory settings.

AWS DeepRacer 차량을 사용해 본 후 어느 시점에서 장치를 공장 출하 상태로 재설정하고 다시 시작할 수 있습니다. 아래에 제시된 토론에서는 AWS DeepRacer 차량을 공장 설정으로 복원하는 방법에 대해 설명합니다.

Prepare for Factory Reset to Your AWS DeepRacer Vehicle

To prepare for the factory reset, you'll perform the following tasks:

초기화를 위해 다음 작업을 수행합니다.

Depending on the computer you use, specific tasks may differ from one operating system to another. To illustrate, we present the step-by-step instructions to prepare the USB drive using a computer running Ubuntu (e.g., the computer module of the AWS DeepRacer vehicle) and a computer running Windows.

사용하는 컴퓨터에 따라 특정 작업이 운영 체제마다 다를 수 있습니다. 예를 들어 Ubuntu를 실행하는 컴퓨터 (예 : AWS DeepRacer 차량의 컴퓨터 모듈)와 Windows를 실행하는 컴퓨터를 사용하여 USB 드라이브를 준비하는 단계별 지침을 제공합니다.

The instructions for using other Linux/Unix computers are similar to the Ubuntu instructions discussed below. You just need to replace the apt-get commands with the corresponding commands supported by the other Linux/Unix system of your choosing.

다른 Linux / Unix 컴퓨터 사용법은 아래에서 설명하는 Ubuntu 지침과 비슷합니다. apt-get 명령을 다른 Linux / Unix 시스템에서 지원하는 해당 명령으로 바꾸면됩니다.

Before starting to prepare for the factory reset, make sure you have the following items ready:

공장 초기화 준비를 시작하기 전에 다음 품목을 준비했는지 확인하십시오.

Partition and Make Bootable the USB Drive Using A Ubuntu Computer

In the following, we'll use the AWS DeepRacer vehicle computer module as a Ubuntu computer. The same instructions apply to a Linux computer running Ubuntu. The instructions on other flavors of Linux/Unix operating systems are similar. You just need to replace the apt-get * commands with their corresponding commands supported by the other Linux/Unix system of your choosing.

다음에서는 AWS DeepRacer 차량용 컴퓨터 모듈을 Ubuntu 컴퓨터로 사용하겠습니다. 동일한 지침이 Ubuntu를 실행하는 Linux 컴퓨터에도 적용됩니다. Linux / Unix 운영 체제의 다른 기능에 대한 지침도 비슷합니다. apt-get * 명령을 다른 Linux / Unix 시스템에서 지원하는 해당 명령으로 바꾸면됩니다.

To partition the USB drive and make it bootable

USB 드라이브를 파티션하고 부팅 가능하게하려면

1. To format the USB drive running Ubuntu commands on the AWS DeepRacer vehicle or a computer running Ubuntu:

Ubuntu 명령을 실행하는 USB 드라이브를 AWS DeepRacer 차량 또는 Ubuntu를 실행하는 컴퓨터에서 포맷하려면 다음을 수행하십시오.

a. On AWS DeepRacer vehicle compute module, run the following commands to install and launch GParted.

AWS DeepRacer 차량 계산 모듈에서 다음 명령을 실행하여 GParted를 설치하고 시작합니다.   

sudo apt-get update; sudo apt-get install gparted
sudo gparted

b. On the newly created GParted console, choose /dev/sda in the drop-down menu on the top-right corner and then delete all existing partitions.

새로 생성 된 GParted 콘솔의 오른쪽 상단 모서리에있는 드롭 다운 메뉴에서 / dev / sda를 선택한 다음 기존 파티션을 모두 삭제하십시오.

If the partitions are locked, right click to choose unmount.

파티션이 잠겨 있으면 마우스 오른쪽 버튼을 클릭하여 마운트 해제를 선택하십시오.

c. To create the FAT32 partition of 2GB capacity, choose the file icon on the top-left, set the parameters similar to the following., and then choose Add.

2GB 용량의 FAT32 파티션을 만들려면 왼쪽 상단의 파일 아이콘을 선택하고 다음과 유사한 매개 변수를 설정 한 다음 추가를 선택하십시오.

d. To create the NTFS partition of at least 16GB capacity, choose the file icon again, set the parameters similar to the following, and choose Add.

최소 16GB 용량의 NTFS 파티션을 만들려면 파일 아이콘을 다시 선택하고 다음과 유사한 매개 변수를 설정 한 다음 추가를 선택하십시오.

e. To apply the changes, choose the green tick.

변경 사항을 적용하려면 녹색 눈금을 선택하십시오.

2. To make the USB drive bootable from the FAT32 partition, follow the steps below:
FAT32 파티션에서 USB 드라이브를 부팅 가능하게 만들려면 다음 단계를 따르십시오.

1. Download the customized Ubuntu ISO image.
   사용자 정의 된 Ubuntu ISO 이미지를 다운로드하십시오.
   

2. To make the formatted USB drive bootable using UNetbootin on your AWS DeepRacer device, do the following:
   AWS DeepRacer 장치에서 UNetbootin을 사용하여 포맷 된 USB 드라이브를 부팅 가능하게 만들려면 다음을 수행하십시오.
   

   1. On your AWS DeepRacer compute module, run the following command to install and launch UNetbootin.
      AWS DeepRacer 컴퓨팅 모듈에서 다음 명령을 실행하여 UNetbootin을 설치하고 실행하십시오.   
      

sudo apt-get update; sudo apt-get install unetbootin
sudo unetbootin

On the UNetbootin window, do the following:

1. Check the Disimage radio button.

2. For the disk image, choose ISO from the drop-down menu.

3. Open the file picker to choose the downloaded Ubuntu ISO file.

4. For Type, choose USB Drive.

5. For Drive, choose /dev/sda1.

6. Choose OK.

Note

The customized Ubuntu image may be more recent than what's shown here. If so, use the most recent version of the Ubuntu image

사용자 정의 된 우분투 이미지는 여기에 표시된 것보다 더 최근의 것일 수 있습니다. 그렇다면 최신 버전의 Ubuntu 이미지를 사용하십시오.

If you get a /dev/sda1 not mounted alert message, choose OK to close the message, unplug the USB drive, replug the drive, and then follow the steps above create the Ubuntu ISO image

/ dev / sda1 not mounted 경고 메시지가 표시되면 OK를 선택하여 메시지를 닫고 USB 드라이브를 분리 한 다음 드라이브를 다시 연결하고 위의 단계를 수행하여 Ubuntu ISO 이미지를 만듭니다.

1. To copy the factory restore files to the NTFS partition of the USB drive, follow the steps below:
   팩토리 복원 파일을 USB 드라이브의 NTFS 파티션에 복사하려면 다음 단계를 수행하십시오.
   
   

   1. Download the compressed factory restore package (~3.5GB).

   2. Unzip the downloaded package, and

   3. Copy the following uncompressed files to the second (NTFS) partition of the USB drive:

      • Image files (~9GB):

        • image_dlrc_1109_18WW45.5-2.bin

        • image_dlrc_1109_18WW45.5-2.bin.md5

      • Script files:

        • usb_flash.sh

        • set_hostname.py

        • dlrc_key.py

Partition and Make Bootable the USB Drive Using a MacOS Computer

Follow the instructions below to use a MacOS computer to prepare the USB drive for factory reset.

아래 지침에 따라 MacOS 컴퓨터를 사용하여 USB 드라이브를 공장 출하 상태로 초기화하십시오.

To partition the USB drive and make it bootable using a MacOS computer

USB 드라이브를 파티션하고 MacOS 컴퓨터를 사용하여 부팅 가능하게하려면

To format the USB drive, follow the steps below:

USB 드라이브를 포맷하려면 다음 단계를 따르십시오.

1. Plug in the USB drive to your MacOS computer.

2. Press command + space to open the search tool bar and then type Disk Utility.

   Alternatively, you can choose Finder->Applications->Utilties->Disk Utility to open the Disk Utility.

3. Choose Generic Flash Disk on the left pane of Disk Utility. Then choose Erase on the top.

d. On the Erase "Generic Flash Disk Media"? page, choose Mac OS Extended (Journaled) for Format, choose GUID Partition Map for Scheme, and then choose Erase.

"일반 플래시 디스크 미디어"지우기? 페이지에서 Format의 Mac OS Extended (Journaled)를 선택하고 Scheme의 GUID Partition Map을 선택한 다음 Erase를 선택하십시오.

e. On the Disk Utility console, choose Partition from the menu on the top and then choose the + button on the Partition device … pop-up.

디스크 유틸리티 콘솔의 상단 메뉴에서 파티션을 선택한 다음 파티션 장치 ... 팝업에서 + 버튼을 선택하십시오.

f. To create the FAT32 partition of 2GB capacity, under Partition Information type Boot (or another name of your choosing) for Name, choose MS-DOS (FAT) for Format, set Size to 2 GB. (Do not choose Apply yet.)

2GB 용량의 FAT32 파티션을 만들려면 파티션 정보 유형에서 Boot (또는 선택한 다른 이름)에서 Name을 선택하고 Format에 MS-DOS (FAT)를 선택하고 Size를 2GB로 설정하십시오. 아직 적용을 선택하지 마십시오.

g. To create the partition for the updated AWS DeepRacer image, click or tap a point in the other (Untitled) partition, under Partition Information type Flash (or another name of your choosing) for Name, choose ExFat for Format, leave the remaining capacity (in GB) of the USB drive in Size. And then choose Apply.

업데이트 된 AWS DeepRacer 이미지의 파티션을 만들려면 다른 (제목 없음) 파티션의 한 지점을 클릭하거나, 파티션 정보 유형 Flash (또는 선택한 다른 이름)에서 Name을 클릭하고 ExFat for Format을 선택한 다음 남은 용량을 남겨 둡니다 GB 단위)의 USB 드라이브를 크기에 맞 춥니 다. 그런 다음 적용을 선택하십시오.

h. On the ensuing pop-up window, choose Partition to confirm creation of the specified new partitions.

계속되는 팝업 창에서 파티션을 선택하여 지정된 새 파티션 작성을 확인하십시오.

i. On the Disk Utility console, choose the BOOT partition on the left pane and then choose Info from the menu on the top. Make note of the BSD device node value. In this tutorial, the value is dsa1. You will need to supply this path when making the USB drive bootable from the FAT32 partition.

디스크 유틸리티 콘솔의 왼쪽 창에서 BOOT 파티션을 선택한 다음 맨 위에있는 메뉴에서 정보를 선택하십시오. BSD 장치 노드 값을 적어 두십시오. 이 자습서에서 값은 dsa1입니다. USB 드라이브를 FAT32 파티션에서 부팅 가능하게 만들 때이 경로를 제공해야합니다.

2. To make the USB drive bootable from the FAT32 partition, follow the steps below:
FAT32 파티션에서 USB 드라이브를 부팅 가능하게 만들려면 다음 단계를 따르십시오.

1. Download the customized Ubuntu image.

2. Go to https://unetbootin.github.io/ to download the UNetbootin software. Then start the UNetbootin console.

3. On the UNetbootin console, do the following:

   1. Check the Disimage radio button.

   2. For the disk image, choose ISO from the drop-down menu.

   3. Open the file picker to choose the downloaded Ubuntu ISO file.

   4. For Type, choose USB Drive.

   5. For Drive, choose /dev/sda1.

   6. Choose OK.

If you get a /dev/sda1 not mounted alert message, choose OK to close the message, unplug the USB drive, replug the drive, and then follow the steps above create the Ubuntu ISO image.

 / dev / sda1 not mounted 경고 메시지가 표시되면 OK를 선택하여 메시지를 닫고 USB 드라이브를 분리 한 다음 드라이브를 다시 연결하고 위의 단계를 수행하여 Ubuntu ISO 이미지를 만듭니다.

3. To copy the factory restore files to the NTFS partition of the USB drive, follow the steps below:

팩토리 복원 파일을 USB 드라이브의 NTFS 파티션에 복사하려면 다음 단계를 수행하십시오.

1. 1. Download the compressed factory restore package (~3.5GB).

   2. Unzip the downloaded package.

   3. Copy the following uncompressed files to the second (NTFS) partition of the USB drive:

      • Image files (~9GB):

        • image_dlrc_1109_18WW45.5-2.bin

        • image_dlrc_1109_18WW45.5-2.bin.md5

      • Script files:

        • usb_flash.sh

        • set_hostname.py

        • dlrc_key.py

Partition and Make Bootable the USB Drive Using a Windows Computer

Follow the instructions below to use a Windows computer to prepare the USB drive for factory reset.

아래의 지침에 따라 Windows 컴퓨터를 사용하여 USB 드라이브를 출고시 초기화하도록 준비하십시오.

To partition the USB drive and make it bootable using a Windows computer

Windows 컴퓨터를 사용하여 USB 드라이브를 파티션하고 부팅 가능하게하려면

1. To format the USB drive, follow the steps below:

USB 드라이브를 포맷하려면 다음 단계를 따르십시오.

a. Open the Windows command prompt, type diskmgmt.msc, and choose OK to launch the Windows Disk Management Console.

Windows 명령 프롬프트를 열고 diskmgmt.msc를 입력 한 다음 확인을 선택하여 Windows 디스크 관리 콘솔을 시작합니다.   

b. From the Disk Management console, choose the USB drive, for example, Disk 1 Removable (D:) below, delete all the partitions, and make the drive unallocated.

디스크 관리 콘솔에서 USB 드라이브 (예 : 아래의 디스크 1 이동식 (D :))를 선택하고 모든 파티션을 삭제 한 다음 드라이브 할당을 해제하십시오.

c. To create the FAT32 partition of 2GB capacity, right click the USB drive on the Disk Management console and choose New Simple Volume from the context menu.

2GB 용량의 FAT32 파티션을 만들려면 디스크 관리 콘솔에서 USB 드라이브를 마우스 오른쪽 단추로 클릭하고 컨텍스트 메뉴에서 새 단순 볼륨을 선택하십시오.

d. On the New Simple Volume Wizard, choose 2048 for Simple volume size in MB and then choose Next.

새 단순 볼륨 마법사에서 2048을 단순 볼륨 크기 (MB)로 선택한 다음 다음을 선택하십시오.

e. On the New Simple Volume Wizard page and under Format Partition, choose the Format this volume with the following settings. Then, choose FAT32 for File system, Default for Allocation unit size and any label (e.g., BOOT) for Volume label. Finally, choose Next to create the FAT32 partition.

새 단순 볼륨 마법사 페이지에서 파티션 포맷 아래에서 다음 설정으로이 볼륨 포맷을 선택하십시오. 그런 다음 파일 시스템에 대해 FAT32, 할당 단위 크기에 대해 기본값 및 볼륨 레이블에 대해 모든 레이블 (예 : BOOT)을 선택하십시오. 마지막으로 Next를 선택하여 FAT32 파티션을 만듭니다.

f. To create the NTFS partition of the remaining disk capacity, right click the USB drive on the Disk Management console and choose New Simple Volume from the context menu. Then, choose the Format this volume with the following settings option. Then choose NTFS for File system, Default for Allocation unit size, and a label (e.g, Flask) for Volume label. Finally, choose Next to start creating the NTFS partition.

디스크 용량의 NTFS 파티션을 만들려면 디스크 관리 콘솔에서 USB 드라이브를 마우스 오른쪽 단추로 클릭하고 컨텍스트 메뉴에서 새 단순 볼륨을 선택하십시오. 그런 다음이 볼륨을 다음 설정으로 포맷 옵션을 선택하십시오. 그런 다음 파일 시스템에 NTFS, 할당 단위 크기에 대해 기본값, 볼륨 레이블에 레이블 (예 : 플라스크)을 선택하십시오. 마지막으로 Next를 선택하여 NTFS 파티션 생성을 시작하십시오.

2. To make the USB drive bootable from the FAT32 partition, follow the steps below:

FAT32 파티션에서 USB 드라이브를 부팅 가능하게 만들려면 다음 단계를 따르십시오.

1. Download the customized Ubuntu image.

2. Go to https://unetbootin.github.io/ to download the UNetbootin software. Then start the UNetbootin console.

3. On the UNetbootin console, do the following:

   1. Check the Disimage radio button.

   2. For the disk image, choose ISO from the drop-down menu.

   3. Open the file picker to choose the downloaded Ubuntu ISO file.

   4. For Type, choose USB Drive.

   5. For Drive, choose /dev/sda1.

   6. Choose OK.

Train and Evaluate AWS DeepRacer Models

In general, to train your reinforcement learning model, you describe all of the environment, including states, actions and reward to ensure it captures the problem you are trying to solve. The AWS DeepRacer service have defined the states and actions for you and gives you the option of defining the reward so that you can focus on learning about reinforcement learning.

일반적으로 reinforcement learning 모델을 훈련하려면 해결하려는 문제를 파악할 수 있도록 상태, actions 및 reward를 포함한 모든 환경을 묘사해야 합니다. AWS DeepRacer 서비스는 상태와 행동을 정의해 주고 여러분이 reinforcement learning에 대한 학습에 집중할 수 있도록 보상을 정의 할 수있는 옵션을 제공합니다.

For example, in autonomous racing, the agent can be a vehicle with sensors. A well-marked driving track can be the environment. A positive reward would be when the vehicle stays on the track and a negative reward would be when it's off the track.

예를 들어, 자율주행(경주)에서 에이전트는 센서가있는 차량이 될 수 있습니다. 잘 표시된 주행 경로가 환경이 될 수 있습니다. 긍정적 인 보상은 차량이 궤도에 머물러있을 때가되고 부정적인 보상은 궤도를 벗어 났을 때입니다.

Let's say that you're interested in having the vehicle drive without getting off a straight track. The reward function takes images as input from the sensors and produces a score after sorting out the current position. Speed and the position of any obstacles nearby might also be involved. A simple form of the reward function could be that the score is zero if the vehicle is on the track, -1 if it's off the track, and +1 if reaches the finish line. With this reward function, the vehicle gets penalized for going off the track and rewarded for reaching the destination.

직선 트랙에서 벗어나지 않는 차량 주행에 관심이 있다고 가정 해 봅시다. 보상 기능은 이미지를 센서에서 입력 받아 현재 위치를 파악 한 후 점수를 생성합니다. 주변 장애물의 위치와 속도가 관련 될 수 있습니다. 보상 기능의 간단한 형태는 차량이 트랙에 있으면 점수가 0이고, 트랙에서 벗어난 경우에는 -1이며, 결승선에 도달하면 +1이 될 수 있습니다. 이 보상 기능으로 차량은 트랙에서 벗어나면 패널티를 받고 목적지에 도착하면 보상을 받게됩니다.

Training the vehicle involves repeated episodes along the track from start to finish. In an episode the agent interacts with the track to take the optimal course of actions by maximizing the expected future reward. At the end, the training produces a reinforcement learning model. After the training, the agent can follow the model to infer the optimal choice of actions in any given state, when the model is evaluated or deployed to run on a physical agent, such as an AWS DeepRacer scale vehicle.

차량을 훈련시키는 것은 처음부터 끝까지 트랙을 따라 반복되는 에피소드를 포함합니다. 에피소드에서 에이전트는 트랙과 상호 작용하여 예상되는 미래 보상을 최대화하여 최적의 행동 과정을 취합니다. 결국 교육은 보강 학습 (reinforcement learning) 모델을 생성합니다. 교육을 마친 후에 에이전트는 AWS DeepRacer scale vehicle과 같은 물리적 에이전트에서 실행되도록 모델을 평가하거나 배치 할 때 주어진 상태에서 최적의 동작 선택을 추론하도록 모델을 추적 할 수 있습니다.

To train a reinforcement learning model in practice, you must choose a learning algorithm. For autonomous driving, the proximal policy optimization (PPO) algorithm is a suitable choice. You can then choose a deep-learning framework supporting the chosen algorithm, unless you want to write one from scratch. AWS DeepRacer integrates with Amazon SageMaker to make some popular deep-learning frameworks, such as TensorFlow, readily available in the AWS DeepRacer console. Using a framework simplifies configuring and executing training jobs and lets you focus on building and enhancing reward functions specific to your problems.

실제로 보강 학습 (reinforcement learning) 모델을 훈련 시키려면 학습 알고리즘을 선택해야합니다. 자율 주행의 경우 proximal policy optimization (PPO) 알고리즘이 적합한 선택입니다. 그런 다음 (scratch를 바탕으로 직접 코드를 작성하고 싶지 않으면) 선택된 알고리즘을 지원하기 위해 딥러닝 프레임워크를 선택할 수 있습니다.  AWS DeepRacer는 AWS DeepRacer 콘솔에서 쉽게 사용할 수있는 TensorFlow와 같은 인기있는 deep-learning frameworks,를 만들기 위해 Amazon SageMaker와 통합됩니다. 프레임 워크를 사용하면 교육 작업 구성 및 실행이 간단 해지고 문제에 특화된 보상 기능을 구축하고 강화할 수 있습니다.

Training a reinforcement learning model is an iterative process. First, it can be a challenge to define a reward function to cover all important behaviors of an agent in an environment all at once. Second, hyperparameters are often tuned to ensure satisfactory training performance. Both require experimentation. A prudent approach is to start with a simple reward function and then progressively enhance it. AWS DeepRacer facilitates this iterative process by enabling you to clone a trained model and then use it to jump-start the next round training. At each iteration you can introduce one or a few more sophisticated treatments to the reward function to handle previous ignored variables or you can systematically adjust hyperparameters until the result converges.

reinforcement learning 모델을 훈련하는 것은 반복적 인 과정입니다. 첫째, 한 번에 모든 환경에서 에이전트의 모든 중요한 동작을 다루는 보상 기능을 정의하는 것이 어려울 수 있습니다. 둘째, hyperparameters는 종종 만족스러운 교육 수행을 보장하기 위해 조정됩니다. 둘 다 실험이 필요합니다. 신중한 접근법은 간단한 보상 기능으로 시작한 다음 점진적으로 향상시키는 것입니다. AWS DeepRacer는 숙련 된 모델을 복제하여 다음 라운드 교육을 시작하기 위해 이 반복 프로세스를 용이하게합니다. 반복 할 때마다 보상 함수에 하나 이상의 정교한 처리 방법을 사용하여 이전의 무시 된 변수를 처리하거나 결과가 수렴 될 때까지 체계적으로 hyperparameters를 조정할 수 있습니다.

As with general practice in machine learning, you must evaluate a trained reinforcement learning model to ascertain its efficacy before deploying it to a physical agent for running inference in a real-world situation. For autonomous racing, the evaluation can be based on how often a vehicle stays on a given track from start to finish or how fast it can finish the course without getting off the track. The AWS DeepRacer simulation runs in the AWS RoboMaker simulator and lets you run the evaluation and post the performance metrics.

machine learning의 general practic 처럼 실제 상황에서 추론을 실행하기 위해 실제 에이전트에 적용하기 전에 훈련 된 reinforcement learning모델을 평가하여 효과를 확인해야합니다. 자율 경주(주행)의 경우, 평가는 차량이 처음부터 끝까지 주어진 트랙에 얼마나 자주 머물러 있는지 또는 트랙에서 벗어나지 않고 얼마나 빨리 코스를 마칠 수 있는지에 따라 결정됩니다. AWS DeepRacer 시뮬레이션은 AWS RoboMaker 시뮬레이터에서 실행되며 평가를 실행하고 성능 메트릭을 게시 할 수 있습니다.

The following sections discuss these topics in details.

Choose a Reinforcement Learning Framework and Algorithm

Using a machine learning framework to train any machine learning model is useful. It allows you to focus on things specific to your system while leveraging tested general-purpose implementations of underlying algorithms. You should use one whenever possible.

machine learning 프레임 워크를 사용하여 어떤 machine learning 모델을 훈련하는 것은 아주 유용합니다. 그것은 당신이 당신의 시스템에 특정한 것에 초점을 맞추고 테스트 된 범용 알고리즘의 구현을 활용할 수있게합니다. 사용 가능하면 그 기능을 사용해야 합니다.

To train your reinforcement learning model for AWS DeepRacer, you can choose one of the following currently supported deep-learning frameworks and algorithms for you to train a reinforcement learning model for AWS DeepRacer.

AWS DeepRacer에 reinforcement learning 모델을 훈련하려면 AWS DeepRacer에 대한 reinforcement learning 모델을 교육하기 위해 현재 지원되는 deep-learning 프레임 워크들 및 알고리즘들 중 하나를 선택할 수 있습니다.

This section explains how to train and evaluate a AWS DeepRacer model using the AWS DeepRacer console calling Amazon SageMaker and AWS RoboMaker behind the scenes.

이 섹션에서는 AWS DeepRacer 콘솔을 사용하여 Amazon SageMaker 및 AWS RoboMaker를 현장에서 호출하여 AWS DeepRacer 모델을 교육하고 평가하는 방법에 대해 설명합니다.

Start Training AWS DeepRacer Models

To start training a reinforcement learning model, you can use the AWS DeepRacer console to create a training job, choose a supported framework and an available algorithm, add a reward function, and configure training settings, including hyperparameters, and then watch training to proceed in the simulator. You can find the step-by-step instructions in Train Your First AWS DeepRacer Model for Autonomous Racing . Here, we focus on how to create the reward function, start from a simple one for autonomous racing in a straight track.

reinforcement learning 모델을 시작하려면 AWS DeepRacer 콘솔을 사용하여 훈련 작업을 만들고, 지원되는 프레임 워크 및 사용 가능한 알고리즘을 선택하고, 보상 기능을 추가하고, hyperparameters를 포함한 훈련 설정을 구성한 다음 시뮬레이터에서 진행되는 훈련 과정을 지켜봅니다.  Autonomous Racing을 위한 첫 번째 AWS DeepRacer 모델 훈련에서 단계별 지침을 찾을 수 있습니다. 여기서는 보상 기능을 만드는 방법에 초점을 맞춥니다. 직선 트랙에서 자율적인 경주를 위한 간단한 기능부터 시작합니다.

Create a Reward Function

For a reinforcement learning model, the reward function prescribes an immediate reward or penalty when the agent takes an action in a given state. Its purpose is to encourage the agent to do more to help accomplishing the agent's goals and, in the meantime, to do less (or none) to prevent the agent from accomplishing its goals. It amounts to the environment's providing feedback to agent actions, affecting the agent behavior and has impacts on the training performance. When using the AWS DeepRacer console to train model with a supported framework, the reward function is the only application-specific part and depends on your input.

reinforcement learning 모델의 경우, 보상 기능은 agent가 주어진 상태에서 조치를 취할 때 즉각적인 보상 또는 벌금을 규정합니다. 그 목적은 에이전트가 목표를 달성하는 쪽으로 일을 하는 것을을 돕고, 에이전트가 목표를 달성하지 못하는 쪽으로 일을 하는 것을 방지하는 데 도움을 줍니다. 이는 환경이 에이전트 작업에 피드백을 제공하고 에이전트 동작에 영향을 미치며 훈련 퍼포먼스에 영향을 미칩니다. AWS DeepRacer 콘솔을 사용하여 지원되는 프레임 워크로 모델을 교육 할 때 보상 기능은 응용 프로그램 관련 부분 중 하나이며 사용자의 입력에 따라 다릅니다.

Constructing a reward function is like creating an incentive plan. If not carefully considered, it can lead to unintended consequences of opposite effect. This is possible because the reward function is local in time, but the final tasks depend on expected rewards from future. Real-world behaviors are rarely representable by linear functions and short-term incentives are not guaranteed to lead to long-term rewards. A good practice to create a reward a function is to start with a simple one that covers basic scenarios. And then iteratively enhance it to handle more actions, until all the behaviors are considered.

보상 기능을 구축하는 것은 인센티브 플랜을 만드는 것과 같습니다. 신중하게 고려하지 않으면 반대 효과의 의도하지 않은 결과를 초래할 수 있습니다. 이는 보상 기능이 시간상 현지에 있기 때문에 가능하지만 최종 작업은 미래의 예상 보상에 달려 있습니다. 실세계 행동은 linear 기능으로는 거의 표현할 수 없으며 단기 인센티브는 장기 보상으로 이어지지 않을 수도 있습니다. 함수에 보상을 생성하는 좋은 방법은 기본 시나리오를 다루는 간단한 것으로 시작하는 것입니다. 그런 다음 모든 동작을 고려할 때까지 더 많은 동작을 처리하도록 반복적으로 향상시킵니다.

For example, to train an AWS DeepRacer agent to drive autonomously on a well-marked track, we create the reward function with the following signature:

예를 들어 잘 표시된 트랙에서 자율적으로 작동하도록 AWS DeepRacer 에이전트를 훈련 시키려면 다음 서명을 사용하여 보상 기능을 만듭니다.

def reward_function(self, on_track, x, y, distance_from_center,

car_orientation, progress, steps, throttle, streering,

track_width, waypoints, closest_waypoint):

where the input parameters, as described in the following table, represent the state in which an action is to be taken and the output is a real value in the range of [-100000.0, 100000.0].

다음 표에서 설명하는 입력 매개 변수는 조치를 취할 상태를 나타내고 출력은 [-100000.0, 100000.0] 범위의 실제 값입니다.

Input Parameters of AWS DeepRacer Reward Functions

We can start building the reward function by first considering the most basic situation, namely, driving on a straight track from start to finish without getting off the track. In this scenario, the reward function logic depends only on_track and progress. As a trial, you could start with the following logic:

가장 기본적인 상황 즉, 트랙에서 내리지 않고 곧바로 직선으로 주행함으로써 보상 기능을 구축 할 수 있습니다. 이 시나리오에서 보상 기능 로직은 on_track 및 진행에만 의존합니다. trial로 다음과 같은 논리로 시작할 수 있습니다.

def reward_function(self, on_track, x, y, distance_from_center, car_orientation, progress,
         steps, throttle, streering, track_width, waypoints, closest_waypoint):
    if not on_track:
        reward = -1
    else if progress == 1 :
        reward = 10
    return reward

This logic penalizes the agent when it drives itself off the track while rewards the agent when it drives to the finishing line. It's reasonable for achieving the stated goal. However, the agent will roam freely between the starting point and the finishing line, including driving backwards on the track. This means that not only the training could take a long time to complete, but also the trained model would lead to a less efficient driving when deployed to a running vehicle.

이 로직은 agent가 트랙에서 벗어나면 agent에게 불이익을 주고 final 라인으로 이동할 때 보상을줍니다. 명시된 목표를 달성하는 것이 합리적입니다. 에이전트는 트랙에서 뒤로 운전하는 것을 포함하여 시작 지점과 마무리 지점 사이를 자유롭게 돌아 다닙니다. 이것은 훈련이 완료되는 데 오랜 시간이 걸릴뿐만 아니라 훈련 된 모델이 운전중인 차량에 배치 될 때 덜 효율적인 운전으로 이어질 수 있음을 의미합니다.

In practice, an agent learns more effectively if it can do so bit by bit throughout the course of training. This implies that a reward function should give out smaller rewards step by step along the track. For the agent to drive on the straight track, we can improve the reward function as follows:

실제로 에이전트는 훈련 과정에서 조금씩 조금씩 진전시키면서 더 효과적으로 훈련합니다. 이것은 보상 기능이 트랙을 따라 단계적으로 조금씩 조금씩 제공해야 함을 의미합니다. 에이전트가 직선으로 주행하기 위해서는 다음과 같이 보상 기능을 향상시킬 수 있습니다.

def reward_function(self, on_track, x, y, distance_from_center, car_orientation, progress,
         steps, throttle, streering, track_width, waypoints, closest_waypoint):
    if not on_track:
        reward = -1
    else:
        reward = progress
    return reward

With this function, the agent gets more reward the closer it reaches the finishing line. This should reduce or eliminate unproductive trials of driving backwards. In general, we want the reward function to distribute the reward more evenly over the action space. Creating an effective reward function can be a challenging undertaking. You should start with a simple one and progressively enhance or improve the function, with systematic experimentation, to become more robust and efficient.

이 기능을 사용하면 agent가 마무리 라인에 가까울수록 좀 더 많은 보상을 얻습니다. 이것은 자율 운전 중 비생산적인 시도를 줄이거 나 없애도록 합니다. 일반적으로 보상 기능을 통해 보상을 행동 공간에 균등하게 분배해야합니다. 효과적인 보상 기능을 만드는 것은 어려운 일이 될 수 있습니다. 단순한 것으로 시작하여 체계적인 실험을 통해 점진적으로 기능을 향상 시켜보다 강력하고 효율적으로 만들어야합니다.

Iterate Training to Improve AWS DeepRacer Models and Training Performance

After you have successfully trained your AWS DeepRacer model for the simple straight track, you can verify that your AWS DeepRacer vehicle (virtual or physical) can drive itself without going off the track. If you let the vehicle run on a looped track, it won't stay on the track. The reward function has ignored the actions to make turns to follow the track.

간단한 직선 트랙에 대한 AWS DeepRacer 모델을 성공적으로 훈련 한 후에 AWS DeepRacer 차량 (가상 또는 물리적)이 트랙에서 벗어나지 않고 스스로 운전할 수 있는지 확인할 수 있습니다. 루프 된 트랙에서 차량을 주행 시키면 트랙을 벗어날 겁니다. 위의 보상 기능은 트랙을 따라가는 동작은 고려하지 않았기 때문입니다.

To make your vehicle handle those actions, you must enhance the reward function to give out a reward when the agent makes a permissible turn and produce a penalty if the agent makes an illegal turn. Then, you're ready to start another round of training. To take advantage of the prior trainings, you can start the new training by cloning the previous trained model, passing along the previously learned knowledge. You can follow this pattern to progressively add more features to the reward function to train your AWS DeepRacer vehicle to drive in increasingly more complex environments.

차량이 그러한 행동을 처리하게하려면, agent가 허용 된 회전 이내의 행동에 보상을 제공하고 그 허용된 회전 밖으로 이탈 할 경우 벌점을 주는 보상 기능을 강화해야합니다. 그럼 이제 다시 한 번 훈련을 시작할 준비가되었습니다. 이전 훈련을 활용하려면 이전에 학습 한 지식을 전달하면서 이전에 훈련 된 모델을 복제하여 새 교육을 시작할 수 있습니다. 이 패턴을 따라 보상 기능에 점차적으로 기능을 추가하여 점점 더 복잡한 환경에서 운전할 수 있도록 AWS DeepRacer 차량을 교육 할 수 있습니다.

You can also apply this iterative process to improve the training performance by systematically tuning the hyperparameters used in training. Hyperparameters, such as learning rate, future reward discount, batch size included to compute gradient descent, number of episodes in a training session, and number of steps in an episode, are empirical factors affecting how fast and how stable the total average expected reward converges to the global maximum. Optimal values require systematic experimentation until proven effective. Cloning a previously trained model as the starting point of a new round of training with modified hyperparameters leverages already learned knowledge and could help improving the overall training efficiency.

또한 이 반복 프로세스를 적용하여 훈련에 사용되는 hyperparameters를 체계적으로 조정하여 교육 성능을 향상시킬 수 있습니다. learning rate, future reward discount, 훈련 세션에서 gradient descent와 에피소드 횟수를 계산하는 것을 포함한 일괄 처리 크기 및 에피소드에서의 스텝 수와 같은 hyperparameters는 얼마나 빠르고 얼마나 안정적으로 효과를 극대화하기 위해 평균적인 기대 보상을 커버하느냐에 영향을 주는 경험적 요인입니다. 최적의 값은 입증 된 효과가있을 때까지 체계적인 실험이 필요합니다. 이전에 숙련 된 모델을 수정 된 hyperparameters를 사용하여 새로운 교육 라운드의 시작점으로 복제하면 이미 학습 한 지식을 활용하고 전반적인 교육 효율성을 향상시킬 수 있습니다.

In this section, you learn how to clone a trained model with an enhanced reward function or a modified set of hyperparameters. Before walking through the steps to clone a model for continued training, we illustrate how to update the reward function to handle new situations. We also explain the range and meaning of hyperparameter values used in the supported reinforcement learning algorithms.

이 절에서는 향상된 보상 기능 또는 수정 된 hyperparameters 세트를 사용하여 훈련 된 모델을 복제하는 방법을 학습합니다. 지속적인 교육을 위해 모델을 복제하는 단계를 거치기 전에 새로운 상황을 처리하기 위해 보상 기능을 업데이트하는 방법을 설명합니다. 지원되는 강화 학습 알고리즘에 사용 된 hyperparameters 값의 범위와 의미에 대해서도 설명합니다.

Progressively Enhance Reward Functions for More Complex Situations

This section shows how to iteratively enhance and improve a reward function with a series of example functions that take the input parameters as described elsewhere:

이 섹션에서는 다른 곳에서 설명한대로 입력 매개 변수를 사용하는 일련의 예제 함수를 사용하여 보상 함수를 반복적으로 향상시키는 방법을 보여줍니다.

Example 1: Follow the Track Center

In this example, we start with a reward function to keep the vehicle driving close to the center of a track.

이 예에서는 차량의 주행을 트랙의 중심에 가깝게 유지하는 보상 기능으로 시작합니다.

The following reward function returns more reward when the vehicle is closer to the center of a track. The logic goes as follows:

다음 보상 기능은 차량이 트랙의 중심에 가까울 때 더 많은 보상을 반환합니다. 논리는 다음과 같습니다.

In AWS DeepRacer, we can implement this function as follows:

AWS DeepRacer에서 이 기능을 아래와 같이 구현할 수 있습니다.

def reward_function(on_track, x, y, distance_from_center, car_orientation, progress, steps,
        throttle, streering, track_width, waypoints, closest_waypoint):

    import math

    marker_1 = 0.2 * track_width
    marker_2 = 0.5 * track_width
    marker_3 = 0.8 * track_width

    if distance_from_center >= 0.0 and distance_from_center <= marker_1:
                reward = 10
    elif distance_from_center <= marker_2:
                reward = 3
    elif distance_from_center <= marker_3:
                reward = 1
    else:
        reward = 1e-2  # likely crashed/ close to off track
   
    return float(reward)

The effect of this reward function is to keep the vehicle to drive as close to the track center as possible.

이 보상 기능의 효과는 차량을 가능한 한 트랙 중심에 가깝게 운전하는 것입니다.

In addition to the discrete version, you could also employ a continuous one to return the reward of the following form:

discrete version 외에도 다음 양식의 보상을 받기 위해 연속 버전을 사용할 수도 있습니다.

reward = exp(-a * distance_from_center)

Here a is a constant and distance_from_center is between 0 and 1.

상수와 distance_from_center는 0과 1 사이 입니다.

Example 2: Follow Center Line without Excessive Turns

In the following example function, we add rewards or penalties to steering to prevent the vehicle from turning away from the center line of the track.

다음 예제 기능에서는 차량이 트랙의 중심선에서 벗어나는 것을 방지하기 위해 조향에 보상이나 페널티를 추가합니다.

def reward_function2(on_track, x, y, distance_from_center, car_orientation, progress, steps,
        throttle, streering, track_width, waypoints, closest_waypoint):
   
    import math

    marker_1 = 0.2 * track_width
    marker_2 = 0.5 * track_width
    marker_3 = 0.8 * track_width

    if distance_from_center >= 0.0 and distance_from_center <= marker_1:
                reward = 10
    elif distance_from_center <= marker_2:
                reward = 3
    elif distance_from_center <= marker_3:
                reward = 1
    else:
        reward = 1e-2  # likely crashed/ close to off track

    # penalize reward if the vehicle is steering way too much
    ABS_STEERING_THRESHOLD = 0.3
    if math.abs(steering) > ABS_STEERING_THRESHOLD:
        reward -= 0.5 * math.abs(steering)

    reward = max([0.0, reward])
    return float(reward)
   

Example 3: Follow Center Line with Straight Orientation

In this example, we add rewards or penalties to vehicle's orientations to keep the vehicle's body straight while it drives along the track center.

이 예에서는 트랙 센터를 따라 운전하는 동안 차량의 몸체를 똑바로 유지하기 위해 차량의 방향에 보상 또는 벌금을 추가합니다.

def reward_function3(on_track, x, y, distance_from_center, car_orientation, progress, steps,
        throttle, streering, track_width, waypoints, closest_waypoint):
   

    import math

    marker_1 = 0.2 * track_width
    marker_2 = 0.5 * track_width
    marker_3 = 0.8 * track_width

    if distance_from_center >= 0.0 and distance_from_center <= marker_1:
        reward = 10
    elif distance_from_center <= marker_2:
        reward = 3
    elif distance_from_center <= marker_3:
        reward = 1
    else:
        reward = 1e-2  # likely crashed/ close to off track

    waypoint_yaw = waypoints[closest_waypoint][-1]

    # penalize reward if orientation of the vehicle deviates way too much when compared to ideal orientation
    if math.abs(car_orientation - waypoint_yaw) >= math.radians(5):
        reward *= 0.5

    return float(reward)

If you use an orientation to detect if a vehicle is to make turns, this reward function should help other vehicles recognize the intention more clearly when a vehicle in the front makes turns.

차량이 회전해야 하는 경우를 감지하기 orientation 사용한다면 이 보상 기능은 앞 차량이 회전할 때 그 의도를 보다 분명히 감지하도록 도울 수 있어야 합니다.

Systematically Tune Hyperparameters for Optimal Training Performances

The following table shows the hyperparameters that can be adjusted to tune the performance of training using a supported algorithm:

다음 표는 지원되는 알고리즘을 사용하여 학습 성능을  조정할 수있는 hyperparameters를 보여줍니다.

Algorithm-specific hyperparameters and their effects

Clone a Trained Model to Start a New Training Pass

In this section, you learn how to clone a trained model using the AWS DeepRacer console.

이 섹션에서는 AWS DeepRacer 콘솔을 사용하여 훈련 된 모델을 복제하는 방법을 학습합니다.

To iterate training the reinforcement learning model using the AWS DeepRacer console

AWS DeepRacer 콘솔을 사용하여 강화 학습 모델을 반복 학습하려면

1. Sign in to the AWS DeepRacer console, if you're not already signed in.
   아직 로그인하지 않은 경우 AWS DeepRacer 콘솔에 로그인하십시오.
   
   

2. On the Models page, choose a trained model and then choose Clone from the Action drop-down menu list.
   모델 페이지에서 숙련 된 모델을 선택한 다음 작업 드롭 다운 메뉴 목록에서 복제를 선택하십시오.
   
   

3. For Model details, do the following:
   모델 세부 정보를 보려면 다음을 수행하십시오.
   

   1. Type RL_model_1 in Model name, if you don't want a name to be generated for the cloned model.
      복제 된 모델에 대해 이름을 생성하지 않으려면 모델 이름에 RL_model_1을 입력하십시오.
      

   2. Optionally, give a description for the to-be-cloned model in Model description - optional.
      선택적으로, 모델 설명 - 선택 사항에서 복제 할 모델에 대한 설명을 제공하십시오.
      
      

4. For Environment simulation, choose another track option.
   환경 시뮬레이션의 경우 다른 트랙 옵션을 선택하십시오.
   
   

5. For Reward function, choose Advanced. Modify the reward function, e.g., to consider steering.
   보상 기능의 경우 고급을 선택하십시오. 예를 들어 조정을 고려하여 보상 기능을 수정하십시오.
   
   

6. Expand Algorithm settings and try different options, e.g., changing Batch size value from 32 to 64 or increasing the Learning rate to speed up the training.
   알고리즘 설정을 확장하고 배치 옵션 값을 32에서 64로 변경하거나 학습 속도를 높여 교육 속도를 높이는 등 다양한 옵션을 시도해보십시오.
   
   

7. Experiment with difference choices of the Stop conditions. And then choose Start trainingto begin new round of training.
   Stop 조건의 차이점을 실험 해보십시오. 그런 다음 교육 시작을 선택하여 새로운 교육 과정을 시작하십시오.
   
   

As with training a robust machine learning model in general, it is important that you conduct systematic experimentation to come up with the best solution.

일반적으로 머신러닝 모델을 좀 더 견고하고 강력하게 훈련하는 것과 마찬가지로 체계적인 실험을 수행하여 최상의 솔루션을 찾는 것이 중요합니다.

Evaluate Trained AWS DeepRacer Models

To evaluate a model is to test the performance of a trained model. In AWS DeepRacer, the standard performance metric is the average time of finishing three consecutive laps. Evaluating an AWS DeepRacer model involves the following tasks:

모델을 평가하는 것은 훈련 된 모델의 성능을 테스트하는 것입니다. AWS DeepRacer에서 표준 성능 메트릭은 연속 3 랩을 완료하는 평균 시간입니다. AWS DeepRacer 모델 평가에는 다음 작업이 포함됩니다.

You can test a model in multiple evaluation jobs, but you must run them one after another. AWS DeepRacer only keeps the latest evaluation job status and the result.

여러 평가 작업에서 모델을 테스트 할 수 있지만 하나씩 실행해야합니다. AWS DeepRacer는 최신 평가 작업 상태 및 결과 만 유지합니다.

You can evaluate an AWS DeepRacer model using the AWS DeepRacer simulator as a virtual environment.

AWS DeepRacer 시뮬레이터를 가상 환경으로 사용하여 AWS DeepRacer 모델을 평가할 수 있습니다.

For step-by-step instructions to run an AWS DeepRacer evaluation job in simulation, see Evaluate Your AWS DeepRacer Models in Simulation.

시뮬레이션에서 AWS DeepRacer 평가 작업을 실행하기위한 단계별 지침은 시뮬레이션에서 AWS DeepRacer 모델 평가를 참조하십시오.

For more information about how to run an AWS DeepRacer evaluation job with an AWS DeepRacer vehicle in a physical environment, see Drive Your AWS DeepRacer Vehicle .

실제 환경에서 AWS DeepRacer 차량으로 AWS DeepRacer 평가 작업을 실행하는 방법에 대한 자세한 내용은 AWS DeepRacer 차량 운전을 참조하십시오.

Train and Evaluate AWS DeepRacer Models Using Amazon SageMaker Notebooks

The AWS DeepRacer console provides you with an integrated experience to train and evaluate your AWS DeepRacer models. It's integrated because AWS DeepRacer uses Amazon SageMaker and AWS RoboMaker behind the scenes. The integration includes detailed reinforcement learning tasks and makes training more readily accessible to beginners.

AWS DeepRacer 콘솔은 AWS DeepRacer 모델을 교육하고 평가할 수있는 통합 된 경험을 제공합니다. AWS DeepRacer는 밑의 레이어에서 Amazon SageMaker와 AWS RoboMaker를 사용함으로서 그러한 것들을 통합하고 있습니다.. 통합에는 자세한 보강 학습 과제가 포함되어있어 초보자가보다 쉽게 학습 할 수 있습니다.

If you're an experienced user of Amazon SageMaker or if you're determined to learn how to use Amazon SageMaker and AWS RoboMaker to train and evaluate your AWS DeepRacer models, then you can manually create an Amazon SageMaker notebook. You can then clone a reinforcement learning sample notebook instance and use it as a template to perform the predefined tasks that train and evaluate an AWS DeepRacer model.

Amazon SageMaker를 사용하는 숙련 된 사용자이거나 Amazon SageMaker 및 AWS RoboMaker를 사용하여 AWS DeepRacer 모델을 교육하고 평가하는 방법을 배우고자 한다면 Amazon SageMaker notebook을 수동으로 만들 수 있습니다. 그런 다음 reinforcement learning 예제 notebook 인스턴스를 복제하고 이를 템플릿으로 사용하여 AWS DeepRacer 모델을 학습하고 평가하는 미리 정의 된 작업을 수행 할 수 있습니다.

After the training, you can copy the trained model artifacts to your AWS DeepRacer vehicle for test runs in a physical environment.

교육을 마친 후 훈련 된 모델 아티팩트를 AWS DeepRacer 차량에 복사하여 실제 환경에서 테스트를 실행할 수 있습니다.

The tutorial presents step-by-step instructions to walk you through these tasks.

이 자습서에서는 이러한 작업을 단계별로 안내합니다.

Create an Amazon SageMaker Notebook

To train an AWS DeepRacer model directly on Amazon SageMaker, follow the steps below and create an Amazon SageMaker notebook instance.

Amazon SageMaker에서 직접 AWS DeepRacer 모델을 교육하려면 다음 단계를 수행하고 Amazon SageMaker 노트북 인스턴스를 만드십시오.

To create an Amazon SageMaker notebook instance to train and evaluate your AWS DeepRacer models

AWS DeepRacer 모델을 교육하고 평가할 Amazon SageMaker 노트북 인스턴스를 생성하려면

1. Sign in to the Amazon SageMaker console at https://console.aws.amazon.com/sagemaker. Choose one of the supported regions.
   https://console.aws.amazon.com/sagemaker에서 Amazon SageMaker 콘솔에 로그인하십시오. 지원되는 지역 중 하나를 선택하십시오.
   
   

2. From the navigation pane, choose Notebook instances and then choose Create notebook instance.

3. 
   탐색 창에서 Notebook instances를 선택한 다음 Create notebook instance를 선택하십시오.
   
   

4. On the Create notebook instance page, do the following:
   노트북 인스턴스 작성 페이지에서 다음을 수행하십시오.
   

   1. Type a name. For example, my-deepracer-model) for the Notebook instance name.
      이름을 입력하십시오. 노트북 인스턴스 이름에 대한 my-deepracer-model).
      

   2. If the IAM role drop-down menu is not populated with an existing IAM role, choose Create a new role, Enter a custom IAM role ARN, or Use existing role and then follow the instructions.
      IAM 역할 드롭 다운 메뉴가 기존 IAM 역할로 채워지지 않은 경우 새 역할 만들기, 사용자 지정 IAM 역할 ARN 입력 또는 기존 역할 사용을 선택하고 지침을 따릅니다.
      

   3. Leave the default choices for all other options and then choose Create notebook instance.
      다른 모든 옵션의 기본 선택 항목을 그대로두고 노트북 인스턴스 작성을 선택하십시오.
      
      

   For more information, see creating an Amazon SageMaker notebook instance.
   자세한 내용은 Amazon SageMaker 노트북 인스턴스 만들기를 참조하십시오.
   
   

5. Wait for the notebook instance's Status to change from Pending to InService. Then choose Open Jupyter.
   노트북 인스턴스의 Status가 Pending에서 InService로 변경 될 때까지 기다립니다. 그 다음 Open Jupyter를 선택하십시오.
   
   

6. On the Jupyter page (which is the home page of the newly created notebook), do the following:
   Jupyter 페이지 (새로 만든 전자 필기장의 홈 페이지)에서 다음을 수행하십시오.
   

   1. Choose the SageMaker Examples tab.
      SageMaker 예제 탭을 선택하십시오.
      

   2. Expand the Reinforcement Learning entry from the example list.
      예제 목록에서 강화 학습 항목을 확장하십시오.
      

   3. For this exercise, choose Use next to the rl_deepracer_coach_robomaker.ipynb item.
      이 연습에서는 rl_deepracer_coach_robomaker.ipynb 항목 옆에있는 Use를 선택하십시오.
      

   4. On the Create a copy in your home directory dialog, choose Create copy.
      홈 디렉토리의 사본 작성 대화 상자에서 사본 작성을 선택하십시오.
      
      

   At this point, the notebook instance is running and you can begin to train the model.
   
   이 시점에서 노트북 인스턴스가 실행 중이며 모델을 학습 할 수 있습니다.
   
   You are charged for a running instance according to the selected instance type. To avoid being charged for a running instance when you're not ready to use it, shut down the instance.
   
   선택한 인스턴스 유형에 따라 실행중인 인스턴스에 대해 요금이 부과됩니다. 실행중인 인스턴스를 사용할 준비가되지 않았을 때 실행중인 인스턴스에 대해 요금이 부과되지 않도록하려면 인스턴스를 종료하십시오.
   

Initialize the Amazon SageMaker Notebook Instance

To use an Amazon SageMaker notebook instance to train your AWS DeepRacer model, first properly initialize the instance for the required job. The initialization includes the following.

AWS DeepRacer 모델을 교육하기 위해 Amazon SageMaker 노트북 인스턴스를 사용하려면 먼저 필요한 작업에 대해 인스턴스를 올바르게 초기화하십시오. 초기화에는 다음이 포함됩니다.

Follow the steps below for detailed instructions to initialize a notebook instance.

노트북 인스턴스를 초기화하는 자세한 방법은 아래 단계를 따르십시오.

To initialize an Amazon SageMaker notebook instance

1. To import the required library to do training, choose the notebook instance's first code block. For example, choose the one under the Imports heading. Next, choose Run from the notebook's menu bar to execute the code block. You can use the Shift-Enter key-command shortcuts to start running the code block.
   
   교육을 수행하는 데 필요한 라이브러리를 가져 오려면 노트북 인스턴스의 첫 번째 코드 블록을 선택하십시오. 예를 들어, Imports 제목 아래에있는 것을 선택하십시오. 그런 다음, 노트북의 메뉴 막대에서 실행을 선택하여 코드 블록을 실행하십시오. Shift-Enter 키 명령 단축키를 사용하여 코드 블록 실행을 시작할 수 있습니다.
   
   

   

   
   

Before the code execution starts, the code block status shows In [ ]. When the execution is under way, the status becomes In [*]. After the code execution is complete, the status becomes In [n], where n corresponds to the order of invocations. Because the importation code cell is the first, n=1. If you run the command again after the first run, the status becomes In [2].

코드 실행이 시작되기 전에 코드 블록 상태가 In []을 표시합니다. 실행이 진행 중일 때 상태는 In [*]이됩니다. 코드 실행이 완료되면 상태가 In [n]이되며, 여기서 n은 호출 순서와 일치합니다. 가져 오기 코드 셀이 첫 번째이므로 n = 1입니다. 처음 실행 한 후 명령을 다시 실행하면 상태가 [2]가됩니다.

For asynchronous execution, the code cell returns immediately to show the completed status. For synchronous executions, subsequent calls are blocked until the current code cell execution is completed when the status turns from In [*] to In [n].

비동기 실행의 경우 코드 셀은 즉시 반환되어 완료 상태를 표시합니다. 동기 실행의 경우 상태가 In [*]에서 In [n]으로 바뀔 때 현재 코드 셀 실행이 완료 될 때까지 후속 호출이 차단됩니다.

2. To set up the training output storage, choose the code block under Setup S3 bucket, and then choose Run from the notebook instance menu or press the Shift+Enter keys.

training output storage를 설정하려면 Setup S3 bucket에서 코드 블록을 선택한 다음 노트북 인스턴스 메뉴에서 Run을 선택하거나 Shift + Enter 키를 누릅니다.

When the execution completes, you can verify this bucket in Amazon S3 console.

실행이 완료되면 Amazon S3 콘솔에서이 버킷을 확인할 수 있습니다.

To view the s3_output_path variable value, append print(s3_output_path) to the above code cell and rerun the code.

s3_output_path 변수 값을 보려면 print (s3_output_path)를 위 코드 셀에 추가하고 코드를 다시 실행하십시오.

3. To define local variables to name the training job, to specify the training time, and to select an AWS availability region, run the code block under Define Variables.

교육 작업의 이름을 지정하고 교육 시간을 지정하고 AWS 가용성 영역을 선택하기 위해 지역 변수를 정의하려면 변수 정의 아래의 코드 블록을 실행하십시오.

The example notebook instance sets the job duration as 5 hours by default, which should be sufficient for this exercise. To speed up the end-to-end experience, you can change the job duration to 1 or 2 hours before running the code cell.

예제 노트북 인스턴스는 작업 기간을 기본적으로 5 시간으로 설정합니다. 이는이 연습에 충분해야합니다. 엔드 - 투 - 엔드 환경의 속도를 높이려면 코드 셀을 실행하기 전에 작업 기간을 1 ~ 2 시간으로 변경하십시오.

4. To permit this notebook instance to access the output storage from Amazon SageMaker, run the code cell under Create an IAM role.

이 노트북 인스턴스가 Amazon SageMaker의 출력 스토리지에 액세스 할 수있게하려면 IAM 역할 생성에서 코드 셀을 실행하십시오.

try:
    role = sagemaker.get_execution_role()
except:
    role = get_execution_role('sagemaker')

print("Using IAM role arn: {}".format(role))

When executed, this code block creates a new IAM role containing the following IAM policy.

이 코드 블록을 실행하면 다음 IAM 정책을 포함하는 새 IAM 역할이 만들어집니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        }
    ]
}

The created IAM role has Amazon SageMaker as its trusted entity.

생성 된 IAM 역할은 Amazon SageMaker를 신뢰할 수있는 엔터티로 사용합니다.

5. Because AWS RoboMaker is involved to render the training process, it also needs the permissions to access the same output storage. To do so, you must makerobomaker.amazonaws.com as another trusted entity of the role. For the specific instructions, run the code cell under Permission setup for invoking AWS RoboMaker from this notebook.

AWS RoboMaker는 교육 프로세스를 렌더링하는 데 관련되어 있으므로 동일한 출력 저장소에 액세스 할 수있는 권한도 필요합니다. 이렇게하려면 robomaker.amazonaws.com을 역할의 신뢰할 수있는 다른 엔터티로 만들어야합니다. 특정 지침을 보려면이 노트에서 AWS RoboMaker를 호출하기위한 권한 설정에서 코드 셀을 실행하십시오.

display(Markdown(generate_help_for_robomaker_trust_relationship(role)))