AL123 人文社科会员免费专区文学 2024-12-01

Serverless架构下的AI应用开发：入门、实战与性能优化_刘宇；田初东；卢萌凯；王仁达_AZW3_MOBI_EPUB_PDF_电子书（无页码）_刘宇；田初东；卢萌凯；王仁达

内容节选

5.2.2猫狗识别项目训练 Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆（Anthony Goldbloom）于2010年在墨尔本创立的，为开发商和数据科学家提供了举办机器学习竞赛、托管数据库、编写和分享代码的平台。如图5-2所示，多年前，Kaggle平台上线了一个名为Dogs vs. Cats的比赛项目。时至今日，该项目成为人工智能学习过程中非常经典的案例之一。该项目使用的猫狗分类图像共25000张，猫、狗均有12500张。如图5-3所示，可以发现猫狗的姿态不一，有的站着，有的眯着眼睛，有的和其他可识别物体比如桶、人混在一起。同时，图像尺寸也不一致。因此，数据预处理变得非常重要。 ▲图5-2 Kaggle上的猫狗识别项目图5-3 猫狗识别案例的数据集预览 1.数据预处理原数据的命名规则是“类别.编号.格式”，例如cat.73.jpg。为了便于数据的后期处理，我们可以将猫与狗的图像进行归类：import osimport shutilimport baseroot_path = base.SOURCE_ROOTtrain_path = base.SOURCE_ROOT + '/train'def copyFile(srcfile, dstfile): if os.path.isfile(srcfile): path, name = os.path.split(dstfile) # 分离文件名和路径 if not os.path.exists(path): os.makedirs(path) # 创建路径 shutil.copyfile(srcfile, dstfile) # 复制文件 print("copy %s -> %s" % (srcfile, dstfile)) for root, dirs, files in os.walk(train_path, True, None, False): # 遍历目录 for f in files: if os.path.isfile(os.path.join(root, f)): lable, label_id = os.path.splitext(f)[0].split('.') base_path = './strengthen' if int(label_id) > 5000 else './train' img_path = os.path.join(root, f) target_path = base_path + ("/cat" if lable == 'cat' else "/dog") if not os.path.exists(target_path): os.makedirs(target_path) # 创建路径 copyFile(img_path, os.path.join(target_path, f)) 图5-4 猫狗识别案例项目数据集目录结构由于猫和狗的图像数据均为12500份，而我们不仅要通过这些数据进行初始模型的训练，还要模拟测试后期进行模型的完善，所以在进行数据归类时，只把id小于5000的图像用于训练，id大于5000的图像用于后期的模型完善，结果如图5-4所示。完成上述的简单归类之后，为了有效使用内存资源，我们使用tfrecord对图像进行存储：_float_feature = lambda value: tf.train.Feature(float_list=tf.train.Float-List(value=[value] if not isinstance(value, list) else value))_int_feature = lambda value: tf.train.Feature(int64_list=tf.train.Int64- List(value=[value] if not isinstance(value, list) else value))_bytes_feature = lambda value: tf.train.Feature(bytes_list=tf.train.Bytes-List(value=[value] if not isinstance(value, list) else value))getFolderName = lambda folder: sorted([x for x in os.listdir(folder) if os.path.isdir(os.path.join(folder, x))])get_file_name = lambda folder: [x for x in map(lambda x: os.path.join(folder,......