どうも405です。今日のPython 初心者ブログ⑥回目になります。今日からオープンデータを3日に分けて勉強していきます。それと意味的に分からないことが多くなってきたので、単語が分かるようにまとめる作業もしていきたいです。いつも通りのメモ書きになりますが、よろしくお願いいたします。
オープンデータとは？
オープンデータって開いたデータって意味でしょ…
オープンデータとはこういうものだそうです。
- 政府や自治体・教育機関などが公開している 自由に利用が可能なデータ
- 著作権などライセンスの制限がなく 条件を守れば二次利用が可能
- データ形式は様々 機械判読に適したデータ形式のものも多い
オープンデータ提供サイト
サイト名 URL
e-Stat 政府統計の総合窓口 https://www.e-stat.go.jp/
キッズすたっと～探そう統計データ～ https://dashboard.e-stat.go.jp/kids/
データシティ鯖江 http://data.city.sabae.lg.jp/
気象庁|過去の気象データ・ダウンロード http://www.jma.go.jp/jma/index.html
郵便番号データダウンロード https://www.post.japanpost.jp/zipcode/download.html
DATA GO JP https://www.data.go.jp/
いろいろあるみたいですね。確か秋にデジタル庁ができるんですよね。他の市もオープンデータとかIT化していくかもしれないですね。出来ればエストニア(電子政府と言われています)みたいまでやってほしいけど…
鯖江市は眼鏡で有名ですよね。
「e-Stat」のデータは CCライセンス「CC BY」で公開されている
気になったサイト調べてみようっと♪
メモ↓
ファイルを読み込み時のオプション
ヘッダーの無いファイルの読み込み
pandas.read_csv(“ファイル名.csv”, header=None)
指定行をヘッダーとして読み込む
pandas.read_csv(“ファイル名.csv”, header=行番号)
※header=0がデフォルトなので０行目がヘッダーの場合は省略可
ファイルを読み込み時のオプション
pandas.read_csv(“ファイル名.csv”, encoding=“shift_jis”)
条件にあうデータを抽出する
df = pd.read_csv(“ファイル名”)
df = df[ df[“列名”] 条件式 ]
部分的に一致するものを抽出する
df[df.str.contains(“文字列”)]
思ったこと
2週間Python触ってみて２点ほど分かったことがあります。
1つ目は確かに他の言語と違って圧倒的までとはいかないかもですが、分かりやすいです🙋
2つ目は、初心者あるあるですけど、英単語の意味がよくわからない。
やはり読み書きできて意味が入ってくると思うので、振り返って単語の読み、意味をまとめていこうと思います。
今日調べた単語【Python用】
読み方がむずいのはふりがな、と意味。
contains(コンテインス)=含まれています(部分的に一致するものを抽出するとき使う)
columns(カラム)=列
values(バリュー)=値
Strings(str) (ストゥリングス)=文字列
numeric =数値型に変換する
(ニューメリック)
apparent_encoding = 文字化け対策
(アぺレントエンコーディング)
shift_jis(シフトジス) = 文字コードの一種
CSVの文字コードをUTF-8(ユーティーエフはち)からShift_JISヘ
Excelで開こうとすると、文字コードをうまく読み込めずに文字化けすることも
CSVファイル(UTF-8)をShift_JISへ変換してExcelを開けば文字化けしない。
ちょっと間違っているかも↑
ファイルを読み込み時のオプションーーーーーーーーーーー
pandas.read_csv(“ファイル名.csv”, encoding=“shift_jis”)
ーーーーーーーーーーーーーーーーーーーーーーーーーーーー
まとめ
このスクレイピングを含めデータの加工、修正、グラフの制作、精査、正規化がとてもとても大事ということが分かります。この作業が早ければ早いほど、データ分析に進めるということです😓
もう一度復習して、頑張ろう！！！
おまけ
吹き出しのアイコンを作ろうかなと思ったのですが、上手い方法（３時間損した）が見つからなかったです、とりあえずCocoon設定→吹き出しでやってみました。
これも積み立てだと思っているので、いろいろ挑戦していこうと思います。
最近見つけたのですが、はやたす / PythonエンジニアさんのYouTubeを見て勉強しています。
凄く教え方が上手い方だなと思いました。気になる方はチェックしてみてはいかがでしょうか📺
今日のところは、このへんで以上です。
また明日。
コメント