Pandas 容易踩的坑(持續更新)

最近都在弄這隻熊貓，發現其中的坑還不少，趕快紀錄下來，希望大家不要跟我一樣了。

1. Python針對list的append，是立刻發生的，而Pandas dataframe 的append不是。

In Python:

foo=[]

bar=1

foo.append(bar)

print(foo)

....[1]

In Pandas:

foo = pd.DataFrame([[1,2]], columns=['A','B'])

bar = pd.DataFrame([[2,2]], columns=['A','B'])

foo.append(bar)

print(foo)

...A. B

0 1 2

所以要記得把結果存起來才行

foo = pd.DataFrame([[1,2]], columns=['A','B'])

bar = pd.DataFrame([[2,2]], columns=['A','B'])

foo=foo.append(bar)

print(foo)

...A. B

0 1 2

1 2 2

Docker MySQL cheat list

先移到打算存備份檔案的資料夾裡面

再執行

docker cp <container id>:<path inside container, eg. /home/mysql.sql> .

這樣子就已經把備份檔存到本機目前所在資料夾裡面了。

之後，再把檔案移到新的容器裡

docker exec -i <container id> sh -c 'cat > <path you want to store the data, eg. /home/mysql.sql' < <備份檔案名, e.g. mysql. sql>

再來要進去那個容器

mysql -uroot -p <database name you backed up> < <path to the back up file, eg. /home/my first.sql >

登進去看看

mysql -uroot -p

>SHOW DATABASES; 

就完成囉！

csv的大坑

最近在弄產生csv檔給網頁使用者下載，才發現原來csv在處理中文的坑這麼多。趕快寫下來，不要重蹈覆轍了。

目標：讓使用者下載csv，且可以直接用Excel編輯，而不出現亂碼。

首先，把資料從資料庫裡面撈出來的時候，格式通常不會有問題。

所以只要

data = Data.objects.filter(name__icontains=Liang)

data_list = []

for i in data:

   data_list.append(i.name)

data_list.append(一些中文)

在寫入的時候，要使用utf_8_sig

with open('foo.csv', 'w', newline='', encoding='utf_8_sig') as f:

    writer  = csv.writer(f, delimiter=',')

    writer.writerow(data_list)

而提供檔案的時候：

def fake_view(request):

    file = open('foo.csv', 'r', encoding='utf-8')

    response = HttpResponse(file)

    response ['Content-Type'] ='application/octet-stream'

    response['Content-Disposition'] = 'attachment; filename="<The file name you want the user to have>" '

    return response 

Json常用指令

 當跟數據科學家合作案件，常常是用json傳遞資料。我們如果從資料庫拉資料出來，也常常是dictionary格式。

這裡梁哥整理一下平常常用的指令，作為一個cheat sheet。

假設出現json.decoder.JSONDecodeError:  Expecting property name enclosed in double quotes

你就需要將單引號換成雙引號，

str = str.replace("  \' ", "  \"  ")

如果需要轉成dictionary，就要搭配json.loads()

dictionary = json.loads(str)

玉山銀行e.Fingo 好友邀請碼：3VW1aK1N

玉山銀行e.Fingo 

好友邀請碼：3VW1aK1N

大家一起來加入吧！

Django formset用法

 這周在作表單，發現這實在是個大坑啊…花了很多時間在這個上面。

首先，推薦使用model formset_factory，因為方便不少。這個功能的特色是可以直接調用

formset = myformset(request.POST)

if formset.is_valid():

  formset.save()

  return redirect <the view u want to redirect>

那要怎麼用呢？

你可以選擇在forms.py裡面import 

from django.forms import modelformset_factory

class FakeForm(forms.ModelForm):

  class Meta:

    Model = Foo

    fields = ('list of the fields')

FakeFormset = modelformset_factory(Foo, FakeForm, extra=<how many u want>)

是不是很方便呢？

如果需要更高的可控性，只好使用一般的formset，缺點就是你得自己處理裡面的表單們。

formset = FooFormset(request.POST)

if formset.is_valid:

    for form in formset:

        field = form.cleaned_data.get('the input field name of the form')

<other fields>

instance = Foo.objects.create(field=field, ....)

instance.save()

return redirect ('<the  view you want to redirect the user>') 

這樣做就可以一次新增很多筆資料了。

Django 如何在url傳入參數

參考這篇:

stackoverflow.com/questions/25345392

通常我們連結都會寫成

{% url "<url name>"%}

但是當我們需要編輯一個項目時，往往需要傳入一個id

/<url >/<int:id>/

那這個要怎麼寫呢？

其實很簡單，就是

{% url '<url name>' id=item.id %}

文中還特別提到，當有複數個參數時，

{% url '<url name>' <param1>= sth.id <param2>=<sth else>.id%}